主机猫Barındırma · Alan adları · Site oluşturma
TR
TRY
Amazon Inferentia 2+EC2 üzerinde DeepSeek R1 modelinin dağıtımı | Temel Operasyonel Noktalar

Amazon Inferentia 2+EC2 üzerinde DeepSeek R1 modelinin dağıtımı | Temel Operasyonel Noktalar

12 Mart 2025 tarihinde yayınlanan bu sunucu uygulama notunun başlığı "Amazon Inferentia2+EC2 Üzerinde DeepSeek R1 Modelinin Dağıtımı"dır. Kullanılan ortam ve araçlar arasında Docker yer almaktadır.

12 Mart 2025 tarihinde yayınlanan bu sunucu uygulama notunun başlığı "Amazon Inferentia2+EC2 Üzerinde DeepSeek R1 Modelinin Dağıtımı"dır. Kullanılan ortam ve araçlar arasında Docker yer almaktadır.

Yazılım ve dağıtım koşulları

Amazon Web Services, Amazon Bedrock Marketplace ve Amazon SageMaker JumpStart gibi dağıtım seçenekleri sunmaktadır. Öncelikle Amazon Elastic Container Registry (ECR) kimlik doğrulaması gereklidir; Docker imajı oluşturma işlemi sırasında ECR erişimi şarttır.

Veri merkezi ve kaynaklar

`--tensor-parallel-size=2` seçeneği, bir Neuron cihazındaki çekirdek sayısını belirtir; her Inferentia2 çipinde 2 Neuron çekirdeği bulunur.

Orijinal metinde kaydedilen parametreler

  • Sürüm geçmişiUbuntu 22.04, Ubuntu 20.04

Makalede bahsedilen konular

  • 1. Bir EC2 sunucusu oluşturun.
  • 2. Bir Docker imajı oluşturun
  • 3. vLLM çıkarım konteynerini başlatın.

Kullanım Ortamı

Liman işçisi.

İlgili içerik

Teklif iste

İhtiyacınızı ve size nasıl ulaşacağımızı belirtin.