主机猫Hosting · Domains · Website-Baukästen
DE
EUR
Bereitstellung eines DeepSeek R1-Modells auf Amazon Inferentia 2+EC2 | Wichtige operative Punkte

Bereitstellung eines DeepSeek R1-Modells auf Amazon Inferentia 2+EC2 | Wichtige operative Punkte

Managed Hosting

Diese am 12. März 2025 veröffentlichte Server-Anwendungsnotiz trägt den Titel „Bereitstellung eines DeepSeek R1-Modells auf Amazon Inferentia2+EC2“. Die tatsächliche Umgebung und die verwendeten Tools umfassen Docker.

Diese am 12. März 2025 veröffentlichte Server-Anwendungsnotiz trägt den Titel „Bereitstellung eines DeepSeek R1-Modells auf Amazon Inferentia2+EC2“. Die tatsächliche Umgebung und die verwendeten Tools umfassen Docker.

Software- und Bereitstellungsbedingungen

Amazon Web Services bietet Bereitstellungsoptionen wie Amazon Bedrock Marketplace und Amazon SageMaker JumpStart. Zunächst ist eine Authentifizierung bei Amazon Elastic Container Registry (ECR) erforderlich; der ECR-Zugriff wird während der Erstellung des Docker-Images benötigt.

Rechenzentrum und Ressourcen

Die Option `--tensor-parallel-size=2` gibt die Anzahl der Kerne in einem Neuron-Gerät an; jeder Inferentia2-Chip verfügt über 2 Neuron-Kerne.

Im Originaltext aufgezeichnete Parameter

  • VersionsverlaufUbuntu 22.04, Ubuntu 20.04

Im Artikel erwähnte Angelegenheiten

  • 1. Erstellen Sie einen EC2-Server
  • 2. Erstellen Sie ein Docker-Image
  • 3. Starten Sie den vLLM-Inferenzcontainer.

Nutzungsumgebung

Docker.

Ähnliche Inhalte

Angebot anfragen

Teilen Sie uns mit, was Sie benötigen und wie wir Sie erreichen.