主机猫Hébergement · Domaines · Création de sites
FR
EUR
Déploiement d'un modèle DeepSeek R1 sur Amazon Inferentia 2 + EC2 | Points opérationnels clés

Déploiement d'un modèle DeepSeek R1 sur Amazon Inferentia 2 + EC2 | Points opérationnels clés

Cette note d'application serveur, publiée le 12 mars 2025, est intitulée « Déploiement d'un modèle DeepSeek R1 sur Amazon Inferentia2 + EC2 ». L'environnement et les outils utilisés incluent Docker.

Cette note d'application serveur, publiée le 12 mars 2025, est intitulée « Déploiement d'un modèle DeepSeek R1 sur Amazon Inferentia2 + EC2 ». L'environnement et les outils utilisés incluent Docker.

Conditions logicielles et de déploiement

Amazon Web Services propose des options de déploiement telles qu'Amazon Bedrock Marketplace et Amazon SageMaker JumpStart. L'authentification auprès d'Amazon Elastic Container Registry (ECR) est requise ; l'accès à ECR est nécessaire lors de la création de l'image Docker.

Centre de données et ressources

L'option `--tensor-parallel-size=2` indique le nombre de cœurs dans un dispositif Neuron ; chaque puce Inferentia2 possède 2 cœurs Neuron.

Paramètres enregistrés dans le texte original

  • Historique des versionsUbuntu 22.04, Ubuntu 20.04

Les points abordés dans l'article

  • 1. Créez un serveur EC2
  • 2. Créer une image Docker
  • 3. Démarrer le conteneur d'inférence vLLM

Environnement d'utilisation

Docker.

Contenus associés

Demander un devis

Indiquez-nous vos besoins et vos coordonnées.