主机猫Hosting · Domini · Creazione di siti
IT
EUR
Implementazione di un modello DeepSeek R1 su Amazon Inferentia 2+EC2 | Punti operativi chiave

Implementazione di un modello DeepSeek R1 su Amazon Inferentia 2+EC2 | Punti operativi chiave

Hosting gestito

Questa nota applicativa per server, pubblicata il 12 marzo 2025, è intitolata "Implementazione di un modello DeepSeek R1 su Amazon Inferentia2+EC2". L'ambiente e gli strumenti effettivamente utilizzati includono Docker.

Questa nota applicativa per server, pubblicata il 12 marzo 2025, è intitolata "Implementazione di un modello DeepSeek R1 su Amazon Inferentia2+EC2". L'ambiente e gli strumenti effettivamente utilizzati includono Docker.

Condizioni software e di implementazione

Amazon Web Services offre opzioni di distribuzione come Amazon Bedrock Marketplace e Amazon SageMaker JumpStart. Innanzitutto, è necessaria l'autenticazione ad Amazon Elastic Container Registry (ECR); l'accesso a ECR è indispensabile durante il processo di creazione dell'immagine Docker.

Centro dati e risorse

L'opzione `--tensor-parallel-size=2` indica il numero di core in un dispositivo Neuron; ogni chip Inferentia2 ha 2 core Neuron.

Parametri registrati nel testo originale

  • Cronologia delle versioniUbuntu 22.04, Ubuntu 20.04

Questioni menzionate nell'articolo

  • 1. Creare un server EC2
  • 2. Creare un'immagine Docker
  • 3. Avviare il container di inferenza vLLM

Ambiente di utilizzo

Docker.

Contenuti correlati

Richiedi un preventivo

Indica di cosa hai bisogno e come possiamo contattarti.