主机猫Alojamiento · Dominios · Creación web
ES
EUR
Implementación de un modelo DeepSeek R1 en Amazon Inferentia 2+EC2 | Puntos operativos clave

Implementación de un modelo DeepSeek R1 en Amazon Inferentia 2+EC2 | Puntos operativos clave

Esta nota de aplicación para servidores, publicada el 12 de marzo de 2025, se titula "Implementación de un modelo DeepSeek R1 en Amazon Inferentia2+EC2". El entorno y las herramientas involucradas incluyen Docker.

Esta nota de aplicación para servidores, publicada el 12 de marzo de 2025, se titula "Implementación de un modelo DeepSeek R1 en Amazon Inferentia2+EC2". El entorno y las herramientas involucradas incluyen Docker.

Software y condiciones de implementación

Amazon Web Services ofrece opciones de implementación como Amazon Bedrock Marketplace y Amazon SageMaker JumpStart. En primer lugar, se requiere la autenticación de Amazon Elastic Container Registry (ECR); el acceso a ECR es necesario durante el proceso de creación de la imagen de Docker.

Centro de datos y recursos

La opción `--tensor-parallel-size=2` indica el número de núcleos en un dispositivo Neuron; cada chip Inferentia2 tiene 2 núcleos Neuron.

Parámetros registrados en el texto original

  • Historial de versionesUbuntu 22.04, Ubuntu 20.04

Asuntos mencionados en el artículo

  • 1. Crea un servidor EC2
  • 2. Crea una imagen de Docker
  • 3. Inicie el contenedor de inferencia vLLM.

Entorno de uso

Estibador.

Contenido relacionado

Solicitar presupuesto

Cuéntanos qué necesitas y cómo contactarte.