主机猫Alojamento · Domínios · Criação de sites
PT
EUR
Implantação de um modelo DeepSeek R1 no Amazon Inferentia 2 + EC2 | Principais pontos operacionais

Implantação de um modelo DeepSeek R1 no Amazon Inferentia 2 + EC2 | Principais pontos operacionais

Alojamento gerido

Esta nota de aplicação do servidor, publicada em 12 de março de 2025, intitula-se "Implantando um modelo DeepSeek R1 no Amazon Inferentia2+EC2". O ambiente e as ferramentas envolvidas incluem o Docker.

Esta nota de aplicação do servidor, publicada em 12 de março de 2025, intitula-se "Implantando um modelo DeepSeek R1 no Amazon Inferentia2+EC2". O ambiente e as ferramentas envolvidas incluem o Docker.

Condições de software e de implantação

A Amazon Web Services oferece opções de implantação como o Amazon Bedrock Marketplace e o Amazon SageMaker JumpStart. Primeiramente, é necessária a autenticação no Amazon Elastic Container Registry (ECR); o acesso ao ECR é imprescindível durante o processo de criação da imagem Docker.

Centro de dados e recursos

A opção `--tensor-parallel-size=2` indica o número de núcleos em um dispositivo Neuron; cada chip Inferentia2 possui 2 núcleos Neuron.

Parâmetros registrados no texto original

  • Histórico de versõesUbuntu 22.04, Ubuntu 20.04

Assuntos mencionados no artigo

  • 1. Crie um servidor EC2
  • 2. Crie uma imagem Docker.
  • 3. Inicie o contêiner de inferência vLLM

Ambiente de utilização

Docker.

Conteúdo relacionado

Pedir orçamento

Diga-nos o que precisa e como podemos contactá-lo.