主机猫Hosting · Domeinen · Websitebouwers
NL
EUR
Een DeepSeek R1-model implementeren op Amazon Inferentia 2+EC2 | Belangrijkste operationele punten

Een DeepSeek R1-model implementeren op Amazon Inferentia 2+EC2 | Belangrijkste operationele punten

Beheerde hosting

Deze applicatienotitie voor servers, gepubliceerd op 12 maart 2025, heeft als titel "Een DeepSeek R1-model implementeren op Amazon Inferentia2+EC2". De gebruikte omgeving en tools omvatten Docker.

Deze applicatienotitie voor servers, gepubliceerd op 12 maart 2025, heeft als titel "Een DeepSeek R1-model implementeren op Amazon Inferentia2+EC2". De gebruikte omgeving en tools omvatten Docker.

Software- en implementatievoorwaarden

Amazon Web Services biedt implementatieopties zoals Amazon Bedrock Marketplace en Amazon SageMaker JumpStart. Allereerst is authenticatie bij Amazon Elastic Container Registry (ECR) vereist; ECR-toegang is noodzakelijk tijdens het aanmaken van de Docker-image.

Datacenter en resources

De optie `--tensor-parallel-size=2` geeft het aantal cores in een Neuron-apparaat aan; elke Inferentia2-chip heeft 2 Neuron-cores.

Parameters die in de originele tekst zijn vastgelegd

  • VersiegeschiedenisUbuntu 22.04, Ubuntu 20.04

Onderwerpen die in het artikel worden genoemd

  • 1. Maak een EC2-server aan
  • 2. Maak een Docker-image aan.
  • 3. Start de vLLM-inferentiecontainer

Gebruiksomgeving

Docker.

Gerelateerde inhoud

Offerte aanvragen

Laat weten wat je nodig hebt en hoe we je kunnen bereiken.