这篇2025-03-12发布的服务器应用笔记,主题是“亚马逊云科技Inferentia2+EC2部署DeepSeek R1模型”。实际涉及的环境或工具有Docker。
软件与部署条件
亚马逊云科技有提供Amazon Bedrock Marketplace、Amazon SageMaker JumpStart等部署方式。首先进行 Amazon Elastic Container Registry (ECR) 身份验证,在制作 Docker 镜像的过程中需要 ECR 的访问权限。
机房与资源
–tensor-parallel-size=2 表示 Neuron 设备的核心数量,每个 Inferentia2 芯片具有 2 个 Neuron 核心。
原文记录的参数
- 版本记录:Ubuntu 22.04、Ubuntu 20.04
文中涉及的事项
- 1、创建EC2服务器
- 2、制作Docker镜像
- 3、启动 vLLM 推理容器
使用环境
Docker。