主机猫主机 · 域名 · 建站
简中
CNY
亚马逊云科技Inferentia2+EC2部署DeepSeek R1模型|操作要点

亚马逊云科技Inferentia2+EC2部署DeepSeek R1模型|操作要点

托管主机

这篇2025-03-12发布的服务器应用笔记,主题是“亚马逊云科技Inferentia2+EC2部署DeepSeek R1模型”。实际涉及的环境或工具有Docker。

这篇2025-03-12发布的服务器应用笔记,主题是“亚马逊云科技Inferentia2+EC2部署DeepSeek R1模型”。实际涉及的环境或工具有Docker。

软件与部署条件

亚马逊云科技有提供Amazon Bedrock Marketplace、Amazon SageMaker JumpStart等部署方式。首先进行 Amazon Elastic Container Registry (ECR) 身份验证,在制作 Docker 镜像的过程中需要 ECR 的访问权限。

机房与资源

–tensor-parallel-size=2 表示 Neuron 设备的核心数量,每个 Inferentia2 芯片具有 2 个 Neuron 核心。

原文记录的参数

  • 版本记录:Ubuntu 22.04、Ubuntu 20.04

文中涉及的事项

  • 1、创建EC2服务器
  • 2、制作Docker镜像
  • 3、启动 vLLM 推理容器

使用环境

Docker。

相关内容

咨询报价

请告诉我们你的预算和技术需求。