2025년 3월 12일에 게시된 이 서버 애플리케이션 노트의 제목은 "Amazon Inferentia2+EC2에 DeepSeek R1 모델 배포"입니다. 실제 환경 및 관련 도구에는 Docker가 포함됩니다.
2025년 3월 12일에 게시된 이 서버 애플리케이션 노트의 제목은 "Amazon Inferentia2+EC2에 DeepSeek R1 모델 배포"입니다. 실제 환경 및 관련 도구에는 Docker가 포함됩니다.
소프트웨어 및 배포 조건
Amazon Web Services는 Amazon Bedrock Marketplace 및 Amazon SageMaker JumpStart와 같은 배포 옵션을 제공합니다. 먼저 Amazon Elastic Container Registry(ECR) 인증이 필요하며, Docker 이미지 생성 과정에서 ECR 액세스 권한이 필수적입니다.
데이터 센터 및 리소스
`--tensor-parallel-size=2` 옵션은 Neuron 장치의 코어 수를 나타냅니다. 각 Inferentia2 칩에는 2개의 Neuron 코어가 있습니다.