Niniejsza notatka dotycząca aplikacji serwerowej, opublikowana 18 czerwca 2025 r., nosi tytuł „Praktyczne doświadczenie wdrażania dużego modelu Qwen-7B-Chat na serwerze Amazon Cloud EC2”.
Niniejsza notatka dotycząca aplikacji serwerowej, opublikowana 18 czerwca 2025 r., nosi tytuł „Praktyczne doświadczenie wdrażania dużego modelu Qwen-7B-Chat na serwerze Amazon Cloud EC2”.
Konfiguracja domeny i witryny
Podczas konfigurowania serwera EC2 należy normalnie zezwolić grupie zabezpieczeń, w tym zezwolić na port 7860, który służy do dostępu do strony WebUI.
Oprogramowanie i warunki wdrożenia
Wszystkie kolejne operacje muszą być wykonywane w kontenerze. Po wyjściu z kontenera można go ponownie uruchomić i ponownie wejść do środowiska powłoki kontenera za pomocą poniższego polecenia. Ponieważ pobrane dane modelu są w formacie HuggingFace, należy je przekonwertować do formatu xFasterTransformer.
W tym przykładowym dokumencie pokazano, jak zbudować system zarządzania Odoo przy użyciu obrazu EC2 Marketplace, przy czym subskrypcje obrazów i zasoby obliczeniowe są wliczone w koszty wdrożenia.
Rachunki za przechowywanie obiektów mogą uwzględniać różne zastosowania, takie jak pojemność, zewnętrzny ruch sieciowy i żądania API, co utrudnia oszacowanie całkowitej kwoty na podstawie samej ceny za GB pamięci masowej.
Niniejsza notatka dotycząca konserwacji hosta, opublikowana 9 czerwca 2025 r., nosi tytuł „Polityka i metody RackNerd dotyczące zmiany adresów IP bezpłatnie lub za opłatą”.
Niniejsza nota aplikacyjna serwera, opublikowana 12 marca 2025 r., nosi tytuł „Wdrażanie modelu DeepSeek R1 na platformie Amazon Inferentia2+EC2”. Środowisko i narzędzia, których to dotyczy, obejmują platformę Docker.