Hướng dẫn triển khai mô hình AI trên Windows Server với Docker và GPU
Giới thiệu
Triển khai mô hình AI trên Windows Server bằng Docker và GPU là phương pháp phổ biến trong các hệ thống sản xuất. Container hóa (Docker) giúp đóng gói ứng dụng AI linh hoạt, trong khi GPU hỗ trợ xử lý dữ liệu lớn nhanh hơn CPU nhiều lần.
Yêu cầu trước khi bắt đầu
- Windows Server 2016 trở lên (tối ưu với Windows Server 2019/2022)
- GPU NVIDIA hỗ trợ CUDA (ví dụ: Tesla V100, RTX 3090)
- Driver NVIDIA đã cài đặt (tải về tại nvidia.com)
- Docker Desktop với WSL2 (hoặc Docker Engine trên Windows Server)
- Mô hình AI đã được huấn luyện (TensorFlow/PyTorch/Keras)
Bước 1: Cài đặt môi trường
1.1 Cài đặt Docker
Tải Docker Desktop từ docker.com, bật chế độ WSL2 và đảm bảo Docker Engine chạy trên Windows Server.
1.2 Cài đặt CUDA và cuDNN
- Tải và cài đặt CUDA Toolkit từ nvidia.com
- Tải cuDNN tương thích với phiên bản CUDA đã cài
- Thêm biến môi trường:
CUDA_PATH=C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7
Bước 2: Chuẩn bị mô hình AI
2.1 Tạo Dockerfile
FROM nvidia/cuda:11.7.0-base-windowsservercore-2022
RUN powershell -Command "Install-PackageProvider -Name NuGet -Force; Install-Module -Name DockerMsftProvider -Force"
RUN powershell -Command "Install-WindowsFeature -name "Containers" -IncludeAllSubFeature -IncludeManagementTools"
2.2 Thêm mô hình vào container
Tạo thư mục model/ chứa tệp mô hình (.h5, .pt, …) và tệp requirements.txt liệt kê các thư viện cần thiết (ví dụ: torch==1.13.1).
Bước 3: Xây dựng và chạy container
- Chạy lệnh:
docker build -t ai-model-gpu . - Khởi chạy container với GPU:
docker run --gpus all -p 8000:8000 -v C:\model:/app/model ai-model-gpu - Truy cập địa chỉ
http://localhost:8000để kiểm tra mô hình
Lỗi thường gặp và cách khắc phục
- GPU không được nhận diện: Kiểm tra driver NVIDIA, đảm bảo CUDA Toolkit cài đúng phiên bản
- Container không chạy: Kiểm tra quyền truy cập Docker, cài đặt Windows Feature Containers
- Memory không đủ: Tăng RAM cho container hoặc sử dụng GPU có VRAM lớn hơn
Kết luận
Triển khai AI trên Windows Server với Docker và GPU giúp tăng hiệu suất xử lý và dễ dàng quản lý hệ thống. Đảm bảo tuân thủ các bước cài đặt và kiểm tra kỹ trước khi triển khai thực tế.
Bình luận