Gọi API AI tiện lợi nhưng chi phí tăng theo lượng sử dụng và dữ liệu phải gửi ra bên ngoài. Tự chạy mô hình AI mã nguồn mở trên máy chủ GPU riêng giúp bạn kiểm soát dữ liệu, chi phí cố định và tùy biến mô hình theo nhu cầu. Bài viết hướng dẫn cách làm với Ollama – công cụ đơn giản nhất hiện nay.
Khi nào nên tự chạy mô hình AI?
- Dữ liệu nhạy cảm, không muốn gửi ra dịch vụ bên ngoài.
- Lượng sử dụng lớn và đều đặn, chi phí API hằng tháng cao.
- Cần tinh chỉnh mô hình trên dữ liệu riêng của doanh nghiệp.
- Cần chạy nội bộ, không phụ thuộc kết nối Internet ra nước ngoài.
Chọn GPU theo dung lượng VRAM
Yếu tố quan trọng nhất là VRAM – mô hình phải nằm vừa trong bộ nhớ GPU. Với mô hình đã lượng tử hóa 4-bit, ước lượng thô:
- Mô hình 7–8 tỷ tham số: khoảng 6–8 GB VRAM – chạy tốt trên GPU 24 GB như Tesla P40, RTX 3090, RTX 4090.
- Mô hình 13–14 tỷ tham số: khoảng 10–12 GB VRAM.
- Mô hình 30–34 tỷ tham số: khoảng 20–24 GB VRAM.
- Mô hình 70 tỷ tham số: khoảng 40–48 GB VRAM – cần GPU 48 GB hoặc nhiều GPU.
Đây là con số tham khảo; ngữ cảnh dài và nhiều người dùng đồng thời cần thêm VRAM. Xem chi tiết trong bài chọn GPU nào để chạy mô hình AI.
Bước 1: Chuẩn bị máy chủ GPU
Thuê máy chủ GPU chạy Ubuntu và đảm bảo driver NVIDIA đã được cài. Kiểm tra GPU bằng lệnh:
nvidia-smiBước 2: Cài Ollama
curl -fsSL https://ollama.com/install.sh | shBước 3: Tải và chạy mô hình
Ví dụ chạy một mô hình phổ biến cỡ 8 tỷ tham số (tên mô hình có thể thay bằng bất kỳ mô hình nào trong thư viện của Ollama):
ollama run llama3.1:8bLần đầu chạy, Ollama tự tải mô hình. Sau đó bạn có thể trò chuyện trực tiếp trong cửa sổ dòng lệnh.
Bước 4: Gọi mô hình qua API
Ollama cung cấp API tại cổng 11434, dùng được từ ứng dụng của bạn hoặc từ n8n:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Giới thiệu ngắn về VPS",
"stream": false
}'Bảo mật khi mở API ra ngoài
- Mặc định Ollama chỉ lắng nghe ở localhost – hãy giữ nguyên nếu ứng dụng chạy cùng máy chủ.
- Nếu cần truy cập từ xa, đặt Nginx phía trước với HTTPS và xác thực, không mở trực tiếp cổng 11434.
- Dùng tường lửa chỉ cho phép IP máy chủ ứng dụng của bạn.
Kết luận
Với một máy chủ GPU 24 GB VRAM, bạn đã chạy được nhiều mô hình 7–14 tỷ tham số cho chatbot nội bộ, tóm tắt văn bản, hỏi đáp tài liệu. TrumVPS cung cấp máy chủ GPU tại Việt Nam từ Tesla P40 đến H100 và máy chủ GPU tại Mỹ, có thể cài sẵn driver NVIDIA, CUDA khi yêu cầu.
Câu hỏi thường gặp
Có chạy mô hình AI trên VPS không có GPU được không?
Được với mô hình rất nhỏ, nhưng tốc độ chậm hơn nhiều. Để dùng thực tế, nên chạy trên máy chủ GPU.
Tesla P40 có chạy được mô hình AI mới không?
Có. Tesla P40 với 24 GB VRAM chạy tốt nhiều mô hình 7–14 tỷ tham số đã lượng tử hóa, phù hợp chi phí thấp; tốc độ chậm hơn các GPU thế hệ mới.
Ollama có miễn phí không?
Có. Ollama là phần mềm mã nguồn mở, miễn phí. Bạn cần tuân thủ giấy phép riêng của từng mô hình.
Bình luận