Cài DeepSeek R1 lên NVIDIA Jetson Orin Nano Super Developer Kit
Last updated
Was this helpful?
Last updated
Was this helpful?
Cài DeepSeek R1 lên NVIDIA Jetson Orin Nano Super Developer Kit
DeepSeek R1 là một mô hình ngôn ngữ lớn (LLM) do công ty DeepSeek có trụ sở tại Hàng Châu, Trung Quốc, phát triển và ra mắt vào tháng 1 năm 2025. Mô hình này được thiết kế đặc biệt để xử lý các nhiệm vụ như suy luận logic, toán học và lập trình, với hiệu suất được so sánh với các mô hình hàng đầu khác như o1 của OpenAI.
Một trong những đặc điểm nổi bật của DeepSeek R1 là việc sử dụng phương pháp học tăng cường (Reinforcement Learning – RL) trên hàng triệu chuỗi suy luận, giúp mô hình có khả năng phân tích sâu các nhiệm vụ phức tạp. Ngoài ra, DeepSeek R1 được phát hành dưới giấy phép MIT, cho phép sử dụng tự do, bao gồm cả mục đích thương mại, tạo điều kiện cho các cá nhân và doanh nghiệp tùy chỉnh và tối ưu hóa theo nhu cầu riêng
Bài viết này sẽ hướng dẫn bạn cách cài đặt DeepSeek R1 lên NVIDIA Jetson Orin Nano Super Developer Kit thông qua Ollama, cũng như cách cài đặt Open Web-UI để để tương tác với DeepSeek R1 thông qua giao diện web.
1. Cài đặt Ollama:
Ollama là một công cụ mã nguồn mở giúp quản lý và chạy các mô hình ngôn ngữ lớn (LLM) một cách dễ dàng trên nhiều nền tảng. Để cài đặt Ollama trên Jetson Orin Nano, mở Terminal và chạy lệnh sau:
curl -fsSL https://ollama.com/install.sh | s
Nếu nhận được lỗi curl not found, bạn có thể cài ứng dụng curl với lệnh
sudo apt install curl
Quá trình cài đặt sẽ kéo dài khoảng 30 phút đến 1 tiếng đồng hồ. Sau khi cài đặt thành công Ollama, bạn có thể truy vấn API tại địa chỉ: http://127.0.0.1:11434
2. Tải và chạy mô hình DeepSeek R1:
Hiện tại có nhiều model (mô hình) cho DeepSeek R1. Trong bài viết này, Cytron sẽ đề cập hai model thông dụng:
Model 1.5b
Model này khá nhẹ, chạy nhanh nhưng độ chính xác không cao. Để tải & chạy nó, bạn hãy nhập câu lệnh bên dưới:
ollama run deepseek-r1:1.5b --verbose
Model 8b
Model này nặng hơn, cần nhiều tài nguyên để xử lý thông tin. Tuy nhiên độ chính xác cao hơn model 1.5b rất nhiều. Để tải & chạy nó, bạn hãy nhập câu lệnh dưới:
ollama run deepseek-r1:8b --verbose
3. Sử dụng Open WebUI để tương tác với mô hình:
Để có giao diện người dùng thân thiện hơn, bạn có thể sử dụng Open WebUI. Tuy nhiên, bạn cần cài đặt docker trước.
3a. Cài đặt docker
Nếu cài docker theo hướng dẫn từ trang chủ, bạn sẽ nhận được lỗi về docker daemon không hoạt động được. Điều này là do một số thay đổi trong OS/phần mềm của JetPack 6.2 chạy trên Orin Nano Super. Tuy nhiên, chúng ta có thể cài docker thông qua script đã được JetsonHacks chuẩn bị sẵn:
git clone https://github.com/jetsonhacks/install-docker.git
cd install-docker/
bash ./install_nvidia_docker.sh
bash ./configure_nvidia_docker.sh
base ./unhold_and_upgrade_docker.sh
3b. Cài đặt Open WebUI
sudo docker run -d --network=host \
-v ${HOME}/open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
Lệnh này sẽ tải (pull) Open WebUI mới nhất và khởi động nó ở chế độ tách biệt (detach). Tùy chọn –network=host đảm bảo rằng container có thể dễ dàng giao tiếp với dịch vụ Ollama đang chạy trên Orin Nano.
3c. Truy cập Open WebUI
Bạn có thể truy cập Open WebUI để tương tác với DeepSeek R1 tại địa chỉ
http://localhost:8080
Trong lần đầu truy cập, ứng dụng sẽ yêu cầu bạn tạo một tài khoản nội bộ để quản lý Open WebUI. Nếu đã tải các model DeepSeek R1 trước đó, bạn có thể bắt đầu giao tiếp. Nếu chưa, bạn có thể vào phần “Select a model” để tìm model mình muốn chạy và bắt đầu sử dụng.
4. Lưu ý
Vì một số giới hạn nhất định, DeepSeek R1 trên nền Ollama vẫn chỉ sử dụng CPU thay vì GPU, vì vậy hiệu năng chưa thực sự cao. Có thể trong tương lai nhà phát hành sẽ ra bản cập nhật để tận dụng sức mạnh GPU. Dưới đây là bảng đánh giá tốc độ của Orin Nano Super chạy trên CPU với 3 chế độ nguồn điện khác nhau.
Ngoài ra, một số câu hỏi liên quan đến chính trị, Deepseek R1 trả lời không mấy chính xác. Bạn nên cân nhắc khi sử dụng nó.
NVIDIA Orin Nano Super Developer Kit và các phụ kiện đang có tại Cytron Việt Nam. Bạn có thể truy cập cytrontech.vn để tham khảo. Xin chào và hẹn gặp lại.
