Cấu hìnhSử dụng LLM tự host
Sử dụng LLM tự host
Bạn có thể sử dụng LLM tự host (ví dụ: thông qua Ollama) để dịch nội dung.
Đi đến trang Cài đặt trong Service Configuration > Self-hosted LLM và cấu hình các giá trị.
| Cài đặt | Mô tả |
|---|---|
| Endpoint URL | URL endpoint HTTP cho mô hình LLM tự host của bạn. Xem các ví dụ bên dưới. |
| Compatible with API endpoint from | Nhà cung cấp dịch vụ AI nào mà endpoint tùy chỉnh của bạn tương thích: ChatGPT hay Claude. |
| Model | Tên mô hình LLM tự host sử dụng khi dịch nội dung. |
| Max tokens | Số token tối đa mà mô hình có thể tạo ra trong phản hồi. Để trống để không giới hạn (ChatGPT) hoặc dùng giá trị mặc định cho Claude. |
Ví dụ về Endpoint URL:
| URL | Mô tả |
|---|---|
http://localhost:11434/v1/chat/completions | Định dạng ChatGPT, Ollama trên máy chủ của bạn |
http://localhost:11434/v1/messages | Định dạng Claude, Ollama trên máy chủ của bạn |
https://ollama.com/v1/chat/completions | Định dạng ChatGPT, Ollama Cloud |
https://ollama.com/v1/messages | Định dạng Claude, Ollama Cloud |
Nếu bạn đang host LLM trên máy chủ của riêng mình, bạn sẽ không cần API key.
Nếu bạn sử dụng LLM tự host trên đám mây (ví dụ: khi dùng Ollama Cloud), bạn có thể cần cung cấp API key, thông qua tab API Keys > Self-hosted LLM trên trang Cài đặt.
