Hermes Agent | Model dự phòng (Fallback Provider)
Khi model chính bị giới hạn tốc độ (rate limit), Hermes Agent có thể tự động chuyển sang model dự phòng mà không cần can thiệp thủ công. Bài viết hướng dẫn cách thiết lập fallback provider cho cả provider có sẵn lẫn endpoint tự host.
Model dự phòng (Fallback Providers)
Một trong những vấn đề phổ biến nhất khi dùng API của các model AI là rate limit — khi vượt quá ngưỡng cho phép, provider trả về lỗi HTTP 429 và agent bị dừng đột ngột giữa chừng.
Hermes Agent cung cấp hai cơ chế để giảm thiểu tình trạng này:
- Credential pools — xoay vòng nhiều API key cho cùng một provider, tự động thử key tiếp theo khi key hiện tại bị rate limit. Đây là lớp phòng thủ đầu tiên.
- Fallback provider — khi toàn bộ key trong pool đều bị giới hạn, Hermes Agent tự động chuyển sang một provider/model khác để tiếp tục hoạt động mà không cần can thiệp thủ công.
Kết hợp cả hai giúp agent chạy liên tục, đặc biệt hữu ích khi triển khai trên VPS để xử lý tác vụ dài hoặc tự động hóa qua Telegram.
Cách thiết lập model dự phòng cho Hermes Agent
Thêm fallback_model vào file cấu hình ~/.hermes/config.yaml hoặc ./_data/config.yaml khi triển khai Hermes Agent bằng Docker Compose.
Đối với provider có sẵn
Với các provider được Hermes Agent hỗ trợ sẵn (OpenAI, Anthropic, DeepSeek, Gemini…), chỉ cần khai báo provider và model. Hãy nhớ thiết lập API key tương ứng qua biến môi trường:
fallback_model:
provider: deepseek # đặt biến môi trường DEEPSEEK_API_KEY
model: deepseek-chat
Đối với endpoint OpenAI-compatible tự host
Nếu muốn fallback về một model tự host (ví dụ: llama.cpp, Ollama, LM Studio, vLLM, …) qua endpoint tương thích OpenAI, bắt buộc thêm base_url và tùy chọn key_env:
fallback_model:
provider: custom
model: my-local-model
base_url: http://localhost:8000/v1
key_env: MY_LOCAL_KEY # tên biến môi trường chứa API key (nếu có)
Lưu ý
Fallback provider chỉ hoạt động với các chế độ sau:
| Chế độ | Hỗ trợ Fallback |
|---|---|
CLI session (hermes chat) | ✓ Có |
| Messaging gateway (Telegram, WhatsApp, Open WebUI) | ✓ Có |
| Các chế độ khác | Không |
Tham khảo thêm tài liệu: https://hermes-agent.nousresearch.com/docs/user-guide/features/fallback-providers
Hãy tham gia group Khám phá Hermes Agent: https://www.facebook.com/groups/hermes.agent.vn để cùng trao đổi và học hỏi.
Danh sách bài viết series Hermes Agent:
- Tut 1: Cài đặt và cấu hình Hermes Agent trên VPS ─ Docker Compose
- Tut 2: Luôn duyệt lệnh tự động ─ Fix DANGEROUS COMMAND Security scan
- Tut 3: Cài đặt giao diện quản lý Hermes Agent ─ Dashboard
- Tut 4: Model dự phòng ─ Fallback Provider
Tham gia ngay group trên Facebook để cùng thảo luận với đồng bọn nhé:
- Fanpage Minh: https://www.facebook.com/minhng.info
- Khám phá Hermes Agent: https://www.facebook.com/groups/hermes.agent.vn
Khám phá Hermes Agent
