AI Gateway: Giải pháp AI định tuyến thông minh

AI Gateway là giải pháp AI định tuyến thông minh, giúp định tuyến truy vấn đến các mô hình AI chuyên dụng (LLM, Embedding, Vision) để tối ưu kết quả, chi phí và nâng cao trải nghiệm người dùng. Chuẩn hoá API, A/B testing & fallback, quan sát tập trung và bảo mật theo chuẩn doanh nghiệp.

OpenAI Anthropic Vertex AI Azure Local LLM

Bắt đầu dùng AI Gateway Nhận tư vấn tích hợp

Định tuyến thông minh • A/B • Fallback

App Web

Mobile

AI Gateway

LLM

Embedding

Vision

Tính năng & lợi ích nổi bật

Định tuyến theo intent/chi phí/độ trễ, A/B & canary, fallback tự động; quản trị khoá & policy theo team; quan sát tập trung token/latency/error; hỗ trợ LLM/Embedding/Vision.

Routing thông minh

Chọn model tối ưu theo ngữ cảnh, A/B nhanh, fallback khi lỗi/quá tải.

Cost/Latency/Quality-first
Rule & weight linh hoạt

A/BFallbackCanary

Quản trị & bảo mật

RBAC, quota, key rotation, audit log, data boundary & IP allowlist.

Policy theo team/project
Tuân thủ & audit-ready

RBACQuotaAudit

Observability

Metrics, tracing, alert; export Prometheus/Grafana/Datadog.

Token • Latency • Errors
Dashboard tập trung

MetricsTracingAlert

Kiến trúc & định tuyến

Chuẩn hoá API

Ứng dụng gửi truy vấn qua một endpoint duy nhất.

Phân loại & chọn tuyến

Chọn model theo intent/chi phí/latency; A/B & canary.

Fallback & quan sát

Tự động chuyển tuyến khi lỗi; log & metrics tập trung.

Ví dụ tích hợp nhanh


// POST /v1/ai-gateway/chat
{
  "prompt": "Tóm tắt hồ sơ khách hàng",
  "strategy": "latency-first",
  "fallback": true,
  "constraints": {"max_latency_ms": 1200}
}
// → Gateway định tuyến: embed→rerank, hoặc LLM-4-mini; lỗi → fallback sang LLM-3.5

Securityzone