LiteLLM:打造统一 AI 网关

为什么需要 LiteLLM?
当你在使用多个 AI 模型时,会遇到这些问题:
- 每个 Provider 的 API 格式不同,需要维护多套代码
- 无法统一监控所有模型的调用情况和成本
- 切换模型需要修改业务代码
LiteLLM 通过统一的 OpenAI 兼容接口解决了这些问题,让你只需修改 model 参数就能切换模型。
核心功能:
- 统一接口:一套 API 调用 OpenAI、Azure、Anthropic、Google 等多家模型
- 成本追踪:实时监控各模型的使用量和成本
- 负载均衡:自动在多个模型间分配请求
- 速率限制:防止 API 滥用和成本失控
LiteLLM 作为统一网关,接收所有客户端请求,然后根据 model 参数自动路由到对应的后端模型服务。无论是本地部署的 vLLM,还是云端 API(OpenAI、Claude 等),都可以通过同一套接口调用。
本文将介绍如何在 Kubernetes 环境中部署 LiteLLM,并配置 PostgreSQL 作为数据库。






