GPT-Load

一个高性能、企业级的 AI 接口透明代理服务，专门为需要集成多种 AI 服务的企业和开发者设计。采用 Go 语言开发，具备智能密钥管理、负载均衡和完善的监控功能，专为高并发生产环境而设计。

功能特性
透明代理: 完全保留原生 API 格式，支持 OpenAI、Google Gemini 和 Anthropic Claude 等多种格式
智能密钥管理: 高性能密钥池，支持分组管理、自动轮换和故障恢复
负载均衡: 支持多上游端点的加权负载均衡，提升服务可用性
智能故障处理: 自动密钥黑名单管理和恢复机制，确保服务连续性
动态配置: 系统设置和分组配置支持热重载，无需重启即可生效
企业级架构: 分布式主从部署，支持水平扩展和高可用
现代化管理: 基于 Vue 3 的 Web 管理界面，直观易用
全面监控: 实时统计、健康检查、详细请求日志
高性能设计: 零拷贝流式传输、连接池复用、原子操作
生产就绪: 优雅关闭、错误恢复、完善的安全机制
双重认证体系: 管理端与代理端认证分离，代理认证支持全局和分组级别密钥

https://github.com/tbphp/gpt-load

#ai #proxy #gpt