技术细节

深入了解 MyTokenGate 的架构和实现。

系统架构

网关服务

MyTokenGate 使用高性能网关服务构建于：

• NestJS - 可扩展的 Node.js 框架
• PostgreSQL - 可靠的数据存储
• Redis - 快速缓存和限流

请求流程

客户端 → 网关 → 认证 → 限流 → 模型路由 → 提供商 API

协议支持

OpenAI 协议

完全兼容 OpenAI 的聊天补全 API：

• /v1/chat/completions
• /v1/completions
• /v1/embeddings
• /v1/models

Anthropic 协议

原生支持 Claude Messages API：

• /v1/messages
• 自动提示转换
• 工具使用和函数调用

限流机制

令牌桶算法

• 可配置的每分钟请求数
• 基于 token 的限流
• 优雅降级

响应头

X-RateLimit-Limit: 100
X-RateLimit-Remaining: 95
X-RateLimit-Reset: 1682524800

计费系统

实时计量

• 每次请求的 token 计数
• 模型特定定价
• 使用量聚合

账单生成

• 每日使用报告
• 月度账单
• 按项目成本分配

高可用性

负载均衡

• 多个提供商端点
• 自动故障转移
• 健康检查

数据冗余

• 数据库复制
• Redis 集群
• 地理分布