火腿AI中台。

项目介绍

s-ai.huotuiai.com 是我实现的一套统一大模型接入中台，目标是把不同业务场景里的 AI 调用能力做成可配置、可复用、可追踪的基础服务，而不是让每个业务各自重复对接模型厂商接口。

项目当前基于 FastAPI 开发，对外提供统一的 /api/llm/invoke 推理入口，业务侧通过 X-Access-Key 即可自动匹配对应的模型配置与供应商信息，完成调用。这样可以把业务系统和底层模型接入细节解耦，降低维护成本。

核心功能

• 供应商管理：支持维护不同大模型 provider 的基础配置
• 模型配置管理：支持配置模型编码、请求模板、默认参数、超时时间等
• Access Key 管理：为不同业务生成独立调用密钥，实现按业务隔离
• 统一推理接口：外部业务通过统一接口调用模型，无需感知底层厂商差异
• 请求日志追踪：记录请求体、响应体、trace_id、耗时、状态与错误信息
• 多协议兼容：兼容 /chat/completions 与 /responses
• 多模态支持：支持文本与图片混合输入，满足标签分析等场景需求
• 本地联调与测试：内置 mock provider，便于开发和测试闭环验证

业务价值

这个项目的价值不只是“能调通模型接口”，而是把 AI 能力沉淀成统一中台，帮助多个业务低成本接入与复用。当前已经落地到微信公众号自动回复、火腿时刻标签分析等业务中，兼顾接入效率、可维护性和问题排查能力。

我的工作

• 设计统一的大模型调用链路与配置结构
• 实现 provider、config、key、request_log 等核心数据模型
• 封装统一推理接口，处理默认参数合并与协议差异
• 实现 Access Key 鉴权和调用日志记录
• 补充 mock provider 与自动化测试，提升联调效率
• 编写业务接入文档，支持公众号自动回复与火腿时刻接入