Octopus: 面向个人部署的 LLM API 聚合与统一管理服务

• 主要更新了协议转换, 增加了透传, 拦截上游报错不打断 agent 客户端任务, 可视化完整的请求链路

codex 接入 octopus 后进行对话
codex 显示 working

此时 octopus 日志端就会推送一条日志

点击日志后显示重试请求详情,此时 octopus 会拦截所有的错误,不会返回给 codex, codex 仍在等待

手动选择渠道后, 渠道正常响应, 透传或者协议转换后发送给 codex

整个请求链路都是可视化的,任何错误信息都会被 octopus 拦截, 并且不会传给 codex, codex 不会因为上游错误而中止,完全不需要发送 继续


https://github.com/bestruirui/octopus

合集 群组 恰饭 联系推广

#LLM #AI #API #聚合 #模型管理 #协议转换 #费用统计 #自托管 #GitHub #OpenAI #Anthropic