全部标签

LLM 模型路由

Cascadeflow：别人在 HTTP 边界做网关，它钻进 Agent 循环里管成本

AI 成本优化这个赛道，过去两年的标准答案是在 HTTP 边界上架一个网关。请求进来，路由器看看 prompt 长短，决定转发给哪个模型，转发完记一笔账。LiteLLM、OpenRouter、Portkey 都是这个思路。cascadeflow 的 README 第一段就把这个思路掀了，它说自己在 external proxies can't 的地方工作，基于 Agent 的实时状态做每…
开源项目
- 3.3k
- 0
半岛铁箱2小时前