Tag:routing
All the articles with the tag "routing".
Thompson Sampling 如何优化 LLM 路由:从贝叶斯探索到生产成本控制
Published: at 09:00 AM从 Ramp 的生产实践出发,解释 Thompson Sampling 如何结合延迟分布、失败率、超时约束与模型成本进行在线路由,并分析实现边界和生产落地要点。
All the articles with the tag "routing".
从 Ramp 的生产实践出发,解释 Thompson Sampling 如何结合延迟分布、失败率、超时约束与模型成本进行在线路由,并分析实现边界和生产落地要点。