[Inference.net] AutoEvals 简介：自动找到最适合您任务的模型

2026 年 8 月 5 日

AutoEvals 简介：自动找到最适合您任务的模型

一个

阿马尔·辛格

2026 年夏天，几乎每个月都会发布新的前沿车型。每一个都带有一组新的基准数据，一些关于 X 的炒作，以及对于在生产中运行 LLM 的团队来说同样令人烦恼的问题：我们应该切换吗？

大多数团队从未真正回答过这个问题。诚实地回答这个问题意味着构建一个代表您真实流量的数据集，为您想要测试的每个提供商提供 API 访问权限，编写标题，连接判断基础设施，燃烧令牌来运行所有内容，然后解释结果。这是一周的工作，每个模型、每个任务、每次新产品发布。于是这个问题就被搁置了。几个月前根据价格点和氛围选择的模型继续运行，因为在生产中更换模型既“困难”又存在风险。

而且风险是真实存在的。基准是其他人任务的平均值。一个模型可以在排行榜上名列前茅，但仍然会摸索你的工具模式、输出格式和边缘情况。唯一真正重要的基准是您自己的流量，到目前为止，没有人有时间运行它。

我们正在引入工具来解决这个问题。隆重推出 AutoEvals - 即插即用工具包，可帮助您找到适合您任务的模型。 登录 或 阅读docs 开始。

真实生产流量是最好的基准

AutoEvals 旨在帮助开发人员找到针对给定任务或代理的“最佳模型”。不是您从未听说过的公共基准测试中最好的 - 更好的是您的用户上周发送的确切请求。

与 Inference Gateway 集成（2 分钟内），收集数据，单击仪表板中的一个按钮，几分钟后，您就会得到关于您应该使用哪种模型的明确答案使用质量、成本和延迟差异的实数。

每个模型的发布都变得免费，而不是家庭作业。 当新产品发布时，您不再权衡发布与一周的评估工作。午餐时进行比较，到下午就知道它对您是否重要。

切换不再可怕。 该推荐不是排行榜排名。这是您自己的流量，经过重播和判断，每个样本都可以检查。在单个生产请求触及新模型之前，您可以准确了解新模型与当前模型相比如何处理请求。

您不再为不需要的智能付费。 昂贵的模型悄悄地过度服务了许多任务。 AutoEvals 向您显示特定任务的质量成本边界，以便您可以了解何时更实惠的模型可以提供相同水平的精度。

结论：针对您的任务的具体建议及其背后的推理

AutoEvals 在实践中如何工作

AutoEval 分三步运行。它首先对最近的生产流量进行采样，然后由一组候选模型重播。之后，LLM评委会对每个输出的质量（即模型完成任务的程度）和相似度（即其行为与您今天运行的模型的相似程度）进行评分。然后，它将这些结果总结为模型结论、主要发现和每个模型的摘要。

这两个分数一起告诉您开关的安全程度。高品质和高相似度是直接升级。高质量和低相似度意味着模型很好，但行为不同，因此首先需要仔细观察。当您确实想单独检查输出时，样本查看器会为您提供并排的模型响应以及法官对每个分数的推理。

样本查看器：并排模型响应和法官对每个分数的推理

在推理平台前获取流量是唯一的设置，也是一次集成：通过我们的网关路由您的 LLM 调用（我们的 CLI 可以自动检测您的项目），或使用我们的跟踪 SDK 报告跟踪。从此，比较型号就是一个按钮，切换就是单行更改。

在我们自己的代理上运行

在为其他人构建 AutoEvals 之前，我们先为自己的代理构建了 AutoEvals，两项发现真正改变了我们对模型选择的看法。

模型代之间的差距比您想象的要大。我们的一位 GTM 代理已经在同一个备受推崇的模型上运行了几个月。感觉很好，直到我们对其运行 AutoEval。模型的成本只是其一小部分，但它具有更好的长期轨迹、更严格的工具模式依从性以及更精确的全面结果。因为我们没有观察，所以我们留下了更好的结果。

有些任务有技能上限。 在同一任务中，顶级前沿模型获得了相同的质量分数。超过一定的能力水平后，他们都只是采取了正确的行动，付出更多的钱什么也买不到。一旦你看到了上限，模型的决定就会自行决定，而且它很少是最昂贵的选择。

超过一定的能力水平后，质量趋于一致——付出更多却买不到什么

将这两个发现放在一起，结论就很难回避：如果您使用LLM进行构建，随着时间的推移，您的应用程序应该变得更加准确并且便宜，仅从模型发布的速度来看。获得复合优势的团队将是那些可以毫不费力地进行评估的团队。这就是我们建造的。

今天进行第一次比较

AutoEvals 现已对每个 Inference 帐户开放，可以免费启动。连接您的流量，单击“运行比较”，几分钟后您就会知道大多数团队永远不会发现的事情：您正在运行的模型是否实际上是最适合该工作的模型。

阅读指南或注册免费 开始。

最适合您任务的模型可能已于上周发货。现在你可以真正找到答案了。

联系方式

与我们的研究团队会面

安排与我们的研究团队通话，详细了解专业语言模型如何降低成本并提高性能。