软件的历史遵循一致的模式:每一次新的范式转变都需要新的基础设施来实现信任和可靠性。从单一系统到分布式系统的转变引发了应用程序性能监控。向云原生架构的转变创造了现代可观察性。在许多情况下,构建测量和监控层的公司成为工程工作流程和基础设施堆栈中的深度嵌入系统。
人工智能现在正在经历这种转变的自己的版本,我们相信风险比以往任何时候都更高。在过去的一年里,人工智能应用程序迅速从孤立的实验发展到通过复杂的多步骤代理工作流程进行推理、采取行动和操作的生产系统。但是,尽管模型功能以惊人的速度进步,但信任这些系统所需的基础设施却没有跟上。人工智能可以做什么和团队可以验证它正在做什么以完全生产它之间的差距已经成为现代软件开发中最重要的挑战之一。
今天,我们很高兴地宣布与 智囊团 我们领导他们的 B 轮融资,支持他们测量、评估和改进生产中的人工智能的使命。
为什么人工智能的评估和可观察性不同
传统的软件测试依赖于一个基本假设:决定论。运行相同的输入,得到相同的输出。人工智能系统完全打破了这个契约。不确定性的输出、多步骤代理中的紧急行为以及对细微提示变化的敏感性意味着现有的可观测性工具,无论多么复杂,都不是为这个问题而设计的。如今,许多团队仍然依靠氛围检查、电子表格或手动提示调整来评估质量。这些方法可能足以满足早期原型设计的需要,但它们无法扩展,也无法提供将人工智能代理运送到失败成本很高的现实工作流程所需的保证。随着人工智能系统承担更大的自主权和责任,缺乏严格的评估和可观察性可能会成为一个复杂的责任。
为什么选择智囊团
当我们第一次见到 Braintrust 团队时,我们很清楚他们对这个问题的理解深度和精确,这使他们与众不同。当他们着手构建他们认为是人工智能生态系统中的一个缺口的可观察层时,Braintrust 已经发展成为一个横跨整个人工智能产品生命周期的端到端平台,从快速迭代到自动评估和生产监控。它为团队提供了一种系统的方法来随着时间的推移评估、理解、记录、完善和改进人工智能产品。在此过程中,Braintrust 充当了人工智能应用程序构建、测量和改进的中枢神经系统。
我们听到的客户一致认为,Braintrust 的开发人员经验和 UI 能够让工程师以外的产品经理和其他非技术利益相关者也能采用。在幕后,团队对强劲表现的承诺同样显而易见。当他们遇到第三方数据库的扩展限制时,他们构建了 Brainstore,这是一个用于 LLM 日志的自定义数据库,旨在根据 AI 工作负载量需求实现更快的查询、更低的延迟和更低的基础设施成本。混合部署使企业能够快速行动,而不会影响数据驻留或安全性,而令牌级可追溯性提供了传统可观察性工具从未设计过的深度可见性。
在人工智能领域通常是由噪音而不是实质内容塑造的,我们对已经在 Braintrust 上实现标准化的团队的质量感到震惊。 Ramp、Notion、Replit、Stripe、Zapier、Airtable、Instacart 等领先的应用人工智能公司正在与 Braintrust 合作,以扩大其人工智能产品的生产规模。我们认为,这一早期采用既反映了问题的紧迫性,也反映了解决方案的严格性。我们已经看到了重复、嵌入式使用的强烈信号,客户每天都会进行数千次评估。
为建筑商建造的建筑商
我们很幸运能与 Braintrust 创始人兼首席执行官 Ankur Goyal 合作,他的职业生涯一直致力于为开发人员构建产品。 Ankur 此前曾在 SingleStore 领导工程,然后创立了 Impira,这是一个针对非结构化数据的机器学习平台,后来被 Figma 收购,他继续领导他们的人工智能平台。在每一章中,Ankur 都专注于解决硬件基础设施问题,深切尊重开发人员工作流程,并疯狂关注客户体验——即使在今天,他也会亲自响应客户问题。这种观点在 Braintrust 的产品理念、执行速度以及从人工智能生态系统中一些最具洞察力的工程团队获得的信任中得到了体现。
展望未来
我们相信 Braintrust 正在迎来一个关键时刻。随着人工智能系统转向代理工作流程并增强自主性,评估和可观察性正在从最佳实践转变为必要的基础设施——直接嵌入到人工智能构建者的日常工作流程中。获得正确评估的公司将更有能力更快地交付、更少失败,并赢得将人工智能部署到最重要的工作流程所需的信任。我们很高兴与 Ankur 和 Braintrust 团队合作,他们将继续构建有助于实现值得信赖的人工智能的基础设施。
发布日期:
2026 年 2 月 17 日
.jpeg)




