← 返回洞察

投资流程

人工智能初创公司的测试分数:模型看过答案吗?

在相信人工智能初创公司的测试分数前,先核查。查清训练和调优过程,寻找重复案例。要求用新案例测试,并说清测试的局限。

分享本文

LinkedIn X (Twitter)

石墨色隔板两侧的象牙色方块,一块跨在缺口上,隔板有细金色边线

∞直接答案

直接答案

要求提供证据,支持这家初创公司人工智能产品的分数。查清哪些案例用于训练模型,哪些用于指导修改。确认最终测试案例没有参与这些步骤。如果测试答案指导了修改,最终测试就不再独立。[1] [2] 指定一位技术审核人,核查预留的新案例。不清楚的训练数据要标为未知。高分不能证明这是一项好投资。

让每个分数主张都有对应的测试

尽职调查就是投资前的核查。本指南核查初创公司的人工智能产品,不是您的研究工具。从种子前轮到A轮都可使用。先看融资介绍中到底提出了什么主张。询问这个分数测试了用户的哪项任务。

整理一份把主张与测试相连的证据包。这些文件应支持该主张。保存完整的任务说明和提示词。提示词是指导模型的文字。加上模型版本、产品代码版本和测试日期。记录产品当时能用哪些源文件和工具。

注明评分者是谁:是人还是工具。保存通过规则,以及所有已评分案例的总数。这个总数就是计算通过率时的分母。也要列出调用失败、跳过的案例和原因。模型卡是介绍模型测试、用途和局限的说明。[4]

  • 记录具体主张和用户任务,不只是笼统的模型分数。
  • 保存完整提示词、模型和代码版本、文件及日期。
  • 记录评分者、通过规则、案例总数和排除的案例。

理清训练、调优和最终测试

要求团队明确每组案例的用途。训练案例用来教模型。调优案例帮助团队选择如何修改模型或提示词。最终测试案例检查选定的版本。它们不能指导这个版本的修改。Google解释了这些分工。[2] 要求提供有日期的记录,不能只看文件夹名称。

测试数据泄漏,是指测试线索进入了模型开发过程。这些线索可能包括答案。这会让分数看起来比处理新任务时实际应有的表现更好。它可能是失误,并不一定是安全事件。连清理数据的步骤也可能带入测试线索。[1]

询问团队自己训练或修改了什么。询问外部模型公司声称用什么训练了模型。如果不知道那些训练文件的内容,就写明未知。核查团队的文件,不能证明外部文件没有这类泄漏。把这一局限放在分数旁边。

  • 训练、调优和最终测试案例的带日期记录。
  • 提示词修改、模型选择和数据准备步骤。
  • 初创公司已知的数据,以及未知的外部训练内容。

按真实任务划分案例

数据划分,是把案例分成用途不同的几组。按初创公司声称能解决的任务来选划分方式。Google说,测试案例应反映真实工作。它没有为每组规定固定比例。[2] 随机划分并不适合所有任务。

如果主张涉及新客户,要把同一客户的案例放在一起。不要把高度相似的副本分到训练和最终测试两边。这叫分组划分。它检查模型面对训练中未用过的组时的表现。scikit-learn解释了为何有关联的案例需要这种处理。[3]

如果任务是预测以后发生的事,就按时间划分。用较早的数据开发,用较晚的案例测试。不要让未来才会知道的事实进入输入。scikit-learn提醒,数据若有时间关联,随机划分可能误导。[3] 询问技术负责人,为何所选划分适合这项任务。

  • 新客户主张:需要时,按完整客户组分开。
  • 未来事件主张:用较早数据开发,用较晚案例测试。
  • 任务匹配:解释划分方式,以及它无法测试什么。

先查重复案例,再相信结果

要求检查不同案例组之间是否重叠。重叠就是同一案例出现在不止一组里。既要查完全相同的副本,也要查同一案例略改文字的版本。Google提醒,测试中出现训练案例的副本,会让测试不公平。[2] 保存核查方法,以及它能检查哪些文件。

以下是虚构例子,不是真实初创公司的结果。某产品测试有100个已评分案例。技术负责人发现,其中20个是训练案例的副本。重叠比例是20%:20除以100,再乘以100。这是在数重复案例,不是新的通过率。

不要删掉这些结果,就说剩下的没有问题。这不能说明测试一直与调优分开。修正划分,再用新案例得到新分数。不要把这些案例用于训练或调优。注明核查无法接触到哪些数据。

  • 完全相同的副本、略改文字的版本和共用的源记录。
  • 核查方法、覆盖的数据和未检查的数据。
  • 必须重新测试,不能修补通过率。

指定审核人,用新案例测试

留出集是一组预留案例,不参与开发和调优。指定一位技术审核人,监督新的留出案例测试。此人必须了解任务,也懂得如何测试。只用团队有权用于测试的文件。用明确的访问规则保护案例和答案。

测试前,固定产品、提示词和通过规则。测试中不要改动。不要把标准答案放进产品的输入。只有真实任务允许使用源文件时,测试才可允许。加入常见案例、难例和信息缺失的案例。为这项任务设通过规则,不要用一个分数衡量所有任务。

保存每次输出及其分数,不只是最好的一次运行。对有争议的分数进行人工检查,也包括人工智能给出的分数。如果最终结果指导了修改,这些案例就变成调优数据。它们不再算独立的最终测试。Google提醒,反复使用会让测试集逐渐失去测试价值。[2]

  • 指定审核人,使用新的留出案例,保护标准答案。
  • 固定产品版本和提示词,注明允许的输入和评分者。
  • 保存所有输出、评分争议和测试后的任何修改。

让失败案例和商业证据都看得见

要求在主要分数旁边展示失败案例。注明哪些任务和语言没有测试。说明产品无法回答时会发生什么。Google说,模型卡应展示用途和局限,也应展示薄弱之处。[4] 不要用平均值掩盖关键缺陷。

把主张、带日期的证据和未解决的缺口放在一起。加上技术负责人的姓名,以及下一步需要的测试。缺少测试记录不等于存在欺诈。把主张标为尚未核查。如果用人工智能帮助阅读证据包,只能用获准的文件。让人负责最终判断。

可靠的测试,只能在其范围内支持一项产品主张。它不能证明有需求、成本低或能重复销售。要用各自的证据核查这些商业主张。它也不能证明这家初创公司是一项好投资。任何测试分数都不能证明未来会获得融资或投资回报。

  • 清楚展示失败案例、未测试的工作和未知训练数据。
  • 主张、证据、缺口、审核人和下一步测试。
  • 分别核查需求、成本和销售的证据。

FAQ

常见问题

测试数据泄漏就意味着安全事件吗?

不一定。在这里,测试线索或答案进入了模型开发过程。这可能让分数看起来过高。[1] 安全事件是另一回事,涉及数据访问或丢失。如果私人数据可能已经暴露,也要核查这一点。

投资者能证明外部模型从未看过这些案例吗?

不能只靠核查初创公司的文件。模型公司的训练文件可能未知。要明确说明这一点。妥善保护的新案例有助于测试产品当前的主张。它们不能证明过去所有训练数据都没有这类泄漏。

应该留出多大比例的数据做最终测试?

没有适用于所有任务的固定比例。Google没有规定百分比。[2] 要求技术负责人提供足够案例来测试主张。案例应贴合真实工作,需要时分开有关联的案例。测试太小,留下的疑问就更多。

团队能用最终测试答案调整提示词吗?

团队可以用这些案例改进产品。但它们随后就变成调优案例,不能同时作为独立的最终测试。用预留的新案例测试新主张。反复按测试结果修改,会削弱对未见过任务的证明力。[1] [2]

REF

资料来源

  1. 1
  2. 2
  3. 3
  4. 4

相关阅读

∞自2025年7月上线

为一个分数索要证据

向创始人索要把主张与测试相连的证据包,以及未解决的缺口。指定一位技术审核人负责。Master Collective支持创始人与投资者匹配,以及引荐前的核查。这是一般指引,不是投资或法律建议。不承诺匹配成功、融资或回报。