∞直接答案
直接答案
要求提供证据,支持这家初创公司人工智能产品的分数。查清哪些案例用于训练模型,哪些用于指导修改。确认最终测试案例没有参与这些步骤。如果测试答案指导了修改,最终测试就不再独立。[1] [2] 指定一位技术审核人,核查预留的新案例。不清楚的训练数据要标为未知。高分不能证明这是一项好投资。
让每个分数主张都有对应的测试
尽职调查就是投资前的核查。本指南核查初创公司的人工智能产品,不是您的研究工具。从种子前轮到A轮都可使用。先看融资介绍中到底提出了什么主张。询问这个分数测试了用户的哪项任务。
整理一份把主张与测试相连的证据包。这些文件应支持该主张。保存完整的任务说明和提示词。提示词是指导模型的文字。加上模型版本、产品代码版本和测试日期。记录产品当时能用哪些源文件和工具。
注明评分者是谁:是人还是工具。保存通过规则,以及所有已评分案例的总数。这个总数就是计算通过率时的分母。也要列出调用失败、跳过的案例和原因。模型卡是介绍模型测试、用途和局限的说明。[4]
- 记录具体主张和用户任务,不只是笼统的模型分数。
- 保存完整提示词、模型和代码版本、文件及日期。
- 记录评分者、通过规则、案例总数和排除的案例。
理清训练、调优和最终测试
要求团队明确每组案例的用途。训练案例用来教模型。调优案例帮助团队选择如何修改模型或提示词。最终测试案例检查选定的版本。它们不能指导这个版本的修改。Google解释了这些分工。[2] 要求提供有日期的记录,不能只看文件夹名称。
测试数据泄漏,是指测试线索进入了模型开发过程。这些线索可能包括答案。这会让分数看起来比处理新任务时实际应有的表现更好。它可能是失误,并不一定是安全事件。连清理数据的步骤也可能带入测试线索。[1]
询问团队自己训练或修改了什么。询问外部模型公司声称用什么训练了模型。如果不知道那些训练文件的内容,就写明未知。核查团队的文件,不能证明外部文件没有这类泄漏。把这一局限放在分数旁边。
- 训练、调优和最终测试案例的带日期记录。
- 提示词修改、模型选择和数据准备步骤。
- 初创公司已知的数据,以及未知的外部训练内容。
按真实任务划分案例
数据划分,是把案例分成用途不同的几组。按初创公司声称能解决的任务来选划分方式。Google说,测试案例应反映真实工作。它没有为每组规定固定比例。[2] 随机划分并不适合所有任务。
如果主张涉及新客户,要把同一客户的案例放在一起。不要把高度相似的副本分到训练和最终测试两边。这叫分组划分。它检查模型面对训练中未用过的组时的表现。scikit-learn解释了为何有关联的案例需要这种处理。[3]
如果任务是预测以后发生的事,就按时间划分。用较早的数据开发,用较晚的案例测试。不要让未来才会知道的事实进入输入。scikit-learn提醒,数据若有时间关联,随机划分可能误导。[3] 询问技术负责人,为何所选划分适合这项任务。
- 新客户主张:需要时,按完整客户组分开。
- 未来事件主张:用较早数据开发,用较晚案例测试。
- 任务匹配:解释划分方式,以及它无法测试什么。
先查重复案例,再相信结果
要求检查不同案例组之间是否重叠。重叠就是同一案例出现在不止一组里。既要查完全相同的副本,也要查同一案例略改文字的版本。Google提醒,测试中出现训练案例的副本,会让测试不公平。[2] 保存核查方法,以及它能检查哪些文件。
以下是虚构例子,不是真实初创公司的结果。某产品测试有100个已评分案例。技术负责人发现,其中20个是训练案例的副本。重叠比例是20%:20除以100,再乘以100。这是在数重复案例,不是新的通过率。
不要删掉这些结果,就说剩下的没有问题。这不能说明测试一直与调优分开。修正划分,再用新案例得到新分数。不要把这些案例用于训练或调优。注明核查无法接触到哪些数据。
- 完全相同的副本、略改文字的版本和共用的源记录。
- 核查方法、覆盖的数据和未检查的数据。
- 必须重新测试,不能修补通过率。
指定审核人,用新案例测试
留出集是一组预留案例,不参与开发和调优。指定一位技术审核人,监督新的留出案例测试。此人必须了解任务,也懂得如何测试。只用团队有权用于测试的文件。用明确的访问规则保护案例和答案。
测试前,固定产品、提示词和通过规则。测试中不要改动。不要把标准答案放进产品的输入。只有真实任务允许使用源文件时,测试才可允许。加入常见案例、难例和信息缺失的案例。为这项任务设通过规则,不要用一个分数衡量所有任务。
保存每次输出及其分数,不只是最好的一次运行。对有争议的分数进行人工检查,也包括人工智能给出的分数。如果最终结果指导了修改,这些案例就变成调优数据。它们不再算独立的最终测试。Google提醒,反复使用会让测试集逐渐失去测试价值。[2]
- 指定审核人,使用新的留出案例,保护标准答案。
- 固定产品版本和提示词,注明允许的输入和评分者。
- 保存所有输出、评分争议和测试后的任何修改。
让失败案例和商业证据都看得见
要求在主要分数旁边展示失败案例。注明哪些任务和语言没有测试。说明产品无法回答时会发生什么。Google说,模型卡应展示用途和局限,也应展示薄弱之处。[4] 不要用平均值掩盖关键缺陷。
把主张、带日期的证据和未解决的缺口放在一起。加上技术负责人的姓名,以及下一步需要的测试。缺少测试记录不等于存在欺诈。把主张标为尚未核查。如果用人工智能帮助阅读证据包,只能用获准的文件。让人负责最终判断。
可靠的测试,只能在其范围内支持一项产品主张。它不能证明有需求、成本低或能重复销售。要用各自的证据核查这些商业主张。它也不能证明这家初创公司是一项好投资。任何测试分数都不能证明未来会获得融资或投资回报。
- 清楚展示失败案例、未测试的工作和未知训练数据。
- 主张、证据、缺口、审核人和下一步测试。
- 分别核查需求、成本和销售的证据。
FAQ
常见问题
测试数据泄漏就意味着安全事件吗?
不一定。在这里,测试线索或答案进入了模型开发过程。这可能让分数看起来过高。[1] 安全事件是另一回事,涉及数据访问或丢失。如果私人数据可能已经暴露,也要核查这一点。
投资者能证明外部模型从未看过这些案例吗?
不能只靠核查初创公司的文件。模型公司的训练文件可能未知。要明确说明这一点。妥善保护的新案例有助于测试产品当前的主张。它们不能证明过去所有训练数据都没有这类泄漏。
应该留出多大比例的数据做最终测试?
没有适用于所有任务的固定比例。Google没有规定百分比。[2] 要求技术负责人提供足够案例来测试主张。案例应贴合真实工作,需要时分开有关联的案例。测试太小,留下的疑问就更多。
REF
资料来源
- 1
- 2
- 3
- 4
