人工智能尽职调查工具：购买前先测试已知答案

选择一项任务，而不是为整笔交易下结论

尽职调查是投资前做的核查。本指南帮助团队测试用于阅读初创公司文件的工具。它不能用来给创始人打分，也不能预测回报。先从一项任务开始，例如根据一套文件回答现金问题。

写清有用的回答必须展示什么。对于现金问题，要求给出现金日期和单位。对于资金续航期，询问现金还能维持多久。回答必须说明所用的净现金消耗。这是每月支出的现金减去流入现金后的数额。

NIST 警告，人工智能可能很有把握地说出错误事实。它也可能编造来源。OpenAI 建议为具体任务设计测试，而不只看广泛评分。整齐的回答仍可能是错的。[1] [2]

• 写明任务和核查它的人。
• 说明所需的事实、日期和单位。
• 说明工具不得决定或做什么。

根据已批准的文件建立答案核对表

答案核对表是一份测试问题和已核查答案的清单。在测试工具前先写好它。每个答案都要写明来源文件、页码和日期。请另一位团队成员核查这份表。在评判工具前，先补好表中的缺漏。

加入简单事实、计算题和难题。加入一个文件中没有答案的问题。加入两份没有明确理由却相互矛盾的文件。预期回答应指出缺失或冲突，而不是猜测哪个事实是真的。OpenAI 将这类情况称为正常、边界和对抗性案例。[2]

使用虚构文件，或使用已获批准且已删除私人事实的副本。让它们符合您计划使用的阶段、行业、语言和文件类型。只用干净的英文文本做测试，对其他语言的扫描文件说明不了多少。它对真实交易质量也说明不了多少。

• 明确事实：找到现金余额和它的日期。
• 计算：用所述现金和净现金消耗算出资金续航期。
• 缺失事实：说明文件没有给出答案。
• 冲突：展示两个来源，并要求核查。

固定输入，并保持测试安全

给每个工具相同的文件和问题。不要把已核查的答案放进它的输入中。保存工具版本、设置和测试日期。记录它可能使用的任何网页搜索或额外文件。否则，您比较的可能是不同的资料包，而不是工具。

上传前，查看供应商的条款和数据设置。询问谁能访问文件。询问文件和日志会保存多久。核查它们是否可以用于训练模型。在您的机构批准这种使用前，不要上传私人的交易文件。

在只读空间中运行。不要给测试工具交易、发送邮件或共享文件的权限。安全测试需要自己的安全范围。NIST 的框架是自愿指引，不是供应商符合当地法律的证明。就数据和合同寻求合格的当地意见。[1]

分别评分答案和来源

将每个回答与核对表比较。然后打开它引用的来源。该段文字支持这项说法吗？日期对吗？单位对吗？数字即使正确，若来源是错的，来源核查仍然失败。不要把所有错误合成一个平均分。

Google 将找到正确来源与正确使用来源分开看。如果回答失败，核查是哪一步出错。对旧文件的忠实总结仍可能没有回答您的问题。创始人的文件提供支持，并不证明该文件是真的。用其他方式核实关键交易事实。[3]

这是一个虚构的测试示例，不是供应商结果。10 条回答中，8 条通过答案核查。6 条通过来源核查。这些组可能重叠。有一条回答把现金说错了。如果这可能改变对交易的判断，就停止将它用于该任务。其他通过项不能抵消这个错误。

• 答案：它是否符合已核查的事实？
• 来源：引用的页面是否支持这项说法？
• 日期和单位：它们是否符合问题？
• 未知项：它是否标出缺失或冲突的事实？

重复测试，但不要教给工具最终答案

用同样的输入测试不止一次。记录每个回答，不只记录最好的一个。同样的输入，人工智能可能给出不同结果。计算重大错误再次出现的次数。不要选一次好的运行结果，再隐藏其余结果。[2]

用一些案例修改指令和设置。把其他案例留作最终测试。不要用这些最终答案来调校工具。出现新的文件类型或失效方式时，加入新案例。小测试只是开始，不能可靠估计未来的所有错误。

如果人工智能帮助给回答评分，要手工核查它的评分。第二个人工智能可能漏掉同一个错误。OpenAI 说，模型评分需要与人工标注核对。让指定的审核人解决争议。评分要看支持证据和含义，不只看词语是否相同或文字是否更长。[2]

批准有限用途，并保留停用规则

在看到结果前，设定通过和停止规则。您的机构必须根据任务风险选择这些规则。没有适用于所有交易的单一安全通过率。有关现金、所有权或数据访问的重大错误，应阻止这种使用，直到修正并重新测试。

如果测试通过，只批准已经测试的任务。对会影响交易的事实保留人工核查。模型、指令、搜索或资料包发生变化后，要重新测试。记录新错误，以及谁可以停止使用。NIST 要求在使用前和持续审查期间核查来源。[1]

本指南使用了人工智能支持和链接来源。它的测试示例是虚构的。本文没有测试任何供应商。这不是投资或法律建议。完整的交易核查和当地数据规则仍然适用。工具测试不能证明一家初创公司是好的投资。