∞直接答案
直接答案
把AI用于整理线索,而不是决定投资。为你的投资范围定义误选和漏选。用已复核的项目测试两类错误。联系前要核对来源。下一步应由人决定。NIST指出,准确性检查应在真实测试集上包含误选率和漏选率。[1]
筛选前先定义两类错误
误选是指线索通过筛选后,复核才发现它不符合一条已写明的规则。漏选是指线索没有通过筛选后,复核才发现它其实符合这条规则。
这些标签只用于筛选。不要用它们判断未来回报。好的筛选会找出值得复核的工作。它不能证明一家公司值得投资。
用简单的话写规则。包括阶段、地点、行业、支票金额和冲突规则。未知就是未知。没有证据,不等于不匹配。
- 通过:有链接的证据符合已写明的规则。
- 复核:线索可能匹配,但关键事实缺失或有冲突。
- 不通过:有链接的证据显示已写明的不匹配。
- 升级:冲突、敏感事实或来源问题需要负责人处理。
建立包含临界案例的测试集
使用已由人核查过的项目。加入明确匹配、明确不匹配和困难案例。困难案例接近阶段、行业或地点规则。它能显示简单规则在哪里会失效。
每个测试项目应在人员阅读来源记录后才得到标签。留出一部分项目。不要用它来改提示词或规则。之后用它检查改动后的筛选。
NIST说,准确性指标应使用真实且有代表性的测试集。它也建议记录方法,以及相关数据分组的结果。[1]
- 使用与实际筛选相同的来源类型。
- 每个标签都保存来源链接、核对日期和复核说明。
- 让人抽查通过和不通过的线索。
- 在有用且合法时,查看阶段、行业、地区和来源类型。
要求证据,不要结论
要求每条线索有一张短卡。卡上要有匹配的规则、来源链接、来源日期和未知事实。每条规则要分开。不要把缺口藏在一个总分里。
AI生成的来源或引文可能是错的。NIST把生成式AI自信地给出错误内容称为虚构。它指出,这种风险在重要决定中尤其要注意。[2] 打开来源,确认它确实支持所写的事实。
证据弱时应转入复核。不要自动通过或拒绝。复核人应能改正结果、修改规则或停止流程。
- 具体规则:筛选测试了什么。
- 证据:来源链接、短引文和核对日期。
- 限制:来源不能说明什么。
- 下一步:通过、复核、不通过或升级,并写明原因。
记录错误,每次只改一件事
记录人员复核了多少线索。记录误选、漏选、弱来源和复核人改动。结果旁要写规则版本、模型或工具版本、来源集合和复核日期。
测试前先定应对规则。漏选增加,可能表示要多抽查不通过的线索。误选增加,可能表示证据规则太宽。大规模使用前,先在留出的测试集上测试改动。
ESMA期望在投资服务中使用AI的投资公司测试和监控系统,评估输入数据,并保留清楚的记录。IOSCO也强调独立验证、预警,以及人工复核和推翻记录。[3] [4] 这些是有用的控制思路。你的法律义务取决于公司、服务和所在地。
- 指定筛选及其改动的负责人。
- 按计划并在重大改动后复核错误样本。
- 来源失效,或结果无明显理由改变时,暂停流程。
- 最终会议和投资决定应由人作出。
FAQ
常见问题
项目筛选中的误选是什么?
它是指筛选通过了一条线索,但之后的复核发现它不符合已写明的规则。错误可能来自弱数据、错误来源或过宽的规则。
项目筛选中的漏选是什么?
它是指筛选拒绝了一条线索,但之后的复核发现它符合已写明的规则。抽查一部分被拒绝的线索。这能发现过窄的规则。
我们应当消除所有错误吗?
不应当。严格规则可能减少误选,却带来更多漏选。宽松规则可能找到更多线索,却花掉更多复核时间。按你的投资范围设定取舍,再测试它。
AI评分可以决定谁获得会议吗?
不可以。评分可以帮助整理研究线索。它应显示事实、来源、缺口和冲突。是否推进线索应由人决定。
REF
资料来源
- 1
National Institute of Standards and Technology
Artificial Intelligence Risk Management Framework (AI RMF 1.0) ↗ - 2
National Institute of Standards and Technology
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile ↗ - 3
European Securities and Markets Authority
Public Statement on Artificial Intelligence and Investment Services ↗ - 4
International Organization of Securities Commissions
Supervisory Toolkit for AI Use in Capital Markets ↗
