Belief System 分析 · 更新于 .
当人工智能错误地描述一个组织时,第一步是保留答案并限定错误。然后有必要检查可访问的来源和公共参考信息。纠正作用于组织真正能够控制的范围;它不保证立即修改所有答案。
混淆可能涉及姓名、活动、地点、经理、客户或过去的事件。这些错误的严重程度不同。沟通管理必须优先考虑那些改变组织理解或影响人员和决策的内容。
创建错误表
该文件保留显示的确切问题、答案、引擎、日期和链接。它表明有争议的陈述、参考事实和允许其得到验证的文件。没有上下文的孤立捕获更难以比较和分析。
资格必须区分事实错误、旧信息、有问题的解释和缺乏精确性。不完整的描述并不总是错误的。相反,即使其余的响应看起来不错,虚构的客户参考也可能会出现问题。制造风险记录在 NIST Generative AI Profile 中。 [1]
首先检查您控制的信息
机构网站、简介、产品页面和公共文件必须一致。仍可访问的旧页面可能与最近的页面相矛盾。解释不清的更名可能会导致混乱。修复从明确的信息开始,注明有用的日期并链接到受影响的页面。
我们必须避免发表同一否认的十种变体。这种乘法可能会产生新的矛盾或使主要信息更难以定位。具有相关内部链接的清晰参考页面通常是更好的编辑起点。
有条不紊地恢复外部资源
如果答案引用了第三方页面,请检查其实际内容。引用的内容可能与该声明相关、歪曲或不直接相关。对编辑的更正必须与记录的事实相关并尊重其自主权。它不应该仅仅因为一条合法评论被人工智能占用而要求删除它。
当来源无法识别时,应予以注明。由于缺乏链接,我们无法得出训练数据中有精确来源的结论。该报告区分了观察到的情况和假设的情况。服务报告系统可以在其范围内使用,但不承诺其效果。
示例:两个同名组织
在一个虚构的案例中,回复将另一家同名公司的活动归因于一家咨询公司。公司的网站可以阐明其身份、领域、活动以及区分其的要素。检查相关传记和目录以避免描述不一致。
以下检查使用相同的问题和一些明确独立的变体。它检查混乱是否持续存在、存在于哪些引擎以及来自哪些来源。目标是提高可观察到的理解,而不是在得到一个正确答案后就宣布错误已得到彻底解决。
安装信息维护
团队、报价和地点的变化必须触发对参考页面的审查。经理可以记录重要信息及其日期。此维护还为记者、合作伙伴和人类读者提供服务。
Google 关于内容可靠性的建议为来源的清晰度提供了基准。对于Belief System来说,咨询逻辑是将纠正与事实治理联系起来:知道什么是准确的、在哪里可以验证以及谁来更新信息。 [1]