智东西
作者 | ZeR0
编辑 | 漠影
智东西9月16日报道 ， 生成式AI幻觉问题是令人们不敢信任AI的一大痛点 。 对此 ， 亚马逊云科技将其核心云服务中长期使用的自动推理技术拿出来 ， 作为Amazon Bedrock Guardrails中的一项功能 ， 供客户直接使用 。
Amazon Bedrock Guardrails自动推理检查（Automated Reasoning checks）功能已正式可用 ， 同时新增5项功能 。 该功能通过基于数学和逻辑的形式化验证机制 ， 帮助客户依据其领域知识 ， 提高检测和验证模型输出的准确性 ， AI响应验证准确率高达99% ， 能够有效降低AI幻觉带来的风险 。
这种方法与概率推理方法有着本质区别 。 概率推理方法是通过为结果分配概率来处理不确定性 ， 而自动推理检查功能做到将AI输出转化为逻辑可验证的命题 ， 帮企业把数学严谨性嵌入到AI应用的防护中 。
当模型输出存在多种解释时 ， 自动推理检查功能还能辅助检测歧义情况 。
在预览版的基础上 ， 该功能正式版新增了多项能力：可支持处理长达80K token的文档 ， 保存和复用验证测试 ， 自动生成测试场景 ， 以自然语言形式反馈策略优化建议 ， 并允许客户自定义置信度阈值 。 这些增强功能让自动推理检查从概念性探索走向可规模化落地 ， 给业务层面加筑一道AI可信防线 。
一、十年打磨的幕后武器 ， 首次走向客户应用幻觉是大语言模型输出内容不靠谱的关键问题之一 。 企业客户希望获得更加确定性的结果：一是语法表达和事实表达上的正确性 ， 即不希望出现幻觉；二是业务表达上的准确性 ， 即希望大模型能够真正理解业务场景 ， 输出符合业务逻辑的内容 。
降低幻觉的一个常见做法是把整个原始文档作为提示词和上下文传给大模型 ， 这样方式往往会消耗大量Token ， 成本很高 ， 还考验模型能不能从大量内容里准确提取 ， 成本和准确性都有风险 。
通过规则补充模型能力 ， 是大模型生产化落地的一个可取方法 。
自动推理检查功能相当于“大模型的逻辑监督员” ， 在模型输出前 ， 加了一道逻辑校验 ， 来进一步提升AI输出内容的可信度 。
其背后技术原理是符号式AI（Symbolic AI） ， 核心思想是把人类世界的各种描述抽象成逻辑表达 ， 再通过严格的逻辑控制 ， 确保AI的输出或自动生成的内容符合实际结果 。
在Amazon S3、Amazon IAM等核心服务中 ， 亚马逊云科技已使用自动推理技术十余年 ， 验证代码正确性、优化性能、缩短迭代周期 。
比如在Amazon S3存储桶中客户需要对访问权限做严格控制 ， 在Amazon VPC中涉及大量的网络连接和权限控制 ， 背后都是基于自动推理实现的 。
通过Amazon Bedrock Guardrails ， 亚马逊云科技首次将这一工具开放给客户 ， 提供AI安全与合规的即开即用能力 ， 进一步改善实际业务中大模型幻觉问题 。
正式推出的Amazon Bedrock Guardrails自动推理检查功能新增5大特性：
（1）可处理大型文档：支持在单次构建中处理大型文档 ， 最多可达80K tokens长文档 ， 能轻松处理海量文档资料 ， 相当于多达100页的内容 。
（2）简化策略验证流程：可保存验证测试并反复运行 ， 便于随时间推移对策略进行维护和验证 ， 让策略验证拥有类似“回归测试”的工程属性 。
【降低大模型幻觉、让企业AI输出更靠谱，亚马逊云科技掏出10年家底】（3）自动场景生成：根据客户的定义自动创建测试场景 ， 能降低使用门槛 ， 节省时间和精力 ， 有助于实现更全面的场景覆盖 。
（4）增强的策略反?。 耗芄灰宰匀挥镅缘男问轿呗员涓峁┙ㄒ?， 从而简化策略优化流程 ， 让并非逻辑学专家的开发者和合规人员也能快速上手 。
（5）可定制的验证设置：可根据具体需求调整置信度分数阈值 ， 使企业对验证严格程度拥有更灵活的控制权 。
这些新特性的推出 ， 意味着自动推理检查功能已经从一个面向专业领域的“概念验证工具” ， 发展成为可以大规模、标准化应用的工程化能力 ， 从实验室走向生产环境 。
二、判断AI助手回答是否符合规则 ， 精准定位矛盾点将一份自然语言写成的政策文档上传到Amazon Bedrock Guardrails模块后 ， 系统会通过自动推理 ， 把自然语言的表述转化为符号化的逻辑表达 ， 即自动抽取一系列规则和变量 ， 进行符号化处理 ， 再组合成规则 。
这一过程在控制台中包含完整的逻辑链路：用户在“Automated Reasoning”下创建策略 ， 输入名称和描述并上传规则文档；系统会自动生成由规则（Rules）、变量（Variables）和自定义类型（Custom Types）组成的逻辑结构 ， 并应用在Amazon Bedrock Guardrails的最终防护环节 。
这些规则的作用是验证大模型的输出结果 。 大模型本身并不知道企业内部的规则 ， 只是基于概率生成的 。 通过这样一道逻辑校验 ， 就能捕捉模型的输出 ， 判定它是有效（Valid）、无效（Invalid）还是部分满足（Satisfiable） 。
规则定义了变量之间的逻辑关系并具唯一ID以便追溯 ， 变量抽取原文中的关键概念 ， 如首付比例或信用评分 ， 自定义类型则用于限定取值范围 ， 例如区分“有保险贷款”和“常规贷款” 。
在“Tests”环节 ， 用户可以先利用“自动生成场景”快速得到覆盖全面的测试用例 ， 再补充手动测试 ， 并为每个用例设定预期（Valid、Invalid、Satisfiable） ， 同时可设置置信度阈值 。
前期抽象出规则的过程是自动完成的 ， 不需要人工参与 ， 效率更高 。 这个过程可能存在幻觉 ， 所以系统提供了自定义接口 ， 让领域专家能对这些规则进行修改和修订 ， 确保逻辑正确 。 规则修改完成后 ， 就可以把它们推到线上 。
当企业员工和大模型真正交互时 ， 这些规则会作为一道过滤器 ， 对模型输出进行检查 。 这样一来可以更好地控制模型输出 ， 避免业务逻辑上的错误 。
运行验证后 ， 系统不仅能判断AI助手的回答是否符合审批规则 ， 还能在失败时精确定位到引发矛盾的规则 ， 帮助用户优化策略或修正测试 。
完成验证后 ， 单个Guardrail最多可附加两份自动推理策略 ， 并能与内容过滤、上下文基础核查等其他防护机制协同工作 ， 从而形成覆盖逻辑、内容与语境的多层次安全保障 。
在实际应用中 ， 自动推理检查功能会集成在业务流程里 。 该模块可以和防违规模型一起用 ， 也可以独立应用 ， 把任何模型的输出结果传到Guardrails进行管控 。
这些防护措施不仅适用于Amazon Bedrock的模型 ， 还可通过API扩展到第三方模型 ， 并能与Strands Agents及基于Amazon Bedrock AgentCore的Agent配合使用 ， 在多Agent协作场景中同样发挥作用 。
三、优化公用事业停电管理系统 ， 让企业AI部署合规可靠亚马逊云科技在官方博客中以房贷审批为例 ， 演示了Amazon Bedrock Guardrails自动推理检查功能的实际应用 。
在示例中 ， 用户只需上传房贷审批规则文档 ， 系统即可将其转化为逻辑定义 ， 并自动生成测试场景 。 随后 ， 用户可以补充手动测试 ， 为每个用例设定预期结果 ， 并运行验证 。 当输出与规则不一致时 ， 系统能准确定位矛盾点 ， 帮助用户调整策略 。
完成验证后 ， 这些策略可直接应用到Guardrails中 ， 用于约束AI助手的回答 。
这一示例表明 ， 自动推理检查功能能够把日常业务规则转化为可验证的逻辑 ， 并通过自动化测试和持续验证机制 ， 让AI的输出始终符合合规和业务要求 。
亚马逊云科技还与普华永道共同开发了一套解决方案 。 借助自动推理检查 ， 公用事业公司可通过以下方式实现运营优化：
（1）自动协议生成：创建符合监管要求的标准化流程 。
（2）实时计划验证：确保应急响应计划符合既定政策 。
（3）结构化工作流构建：制定基于严重程度的分级工作流 ， 并明确响应目标 。
该解决方案的核心在于将智能策略管理与优化后的响应协议相结合 ， 运用自动推理检查技术来评估AI生成的回复 。 一旦发现回复无效或存在可满足性方面的问题 ， 便会利用自动推理检查的结果 ， 优化完善或者直接重新编制答案 。
这套方案体现了AI如何变革传统公用事业运营模式 ， 通过将数学层面的精准性与实际需求相结合 ， 使其更高效、更可靠、更及时响应客户需求 。
Amazon Bedrock Guardrails自动推理检查功能已在美国东部（俄亥俄州、北弗吉尼亚州）、美国西部（俄勒冈州）以及欧洲（法兰克福、爱尔兰、巴黎）区域正式可用 ， 按处理文本量计费 。
结语：给“AI护栏”加道“数学保险锁”十多年来 ， 亚马逊云科技在Amazon S3、Amazon IAM、加密引擎等核心云服务中 ， 率先应用自动推理技术 ， 用数学和逻辑的方法论验证系统的正确性 。 这些经验成为支撑复杂大规模云服务实现安全和可靠的重要力量之一 。
市面上的AI安全手段大多依赖过滤或概率阈值 ， 难以给出确定性保障 。 Amazon Bedrock Guardrails自动推理检查功能首次具备逻辑可证明的审查能力 ， 让AI的安全性不仅依赖概率和经验判断 ， 还增加了数学逻辑上的可验证能力 ， 从“可信”进一步迈向“可证明” 。
这相当于为AI加了一道“数学保险锁” ， 进一步提升了AI的可靠性 ， 让企业能够逻辑化地验证AI输出是否符合政策与规则 ， 有助于规避因“幻觉”引发的事实性错误 。
推荐阅读
- MachineLearningLM给大模型上下文学习装上「机器学习引擎」
- 大模型碰到真难题了，测了500道，o3 Pro仅通过15%
- KV Cache预算降至1.5%！他们用进化算法把大模型内存占用砍下来了
- 上海AI“北斗七星”矩阵再添成果，斑马智行元神AI大模型完成备案
- 机器人交互、金融大模型轮番上阵 服贸会上银行展出满满科技感
- 谁在暗中驯化大模型？
- 大模型智能体不止能写代码，还能被训练成白帽黑客
- 如果大模型是一片星空，谁是北斗？
- 幻觉成了AI的“癌症”，连OpenAI也治不了
- 1335万大模型大单！百度拿下，5天中标3个项目