敢用的 AI:规则 + 约束 + 人在环

问题:在化工现场,"说不清依据"就等于不能用

工厂里谈 AI,真正卡住的问题往往不是"够不够聪明",而是**"敢不敢用"**。

尤其在危化与审厂场景,几个约束是硬的:

  • 安全:涉及安全的判断不能交给一个说不清理由的系统;
  • 合规与审厂:每一个结论都要能回答"依据是什么、谁确认的、什么时候",否则审的时候拿不出东西;
  • 机理可验证:化工有明确的物理化学机理,一个"看起来合理"的结论如果对不上机理,就是危险的;
  • 数据主权:核心工艺与质量数据不能随便出厂。

一个黑盒模型可以给出很流畅的答案,却无法满足上面任何一条。所以问题不是"要不要用 AI",而是"要用哪一种 AI"。

方法:确定性的壳,包住概率性的核

我们的做法可以概括成一句话:在概率性的模型外面,包一圈确定性的护栏。 具体由四层构成。

第一层:本体——让系统先"看懂"工厂。 把装置、物料、批次、牌号、能源等建成有属性、有关系、可执行动作的对象,并把机理(阈值、时序先后、量纲、拓扑边界)编码为强类型的关系与约束。对象"活"起来,推理才有立足点。

第二层:知识图谱与规则——让推理沿着因果走。 异常发生时,沿因果关系检索路径,并用规则前置校验:不满足物理约束的路径直接剪掉。这一步决定了结论是"算出来的"而不是"猜出来的"。

第三层:结论必须带三样东西。 我们要求任何一条建议都同时给出:证据链(依据哪些数据、哪些环节)、置信度(有多确定)、数据缺口(哪里没有数据支撑)。第三项常被忽略,但它恰恰是让人敢采信的关键——诚实地说"这里我不知道",比给一个圆满的答案更可信。

第四层:人在环与边界。 关键动作(放行、报废、让步接收、参数写入等)一律由授权人确认后才生效,确认与驳回全程留痕;对控制系统只读、不干预控制回路;模型可本地部署、数据不出厂;并对 AI 自身的行为做审计,防止越权。

举个示意性的例子(以下数值为示意,非真实客户数据):当成品某项指标越界时,系统不是只把数字标红,而是沿因果链定位到"原料批次 → 脱挥环节温度下探 → 某蒸汽阀异常",输出带证据的处置建议,并注明置信度与待确认项。人看到的不是一个结论,而是一条可以复核的推理

如何验证:可以抽查的判定方法

判断一套 AI 是不是"敢用",不必听介绍,抽查四件事即可:

  1. 可解释抽查:随机抽若干条 AI 建议,检查是否每条都带证据链与置信度,并能追溯到具体数据。做不到,即为黑盒。
  2. 人在环验证:检查关键动作是否都有人工确认记录;系统中是否存在"AI 直接执行"的路径。
  3. 数据主权验证:断开外网条件下,核心功能是否仍可运行;是否有业务数据外发。
  4. 越权检测:是否对 AI 自身行为留痕并能检测越界;出现越权时是否被拦截。

另外建议在验收口径上明确一条:根因结论的性质是"高置信度假想,需现场确认",而不是"系统判定的事实"。这一条写进文档,可以避免后续大量责任纠纷。

诚实边界

本文所述属于工程实践:确定性护栏、人在环、审计与签名、数据不出厂,都是我们既有并在真实项目中执行的能力;而成规模的 AI 建议生成与数字专家能力,我们的定位是"底座预埋、随数据成熟度逐步激活",不是已经全自主运行。

我们也不认为白盒是唯一正确的路线——在容错高、后果轻的场景,黑盒模型效率更高。但在危化、质量放行、审厂这些"错一次代价很大"的地方,我们选择可解释、可审计、人可以拍板的那条路。

常见问题

白盒 AI 是不是就不能用大模型了?

不是。我们的做法是分层:确定性的部分(规则、约束、审计、签名、人工确认)构成外壳,概率性的模型在壳内工作。模型可以替换、可以升级,但结论必须能被解释、被复核,关键动作必须由人确认。

带了置信度就算可解释吗?

不够。置信度只是一个数字。可解释至少要包含三件事:结论依据哪些数据(证据链)、推理经过哪些环节(因果路径)、以及哪里数据不足(数据缺口声明)。缺一项,复核的人就无法判断该不该采信。

AI 给出的根因可以直接执行吗?

不建议。我们把根因结论定义为「高置信度假想」,需现场确认后才固化。控制回路一律只读、不干预;涉及放行、报废、参数写入等动作,必须由授权人确认并留痕。