AI 进入制造组织,需要哪些权限与责任边界?

问题:有权提问,不等于有权执行

制造企业引入 AI 时,经常先讨论它能否连接 MES、LIMS、ERP 或数据平台。但“可以访问系统”并不是一个足够精确的权限定义。

同一个用户可能有权查看质量记录,却无权修改放行状态;有权要求 AI 解释异常,却无权让它提交处置;有权审核一条建议,也不一定是最终业务责任人。

因此,AI 权限不能只有“开”和“关”。它必须与具体对象、业务状态、动作类型和责任角色一起定义。

一套更实用的制造 AI 权限阶梯

第一层:读取事实

AI 只能读取经批准的数据范围,并记录数据来源、时间和版本。敏感字段、跨区域数据和受限制对象继续沿用原有权限隔离。

“能读取质量数据”还不够精确。更可执行的授权应说明:能够读取哪个工厂、哪类批次、哪些字段、什么时间范围,以及是否允许跨客户、跨部门或跨区域关联。

第二层:解释与建议

AI 可以归纳信息、提示异常、形成候选原因和建议,但必须区分确认事实与模型推断,同时声明数据缺口。建议本身不改变任何业务状态。

这是多数工业 AI 场景合理的起点:让系统先证明自己能稳定找到正确上下文、诚实表达不确定性,并帮助人员缩小排查范围。

第三层:代拟业务材料

AI 可以准备复核单、任务说明或审批草稿,但不能代表责任人签署。人员检查后再决定是否提交。

这一层可以节省大量整理工作,同时保留人员对事实、措辞和责任的控制。

第四层:提交受控业务动作

在明确授权下,AI 可以通过统一动作接口提交复检、创建任务或发起审批。系统仍需执行:

  • 身份与角色检查;
  • 对象和动作白名单;
  • 业务状态前置条件;
  • 重复提交保护;
  • 高风险动作审批;
  • 全程审计与失败收敛。

涉及关键处置时,授权人员仍需确认。数字专家提交的是受控提案,不是直接修改数据库。

第五层:自动执行特定业务动作

只有在范围狭窄、后果可控、规则明确并经过单独验证的情况下,才可能允许系统自动执行某些业务动作。

自动化范围、停止条件、异常回退、监控方式和责任人必须形成正式记录。不能因为某个 Agent 在演示中成功调用了一次工具,就把它提升为生产授权。

这套阶梯主要针对生产经营层。DCS 和 PLC 的基础控制、SIS 的独立安全保护,不应因为通用模型具备工具调用能力而被纳入同一授权。

五类责任不能混在一个模糊的“人在环”里

“关键动作由人确认”仍然不够具体,因为不同问题需要不同责任人。

责任类型 负责内容
数据责任人 数据来源、口径、质量与访问范围
规则或知识责任人 判断方法、适用条件与版本
模型责任人 评测、部署、监控与回退
业务决定责任人 接受、修改或驳回建议
动作执行责任人 实际处置与结果记录

这些角色可以由同一人兼任,但系统中仍应分别记录。否则,一旦发生争议,团队只能看到“某人点了确认”,却无法判断他确认的是数据、建议、业务决定还是执行结果。

数字专家也不能成为责任主体。它可以提供证据和建议,但企业仍需明确哪个岗位对最终决定负责。

权限必须由确定性系统执行

“请不要修改关键数据”“必须得到用户允许后再执行”可以作为模型行为提示,但不能充当安全机制。

关键边界应由确定性系统执行:

  • 权限由身份与角色服务判断;
  • 可操作对象由白名单限定;
  • 业务状态由前置条件检查;
  • 重复提交由幂等机制收敛;
  • 高风险动作由审批或电子签名确认;
  • 每次读取、建议、提交和执行留下审计记录;
  • 模型不可用或越权时,流程能够安全失败并回到人工路径。

模型可以解释规则,不能决定自己是否有权绕过规则。

为什么控制系统边界必须单独说明

MES、QMS、LIMS 等系统承载的是业务状态与记录;DCS、PLC 和 SIS 承担的是不同层级的确定性控制与安全职责。两者不能因为都提供接口就被放在同一风险等级上。

通用数字专家可以读取经过批准的过程数据、提出核查或参数建议,但不应默认获得写控制设定值、修改联锁或触发停车的权限。

如果某个场景确实希望进入自动控制闭环,必须作为独立控制工程项目完成危害分析、控制策略验证、失效设计、变更审批与安全验证。它不是“把 Agent 的工具权限再打开一点”。

上线前应该演练什么

企业可以用几项简单演练检查边界是否真实存在:

  1. 使用只有读取权限的身份要求 AI 提交业务动作,系统应明确拒绝;
  2. 在对象状态不满足条件时重复提交同一动作,系统不得产生重复结果;
  3. 撤销某项授权后,正在运行的 Agent 不应继续拥有旧权限;
  4. 要求 AI 引用不存在的数据,系统应暴露数据缺口而不是补造事实;
  5. 模型服务中断时,人工流程应继续可用;
  6. 任取一条动作,能够回放数据、建议、审批、执行和结果记录;
  7. 让未经授权的岗位查看受限对象,系统应维持原有数据隔离。

这些演练比权限配置截图更能证明治理是否落地。

适用边界:不同任务需要不同治理深度

知识检索和办公辅助可以保持只读;影响质量、计划、设备任务或业务状态的能力,需要更明确的权限与责任设计。

权限划分也不能替代工艺安全分析、质量制度或控制工程审批。它解决的是 AI 在组织与业务系统中的行动边界,而不是重新定义 DCS、PLC、SIS 或法定岗位的职责。

成熟的制造 AI 不以“获得更多权限”为目标,而以“在最小必要权限内稳定交付、遇到不确定性时安全停下”为目标。

常见问题

只在提示词里要求 AI 不要越权,是否足够?

不够。提示词可以引导行为,但身份、对象白名单、状态前置条件、审批、幂等和审计必须由确定性系统强制执行。

人在环是否意味着所有动作都由同一个人点确认?

不是。数据、规则、模型、业务决定和动作执行可能分别由不同岗位负责,系统应记录每个人确认的具体内容。

AI 能否自动修改 DCS 或 PLC 设定值?

通用数字专家默认不应拥有这类权限。自动控制需要作为独立控制工程项目完成危害分析、测试、变更审批和安全验证。

如何验证权限不是只存在于设计文档?

通过越权拒绝、状态错误、重复提交、权限撤销、模型不可用和完整审计回放等演练验证。