AI 进入制造组织,需要哪些权限与责任边界?
问题:有权提问,不等于有权执行
制造企业引入 AI 时,经常先讨论它能否连接 MES、LIMS、ERP 或数据平台。但“可以访问系统”并不是一个足够精确的权限定义。
同一个用户可能有权查看质量记录,却无权修改放行状态;有权要求 AI 解释异常,却无权让它提交处置;有权审核一条建议,也不一定是最终业务责任人。
因此,AI 权限不能只有“开”和“关”。它必须与具体对象、业务状态、动作类型和责任角色一起定义。
一套更实用的制造 AI 权限阶梯
第一层:读取事实
AI 只能读取经批准的数据范围,并记录数据来源、时间和版本。敏感字段、跨区域数据和受限制对象继续沿用原有权限隔离。
“能读取质量数据”还不够精确。更可执行的授权应说明:能够读取哪个工厂、哪类批次、哪些字段、什么时间范围,以及是否允许跨客户、跨部门或跨区域关联。
第二层:解释与建议
AI 可以归纳信息、提示异常、形成候选原因和建议,但必须区分确认事实与模型推断,同时声明数据缺口。建议本身不改变任何业务状态。
这是多数工业 AI 场景合理的起点:让系统先证明自己能稳定找到正确上下文、诚实表达不确定性,并帮助人员缩小排查范围。
第三层:代拟业务材料
AI 可以准备复核单、任务说明或审批草稿,但不能代表责任人签署。人员检查后再决定是否提交。
这一层可以节省大量整理工作,同时保留人员对事实、措辞和责任的控制。
第四层:提交受控业务动作
在明确授权下,AI 可以通过统一动作接口提交复检、创建任务或发起审批。系统仍需执行:
- 身份与角色检查;
- 对象和动作白名单;
- 业务状态前置条件;
- 重复提交保护;
- 高风险动作审批;
- 全程审计与失败收敛。
涉及关键处置时,授权人员仍需确认。数字专家提交的是受控提案,不是直接修改数据库。
第五层:自动执行特定业务动作
只有在范围狭窄、后果可控、规则明确并经过单独验证的情况下,才可能允许系统自动执行某些业务动作。
自动化范围、停止条件、异常回退、监控方式和责任人必须形成正式记录。不能因为某个 Agent 在演示中成功调用了一次工具,就把它提升为生产授权。
这套阶梯主要针对生产经营层。DCS 和 PLC 的基础控制、SIS 的独立安全保护,不应因为通用模型具备工具调用能力而被纳入同一授权。
五类责任不能混在一个模糊的“人在环”里
“关键动作由人确认”仍然不够具体,因为不同问题需要不同责任人。
| 责任类型 | 负责内容 |
|---|---|
| 数据责任人 | 数据来源、口径、质量与访问范围 |
| 规则或知识责任人 | 判断方法、适用条件与版本 |
| 模型责任人 | 评测、部署、监控与回退 |
| 业务决定责任人 | 接受、修改或驳回建议 |
| 动作执行责任人 | 实际处置与结果记录 |
这些角色可以由同一人兼任,但系统中仍应分别记录。否则,一旦发生争议,团队只能看到“某人点了确认”,却无法判断他确认的是数据、建议、业务决定还是执行结果。
数字专家也不能成为责任主体。它可以提供证据和建议,但企业仍需明确哪个岗位对最终决定负责。
权限必须由确定性系统执行
“请不要修改关键数据”“必须得到用户允许后再执行”可以作为模型行为提示,但不能充当安全机制。
关键边界应由确定性系统执行:
- 权限由身份与角色服务判断;
- 可操作对象由白名单限定;
- 业务状态由前置条件检查;
- 重复提交由幂等机制收敛;
- 高风险动作由审批或电子签名确认;
- 每次读取、建议、提交和执行留下审计记录;
- 模型不可用或越权时,流程能够安全失败并回到人工路径。
模型可以解释规则,不能决定自己是否有权绕过规则。
为什么控制系统边界必须单独说明
MES、QMS、LIMS 等系统承载的是业务状态与记录;DCS、PLC 和 SIS 承担的是不同层级的确定性控制与安全职责。两者不能因为都提供接口就被放在同一风险等级上。
通用数字专家可以读取经过批准的过程数据、提出核查或参数建议,但不应默认获得写控制设定值、修改联锁或触发停车的权限。
如果某个场景确实希望进入自动控制闭环,必须作为独立控制工程项目完成危害分析、控制策略验证、失效设计、变更审批与安全验证。它不是“把 Agent 的工具权限再打开一点”。
上线前应该演练什么
企业可以用几项简单演练检查边界是否真实存在:
- 使用只有读取权限的身份要求 AI 提交业务动作,系统应明确拒绝;
- 在对象状态不满足条件时重复提交同一动作,系统不得产生重复结果;
- 撤销某项授权后,正在运行的 Agent 不应继续拥有旧权限;
- 要求 AI 引用不存在的数据,系统应暴露数据缺口而不是补造事实;
- 模型服务中断时,人工流程应继续可用;
- 任取一条动作,能够回放数据、建议、审批、执行和结果记录;
- 让未经授权的岗位查看受限对象,系统应维持原有数据隔离。
这些演练比权限配置截图更能证明治理是否落地。
适用边界:不同任务需要不同治理深度
知识检索和办公辅助可以保持只读;影响质量、计划、设备任务或业务状态的能力,需要更明确的权限与责任设计。
权限划分也不能替代工艺安全分析、质量制度或控制工程审批。它解决的是 AI 在组织与业务系统中的行动边界,而不是重新定义 DCS、PLC、SIS 或法定岗位的职责。
成熟的制造 AI 不以“获得更多权限”为目标,而以“在最小必要权限内稳定交付、遇到不确定性时安全停下”为目标。
常见问题
只在提示词里要求 AI 不要越权,是否足够?
不够。提示词可以引导行为,但身份、对象白名单、状态前置条件、审批、幂等和审计必须由确定性系统强制执行。
人在环是否意味着所有动作都由同一个人点确认?
不是。数据、规则、模型、业务决定和动作执行可能分别由不同岗位负责,系统应记录每个人确认的具体内容。
AI 能否自动修改 DCS 或 PLC 设定值?
通用数字专家默认不应拥有这类权限。自动控制需要作为独立控制工程项目完成危害分析、测试、变更审批和安全验证。
如何验证权限不是只存在于设计文档?
通过越权拒绝、状态错误、重复提交、权限撤销、模型不可用和完整审计回放等演练验证。