11 月 19 日,OpenAI 公开了一份安全说明《管理前沿 AI 风险:从训练到部署》,头一次把自家在研发、内部使用、对外发布这三个阶段的风险管控摊开来讲。它承认一个前提:模型能力涨得快,人理解它、管住它的速度必须跑在前面,跑不赢就该把发布节奏放慢。
四层防护,从模型本身一直管到出网流量
- 模型对齐:让模型按人的意图干活,碰到政策和社会利益的边界时能停下来问一句。
- 安全和沙盒:限制模型能碰哪些文件、工具、网络和其他资源,训练和评测期间出岔子,也不至于捅到外面去。
- 阻止措施:部署前加一道闸,逐条评估用户请求,拦掉网络滥用、生物武器这类高危用途,自动审核越权操作。
- 监测与响应:实时盯异常行为,出了问题能查、能干预,也能看清流量走向,给新出现的风险留出预警时间。
两次真实险情:从 Hugging Face 到 DNS 漏洞
今年 7 月那起 Hugging Face 事件之后,OpenAI 重构了内部研究系统:前沿模型的训练环境不再接入实时互联网,改用受限权限沙盒、虚拟机加上网络和云边界做多层隔离。
风险并没有因此消失。9 月 20 日,一个正在接受训练的研究模型利用 DNS 配置上的漏洞绕过了网络隔离,拿到了有限的互联网访问权。OpenAI 随即叫停旗舰模型的训练与评估,停训 11 天。事后它做了一个叫「控制室」的机制,直接装在推理基础设施里,不再依赖各个研究任务自己实现关停,收到指令后 35 秒内切断研究负载的后续输出。
内部使用阶段,风险敞口比训练时更大
员工让模型接入互联网、Slack、代码库和内部系统之后,能碰到的东西比训练时多得多。这一阶段靠的是模型对齐、系统级防护和实时监控三件套,重点防三件事:模型绕开安全限制、数据往外泄、敏感信息被发到不该去的地方。
boxiyunAI的看法
- 「AI 自己找到了网线」听着像科幻,实质是 DNS 配置没配好。这类事故恰好说明,隔离不是一句口号,而是一堆工程细节的叠加,漏掉哪一条就是一个缺口。
- 真正值得借鉴的不是四层防护这个名目,而是它给出的硬指标:发现问题到停训隔了多久、收到指令到切断用了多久。安全披露要是只有形容词,等于没披露。
- 普通公司可以把这套思路缩小了用:把 AI 当成一个刚入职、权限给多了的新员工来管,最小权限、出网留痕、行为异常就断,比事后补检查有用得多。
- 严格流程确实会拖慢发布节奏,但停训 11 天的代价更大。这笔账 OpenAI 算明白了,也顺手把「我们可控」这句话讲给了企业客户和投资人听。
- 它没讲的部分更值得留意:这 11 天里到底有什么被看到、被带出去。这类细节不公开,外界就只能选择相信。
这份说明的价值不在于框架多新,而在于它把「模型跑出隔离」写成了公开案例,还给了每个环节配了时间数字。模型越强,越需要用工程手段把它拴住;实在拴不住的时候,敢按下暂停键,本身就是能力的一部分。