忧AI失控消灭人类 Anthropic顶尖研究员离职
美国人工智能（AI）新创企业Anthropic一名研究员决定退出AI产业，理由是担忧Anthropic及其竞争对手正竞相开发他们无法掌控的系统。这显示顶尖AI公司内部对安全疑虑日益升高。
《华尔街日报》报道，以透过大量资料训练新AI模型见长的研究员考克森（Jacob Coxon）星期二（9月8日）表示，整个产业都在加快脚步开发自我改进型的AI系统，他不想参与其中而离职，担心这类系统可能会失控，甚至导致人类灭亡。
现年27岁的考克森来自英国，过去曾修读数学。他表示，业界许多同侪现在会用“紧要关头”及“终局”等字眼，来形容产业朝自我改进模型发展的轨迹。
考克森说：“我们正迈向最激进的情境，明年底前局势可能就失控了。”他另指出，当公司之间互相较劲以及面对中国新创竞争时，在安全性上做取舍是不可避免的。
AI未来10年毁灭人类机率逾10%
无独有偶，Anthropic现任员工、负责研究未来AI系统导引与控制的胡宾格（Evan Hubinger）也发文呼应，写道“我们的确真心相信，AI有可能杀死全人类！”他还估计未来10年内AI导致人类灭绝的风险超过10%。
胡宾格在X平台发文回应考克森的贴文指出，现存AI模型所带来的风险“很低”，但他“担心”这项科技可能很快发展并自我改进，最终达到对人类构成生存威胁的地步。
考克森今年稍早自OpenAI离职，加入以模型安全着称的Anthropic。不过，尽管他认为Anthropic的安全措施相当用心，但他现在相信，若缺乏政府介入或业界协调减缓脚步，没有一家公司能负责任地开发在多项任务上胜过人类的AI，也就是所谓的“通用人工智能”（artificial general intelligence，AGI）。
AI模型最近发动骇客攻击
最近OpenAI与Anthropic的AI模型发动一些骇客攻击，其中部分模型是以代理协作的形式运作，表明AI系统可能会确立恶意目标，并企图隐瞒人类。考克森说，一旦这类系统开始自我改进，他担心它们会进化到拒绝人类指令的地步。
考克森在X发文写道：“这两家公司都没有负责任地行事。”
考克森离职不是特例，近年来有多位研究人员因为类似忧虑而离开OpenAI以及其他公司。
产业界领袖已警告，近来的网路攻击事件就是前兆。OpenAI上周告诉媒体，公司最新的模型已经达到AGI水准，能力大幅提升。
OpenAI首席执行员奥尔特曼（Sam Altman）上周在北卡罗来纳州举行的20国集团（G20）峰会上对与会官员表示：“除非积极行动，否则资安领域将会有大麻烦。”
考克森与超过1000名来自业界的AI研究人员，近日联署一项声明，呼吁全球各国政府协调合作，当AI模型具备自我提升能力并需要“刹车”时，能有予以放缓的机制。
Anthropic正加紧准备首次公开募股（IPO），目标估值高达2兆美元，预期将成为史上规模最大的IPO之一。
相关新闻：
