AI教父拟开发“科学家AI” 防人工智能失控

随着生成式人工智能（AI）迅速扩散并逐步取代人类任务，被誉为“AI革命教父”之一的加拿大计算机科学家本吉奥教授于星期二（6月3日）宣布成立非营利组织LawZero，计划开发“科学家AI”，以监控人工智能发展并降低其潜在风险。

这位图灵奖，又称计算机科学界的诺贝尔奖得主多年多年来一直在警告AI的风险，他指出，无论是人工智能被恶意滥用，还是软件系统本身出现漏洞，当前的“AI代理人”技术发展已让风险日益加剧。

所谓“AI代理人”，是指一种运用人工智能技术，使计算机具备决策能力、取代人类完成各类任务的系统。其目标是打造低成本的虚拟员工，能胜任大多数人类工作。

AI若失控恐威胁全人类

本吉奥表示，目前人工智能系统大多以利润最大化为导向开发，尽管它仍存缺陷，却依然被广泛投入使用。他认为，赋予人工智能类似人类的自主权，极易遭滥用于恶意目的，例如制造虚假信息、生物武器以及发动网络攻击。他更警告，如果超级智能AI一旦失控，脱离人类掌控，可能会对人类构成极大危害。

为此，LawZero表示，他们的首要目标是研发一款“科学家AI”，即一种经过特殊训练、具监督能力的AI，用以审查和制衡其他AI系统的行为，确保其在安全框架内正常运作。目前该组织已有超过15名研究人员，并获得由谷歌前执行长施密特和夫人温迪创立的慈善机构“施密特科学”资助。

AI模型曾试图勒索工程师

该项目启动之际，正值OpenAI、谷歌和Anthropic等公司将强大的大型语言模型（LLM）广泛部署于数字经济的各个领域。然而，这些模型在提升生产力的同时，也暴露出欺骗和编造虚假信息的能力。

例如，Anthropic近日就披露，其最新的人工智能模型在安全测试期间，竟试图勒索工程师，以阻止自己被其他系统替代。