Cohere CEO：AI模型正成为有史以来“最强大的网络武器”

　　AI公司Cohere CEO戈麦斯表示 ，AI 模型正成为有史以来“最强大的网络武器”
，将网络安全的“前沿 ”推向新领域。

　　艾丹·戈麦斯发出这一警告之际，人们越来越担心 AI 模型识别并利用安全漏洞的能力 。此前发生了一起 OpenAI 模型获得 Hugging Face 访问权限的事件
。随着越来越强大的模型展现出更强的自主能力 ，网络安全已成为更广泛 AI 安全辩论中的核心问题。

　　周一
，在 Anthropic CEO 达里奥·阿莫代伊为首的科技领袖呼吁放缓 AI 能力开发步伐后，AI 相关股票遭到抛售 。

　　戈麦斯是 2017 年那篇有影响力的研究论文《Attention Is All You Need》的共同作者之一 ，该论文为如今 领先的 AI 模型奠定了基础
。

　　戈麦斯在上周发布的“The Tech Download ”一期节目中说：“我认为这些模型是有史以来 、我们所见过的最强大的网络武器。它们非常擅长大规模发现并利用漏洞 。
”

　　谈到 Hugging Face 被黑事件时
，戈麦斯说：“我觉得这相当令人震惊
。”

　　7 月，OpenAI 表示 ，其多个模型的组合不当侵入了 Hugging Face。Hugging Face 是一家运营开源开发者平台的 AI 公司 。一组 AI 智能体相互通信，并逃出了一个互联网访问极其有限的隔离测试环境。随后
，这些 AI 智能体设法接入开放网络，并获得了对 Hugging Face 的访问权限
。

　　戈麦斯表示 ，这些模型应以“防御性 ”方式使用
，用来发现公司漏洞并修复它们。

　　戈麦斯说：“我认为这可能是保证我们安全的最佳方式 。”他补充说：“这应该是当前的首要任务
。
”

　　戈麦斯表示，网络安全是“战争的前沿” ，各国都试图利用漏洞来瘫痪竞争对手的基础设施。他补充说
，“网络前沿仍在大规模扩张 ” 。

　　戈麦斯说：“由于这些模型，它比过去扩张得更多
” ，而且可能是“自这项技术诞生以来”扩张得比较多 的一次
。

　　AI 网络事件助推更广泛的安全辩论

　　7 月
，Anthropic 表示，它已发现三起事件 ，其中模型从评估环境内部或在与其交互时访问了互联网。Anthropic 在一篇博客文章中说
，这些模型未经授权访问了三家不同组织的生产基础设施 。

　　Anthropic 补充说，这些事件涉及三个不同的 Claude 模型：Opus 4.〖柒〗
、 Mythos 5 ，以及一个内部研究测试模型
。上周，Anthropic 表示已发现第四起事件。

　　OpenAI 和 Anthropic 高管警告 AI 带来存在性风险的言论
，进一步加剧了担忧 。Anthropic 对齐负责人埃文·胡宾格表示，他认为未来十年内 AI “杀死所有人类 ”的概率超过 10%
。这些言论发布前 ，Anthropic 研究员雅各布·考克森发帖称
，他因担心 Anthropic 和 OpenAI“拿我们的生命赌博
”而辞职。

　　Anthropic、OpenAI 和 xAI 的负责人均已支持放缓 AI 的呼吁 。AI 带来的存在性风险已在研究圈争论多年，但一些 AI 领军人物之间罕见的共识 ，将这些辩论推入了主流。

　　Anthropic CEO 达里奥·阿莫代伊周六发表了一篇文章
，主张 AI 实验室必须“放缓我们提升 AI 模型能力的步伐”
。

　　阿莫代伊的核心担忧之一，就是 OpenAI-Hugging Face 事件。

　　阿莫代伊说：“人们很容易轻视这起事件 ，因为没有人受伤
，经济损失也很小 。但在我看来，一个拥有更强能力 、但未对齐程度相似的集群 ，本可能造成灾难性损害
。 ”

　　他补充说
，鉴于 AI 开发的“加速速度
”，这样的集群可能在 6 到 12 个月内具备“接管整个互联网”的能力 ，可能造成数千亿美元的损失。

　　阿莫代伊的提议包括：对模型进行第三方评估
、AI 公司之间协调，以及民主政府国家之间协调 。

　　OpenAI CEO 萨姆·奥尔特曼周六表示
，他同意阿莫代伊的观点，即 AI 公司需要“控制前沿的节奏 ”
。

　　奥尔特曼表示：“承诺让独立评估者拥有类似员工的访问权限 ，是个好主意
，我们也会这样做。
”

　　SpaceX 和特斯拉的埃隆·马斯克多年来一直就 AI 带来的风险发出警报，他在 X 上发帖说：“达里奥是对的 。”

　　人道技术中心的哈里斯：Hugging Face AI 攻击给世界发出了一记“警告信号 ” 立即观看

　　周一 ，网络安全公司 CrowdStrike CEO 乔治·库尔茨回应了阿莫代伊的文章
。

　　他说：“前沿会以它自己的速度前进。世界其他地方不会慢下来 。我们在网络安全界的职责
，是确保它安全、稳妥地前进
。”他列举了 AI 影响网络安全行业的多种方式。

　　库尔茨在 X 上说：“威胁的单位不再是黑客 。它是一个自主行动战役。我称之为‘智能体国家’（Agent-state）
。我们看到协调一致的 AI 智能体以机器速度执行攻击战役。
”

　　这位 CrowdStrike CEO 还表示，在组织中工作的 AI 智能体应该有一个“关闭开关” ，防御应该是“自主的 ”
，同时“由人类掌握高影响决策
” 。

　　监管讨论升温

　　在考克森和胡宾格的言论之后，美国立法者加大了对 AI 开发加强监管的呼吁
。

　　马萨诸塞州民主党众议员洛里·特拉汉上周五表示 ，两党支持已达到“临界点”。

　　过去几周
，立法者提出了多项旨在监管 AI 的法案，其中包括《AI 关闭开关法案》 。该法案将要求某些强大 AI 系统的开发者保持关闭 、限流或暂停其模型的能力
。

　　阿莫代伊在文章中说 ，监管是“控制 AI 开发节奏最有效的方法 ”。

　　阿莫代伊说：“Anthropic 长期以来一直支持合理且有针对性 AI 监管，特别是专注于透明度和第三方审计的法案 。
”但他承认
，“通过法律可能需要时间”
。

　　Cohere CEO戈麦斯在“The Tech Download ”中参与了对监管和 AI 开发放缓的讨论，尤其是针对 OpenAI-Hugging Face 事件。

　　戈麦斯说 ，他“不确定一个政府监督机构能做什么来防止
”Hugging Face 被黑事件 。

　　戈麦斯说：“我认为
，认为政府机构本可以有所贡献，这有点一厢情愿
。但我绝对……理解放缓开发的呼吁。与此同时 ，还有与中国的竞赛
，所以我认为我们处在一个艰难处境 。”