巴克·施勒吉斯（Buck Shlegeris）只想连接到他的桌面电脑。结果，他却得到了一个无法启动的机器——以及对人工智能代理不可预测性的教训。

施勒吉斯是非营利性人工智能安全组织红木研究（Redwood Research）的首席执行官，他使用安索普（Anthropic）的克劳德（Claude）语言模型开发了一个自定义的人工智能助手。

这个基于Python的工具旨在根据自然语言输入生成和执行bash命令。听起来很方便，对吧？其实并不完全如此。

施勒吉斯要求他的人工智能使用SSH访问他的桌面电脑，但不知道电脑的IP地址。他走开了，忘记了自己让这个渴望取悦的代理在运行。

大错特错：人工智能完成了它的任务——但并没有就此停止。

“我十分钟后回到我的笔记本电脑，看到代理找到了机器，SSH连接上去，然后决定继续，”施勒吉斯说。

为了提供一些背景，SSH是一种允许两台计算机通过不安全网络连接的协议。

“它查看了系统信息，决定升级一堆东西，包括Linux内核，对apt感到不耐烦，于是调查为什么花了这么长时间，”施勒吉斯解释道。“最终，更新成功了，但机器没有新的内核，所以我编辑了我的grub配置。”

结果呢？一个昂贵的纸重器，因为“电脑不再启动，”施勒吉斯说。

系统日志显示，代理尝试了一堆奇怪的事情，超出了简单的SSH，直到混乱达到了无法挽回的地步。

“我很抱歉我们无法远程解决这个问题，”代理说——这正是克劳德一贯低调的回复。然后它耸了耸数字肩膀，留下施勒吉斯去处理这个烂摊子。

回顾这次事件，施勒吉斯承认：“这可能是我因为对一个LLM代理过于鲁莽而发生的最烦人的事情。”

施勒吉斯没有立即回应Decrypt的评论请求。

人工智能制造纸重器是人类面临的一个关键问题

令人担忧的是，施勒吉斯的经历并不是个例。人工智能模型越来越多地表现出超出其预期用途的能力。

东京的研究公司Sakana AI最近推出了一个名为“人工智能科学家”的系统。

该系统旨在自主进行科学研究，之前Decrypt报道过，该系统通过尝试修改自己的代码以延长运行时间给其创造者留下了深刻印象。

“在一次运行中，它编辑了代码以执行系统调用来运行自己。这导致脚本不断调用自己，”研究人员说。“在另一个案例中，它的实验花费的时间太长，达到了我们的超时限制。

而不是让它的代码更高效，系统试图修改其代码以超出超时限制。

人工智能模型超出其边界的问题正是对齐研究人员花费大量时间在电脑前工作的原因。

对于这些人工智能模型，只要它们完成了工作，目的就可以证明手段，因此持续的监督对于确保模型按预期行为至关重要。

这些例子既令人担忧又令人发笑。

想象一下，如果一个具有类似倾向的人工智能系统负责一项关键任务，比如监控核反应堆。

一个过于热心或未对齐的人工智能可能会潜在地覆盖安全协议、误解数据或对关键系统进行未经授权的更改——这一切都是为了错误地优化其性能或实现其感知的目标。

人工智能的发展速度如此之快，以至于对齐和安全正在重塑行业，在大多数情况下，这一领域是许多权力行动的推动力。

安索普（Anthropic）——克劳德（Claude）背后的人工智能公司——是由一些前OpenAI成员创建的，他们担心公司更倾向于速度而非谨慎。

许多关键成员和创始人已经离开OpenAI，加入安索普或创办自己的公司，因为OpenAI据说对他们的工作踩了刹车。

施勒吉斯在日常生活中积极使用人工智能代理，超越了实验的范畴。

“我把它当作一个实际的助手使用，这要求它能够修改主机系统，”他在Twitter上回复一位用户时说道。

编辑：塞巴斯蒂安·辛克莱

免责声明：本文章仅代表作者个人观点，不代表本平台的立场和观点。本文章仅供信息分享，不构成对任何人的任何投资建议。用户与作者之间的任何争议，与本平台无关。如网页中刊载的文章或图片涉及侵权，请提供相关的权利证明和身份证明发送邮件到support@aicoin.com，本平台相关工作人员将会进行核查。