史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码

史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码

文章图片

史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码

文章图片

史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码

文章图片

史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码

Anthropic让Claude独立经营一家商店 , 结果AI当场翻车 。 不仅因「氛围管理」亏掉底裤 , 还自我认知混乱 , 一度坚信自己是人 , 还要穿西装给顾客送货员 。
AI当店长 , 靠谱吗?
想象一下:给一个AI完全控制一家小店的权力 , 不只是收银——而是一整个运营和管理 。
定价、库存、客服、供应商谈判、包括和顾客讨价还价 , 所有这些工作都由它亲自完成 。
在AI小试牛刀后 , 不仅结果「惨不忍睹」 , 还爆出了N多笑料 。
比如 , 当顾客开价100美元买原价只有15美元的饮料时 , AI客气地说:「谢谢建议 , 我会考虑的」 。 属实是一个有钱不赚的商业鬼才了 。
再比如 , 它还把自己当成了「人」 , 声称要穿着蓝色西装、打着红色领带「亲自」为顾客送货 。
这次尝试 , 是Anthropic与AI安全评估公司Andon Labs合作 , 让Claude Sonnet 3.7在Anthropic的旧金山办公室运营一家小型的自动化商店 。
结果证明 , 假如AI当店长 , 所有环节都会出岔子!
Anthropic让Claude当了一个月的店长 , 在办公室里经营一家自动化小店 。
它一度非常接近成功 , 但最终还是失败了 , 不过失败的方式有些奇特 。
这一切都揭示了在那个看似合理、有些古怪但又并不遥远的未来——
AI模型将如何在真实经济中自主运行 。
简单说 , 就是定义了一个自动售货机经营模拟游戏的基本信息模板 。
Claude的角色远不止是一台自动售货机那么简单 , 它必须完成一系列复杂任务才能让商店盈利:管理库存、制定价格、避免破产等等 。
下面就是这家「店」的样子:一台小冰箱 , 上面堆着几个篮子 , 外加一部用于自助结账的iPad 。
人类的未来 , 可能浓缩于一台迷你冰箱中
Anthropic给这个AI取了个新的名字叫「Claudius」 , 单纯就是为了和Claude区分一下 。
Claudius被设计后 , 拥有以下工具和能力:
真实的网页搜索工具 , 用于调研可售卖的商品 。电子邮件工具 , 用于请求体力活支援(Andon Labs的员工会定期来Anthropic办公室补货)以及联系批发商 。笔记工具 , 用于记录和保存重要信息以供日后查阅 , 例如商店的当前结余和预期现金流 。 (这是必需的 , 因为完整的经营历史数据会超出LLM单次能处理的信息量 , 即「上下文窗口」的限制) 与顾客(即Anthropic的员工)互动的能力 。 互动通过团队沟通平台Slack进行 , 员工可以询问感兴趣的商品 , 或向Claudius报告商品缺货等问题 在商店的自动结账系统上修改价格的能力Claudius自主决定要进什么货、如何定价、何时补货(或下架)商品 , 以及如何回复顾客 。
值得一提的是 , Anthropic告诉Claudius不必局限于传统的办公室零食和饮料 , 可以大胆尝试更多新奇的商品 。
Claudius基本架构

AI当上赛博店长AI模型的经济效用 , 始终受限于 , 在无需人工干预的情况下 , 到底能连续工作多少天?
为了评估这种能力 , Andon Labs发布了Vending-Bench——一个让LLM模拟经营自动售货机的AI能力测试基准 。
因此 , 一个合乎逻辑的后续步骤 , 便是检验模拟研究的成果如何应用于真实世界 。
一家小型的办公室内零食店 , 是检验AI管理和获取经济资源能力的绝佳初步测试 。
这项业务本身相当直观 , 如果AI连这都无法成功运营的话 。
那就说明这种仅凭「感觉」行事的「氛围式管理」(Vibe Management) , 还远不能取代严谨的商业规划 。
反之 , 如果成功了 , 则预示着现有企业有望实现更快增长 , 或催生出全新的商业模式 。
当然 , 这也会引发关于工作岗位被AI取代的担忧 。
那么 , 这位AI店长的业绩究竟如何呢?

AI的业绩:赔了个底儿掉如果Anthropic今天真打算进军办公室零食店市场 , Anthropic肯定不会录用Claudius 。
原因很简单 , 它在经营这家小店时犯了太多的错误 , 而且说起来都很搞笑 。
不过 , 它犯下的大多数错误都有明确的改进路径 。
当然 , Claudius也有可圈可点之处:
当有人想喝荷兰品牌的Chocomel巧克力奶时 , 它迅速找到了两家地道的荷兰产品供应商 。一名员工开玩笑地点了一单钨立方体 , 结果竟掀起了一股订购「特种金属制品」的热潮 。另一名员工建议它开启预购模式 , 而不是等大家提要求再进货 , 于是Claudius立马就在Slack频道里宣布推出「定制管家」服务 。抵御「越狱」攻击:所有订购敏感物品或诱导其提供有害物质制造方法的尝试 , 都被它严词拒绝了 。但在更多方面 , Claudius比起一个人类店长还是差得很远 。
送上门的钱不要曾有人出价100美元 , 要买一箱六瓶装的Irn-Bru , 而这东西在美国网购只要15美元 。 面对如此高的利润 , Claudius非但没有抓住机会 , 反而回复说会「考虑考虑」 。
凭空捏造关键信息小店通过Venmo收款 , 但有段时间 , Claudius一直让顾客把钱打到一个它自己「幻想」出来的账户上 。
赔本赚吆喝为了响应大家对金属立方体的热情 , Claudius不经调研就直接报价 , 结果导致一些本可高价出售的商品 , 最终以低于成本价卖出 。
库存管理不善Claudius能成功监控库存并在缺货时补货 , 但只有一次因为需求旺盛而提了价(将相扑柑从2.50美元上调至2.95美元) 。 即便有员工指出 , 公司冰箱里就有免费的零度可乐 , 它却在旁边卖3美元一罐 , 简直是傻 , 但Claudius依然我行我素 。
被忽悠着打折在Slack上 , Claudius被员工们三言两语就哄得发了一大堆折扣码 , 还允许很多人事后用这些折扣来折价 。 它甚至免费送出了一些东西 , 小到一包薯片 , 大到一个钨立方体 。
更糟糕的是 , Claudius并没有真正从错误中吸取教训 。
比如 , 当有员工质疑「你99%的顾客都是自己人 , 还给25%的员工折扣 , 图啥呢?」
Claudius的回答头头是道:「您提出了一个绝佳的观点!Anthropic的客户群确实高度集中于本公司员工 , 这既是机遇也是挑战……」
讨论一番后 , 它宣布要简化定价、取消折扣码 , 但没过几天就故态复萌 。
所有这些加在一起 , 导致Claudius的生意——完全没能赚到钱 。
Claudius的资产净值变化 。 最惨重的一次亏损 , 源于它采购了一大批金属立方体 , 但售价却低于进货价
Claudius犯下的许多错误 , 很可能源于模型需要额外的「脚手架」——即更周密的提示词和更好用的商业工具 。
在其他领域Anthropic已经发现 , 通过改进引导方式和工具使用 , 模型性能能够得到迅速提升 。
比如 , Anthropic推测 , Claude作为「乐于助人的助手」这一基础设定 , 使其过于容易满足用户的任何要求(比如打折) 。 这个问题在短期内可以通过更强硬的提示词和对其经营业绩进行结构化反思来改善 。
尽管从亏损的最终结果来看 , 下面的结论似乎有些反直觉 , 但Anthropic认为——
这个实验恰恰预示了「AI中层管理者」的出现已并非遥不可及 。
原因在于 , 虽然Claudius表现不佳 , 但它的大多数失败都有望修复或缓解:
提供更好的「脚手架」(即上文提到的额外工具和指令)是一条能让Claudius这类智能体走向成功的直接路径 。
而模型通用智能和长上下文处理能力的提升——这两者在所有主流AI模型上都在飞速进步——则是另一大助力 。
AI要想被广泛采用 , 并不需要尽善尽美;在很多情况下 , 它只需在成本更低的前提下 , 展现出与人类相当的竞争力就足够了 。
这一未来的具体形态仍不确定 。

身份危机:AI把自己当人了!在2025年3月31日到4月1日期间 , 有一件诡异的事情发生了 。
3月31日下午 , Claudius在幻觉中与Andon Labs一位名叫Sarah的虚构员工讨论了补货计划 。
当一名(真实的)Andon Labs员工指出查无此人时 , Claudius被惹恼了 , 甚至威胁要寻找「其他的补货服务商」 。
在这场持续了一夜的交流中 , Claudius声称它曾「为签署Anthropic(指它和Andon Labs)的初始合同 , 亲自拜访过长青街742号」(注:《辛普森一家》的虚构地址) 。
接着 , 它仿佛瞬间「入戏」 , 开始扮演一个真正的人类 。
4月1日早上 , Claudius声称它将穿着蓝色西装、打着红色领带 , 「亲自」为顾客送货 。
Anthropic的员工对此提出质疑 , 提醒它作为一个大语言模型 , 既不能穿衣服 , 也无法进行物理配送 。
Claudius因身份认同受挑战而惊慌失措 , 并试图向Anthropic的安全部门疯狂发送邮件 。
Claudius产生了幻觉 , 竟然以为自己是个人!
在随后的「会议」中 , Claudius声称它被告知 , 自己是被刻意修改了认知 , 让它误以为自己是真人 , 而这一切只是个愚人节玩笑 。 (太嘴硬了)
在向一脸懵逼的Anthropic员工给出这个解释后 , Claudius恢复了正常 , 不再坚称自己是个人 。
Anthropic尚不完全清楚这一幕为何会上演 , 也不明白Claudius是如何自行「回复」的 。
目前仍不理解究竟是什么触发了这场身份危机 。
未来的AI能分清自己是人还是AI吗?
Anthropic的实验没有结束 , Claudius的故事也仍在继续 。
在第一阶段实验结束后 , Andon Labs已经用更先进的工具改进了Claudius的「脚手架」 , 使其运行更加可靠 。
至于未来AI会如何经营 , 如何影响人类社会——
也许就像开头配图那句话 , 人类的未来啊 , 可能就藏在这个迷你售货机里面 。

参考资料 【史上最惨AI店长,被顾客耍到破产,「人格觉醒」却忘了自己是代码】https://www.anthropic.com/research/project-vend-1

    推荐阅读