
文章图片

文章图片

文章图片
鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI
人工智能有99.5%的可能性会杀死你 。
这是硅谷版世界末日传教士Eliezer Yudkowsky的最新论点 。
Yudkowsky用现在的话说 , 是个不折不扣的斜杠青年 , 是MIRI创始人 , 也是著名的哈利波特同人文作者 。
但最引人注目的身份则是一手缔造OpenAI和谷歌DeepMind的中之人 。
八年级辍学、AI知识全靠自学成才……
奥特曼、马斯克纷纷引用他的观点 , AI教父Hinton、LeCun则批评他的极端 。
就是这样一个评价两极分化严重的人 , 却成为了硅谷大佬们争先恐后的座上宾 。
他说 , 他的目标是阻止AI朝着超级智能发展 , 因为这事关整个人类的生死存亡 。
没有妥协的余地 , 即使是llya的公司也应该被关闭 。
参与OpenAI和DeepMind创办也许你对Eliezer Yudkowsky还不太熟悉 , 但他的名字在硅谷可以说是大名鼎鼎 。
Eliezer Yudkowsky出生在芝加哥的一个东正教犹太家庭 , 因为慢性健康问题 , 在八年级后就早早地辍学回家 。
没有学校文凭 , 取而代之的是 , 他如饥似渴地阅读科幻小说 , 自学计算机科学 , 并与一群主张科技乐观主义的未来学家们在网上交流 。
也就是那时 , 他被“奇点”这个概念所深深吸引 , 即假设中人工智能超越人类智能的未来转折点 , 于是他立志要创建AGI , 并坚信AGI即将到来 。
但当他来到硅谷后 , 却发现要创建对人类友好的人工智能其实相当困难 , 主要还是以下三个原因:
正交性:智力不等同于仁慈 , AI不会因为变得更聪明而自动变得更友好 。 工具性融合:任何强大的、以目标为导向的AI系统都有可能采取对人类不利的手段 , 比如在回形针最大化器实验中 , 一旦AI认为人类身体内的铁元素可以用来制作回形针 , 那么为了保证最大化生产回形针 , AI将会把人类视作资源的一部分 。 情报爆炸:AI能力可能在短时间内急剧飙升 , 导致迅速出现不可控的超级智能 。从此之后 , 他开始持续关注AI安全问题 , 也成为了硅谷最早警告AI风险的“传教士”之一 。
Yudkowsky曾表示:
人类注定要灭亡 , 我不会继续打一场失败的战斗来使人工智能与人类价值观保持一致 , 而是将注意力转移到帮助人们接受自己的命运上 。
此外他还在伯克利创建了MIRI研究所 , 致力于研究先进人工智能的风险 。
虽然他极端悲观的AI末日论说法颇受业界争议 , 连AI教父Hinton都明确表示过Yudkowsky的主张过于偏颇 , 但不可否认的是 , 他在一定程度上影响了整个硅谷 。
无论是OpenAI的奥特曼 , 还是马斯克在内的AI科技巨头 , 都曾在公开场合引用他的观点 , 奥特曼甚至曾表示 , Yudkowsky在他创办OpenAI的决定中 , 发挥了关键性作用 , 而且他值得一座诺贝尔和平奖 。
不仅如此 , 谷歌在AI领域有所成就也离不开他的功劳 。
2010年时 , 就是他为初创公司DeepMind的创始人牵线搭桥 , 将其介绍给了风险投资家Peter Thiel , Thiel从此成为了DeepMind的第一位主要投资者 。
后面谷歌在2014年收购了DeepMind , 而DeepMind的联合创始人Demis Hassabis如今正负责监督谷歌的AI工作 。
哈利波特同人文作者除了在AI安全领域的贡献 , 让Yudkowsky在硅谷声名鹊起的另一个原因 , 则是他对硅谷理性主义的引领 。
如今硅谷科技公司中的年轻一代 , 绝大多数都是坚定的理性主义者 , 追根溯源正是受到了Yudkowsky的作品影响 。
而这本书便是哈利波特的同人文——《哈利·波特与理性之道》 。
在这本书中 , 哈利波特从小接受科学训练、逻辑思维和理性教育 , 用科学探索魔法世界 。 原著中的事件都被理性重构改写 , 不仅关注魔法如何使用 , 还探究魔法原理和背后的逻辑 , 还经常涉及像贝叶斯推理、实验设计、概率思维等知识 。
再比如说 , Yudkowsky的另一本有关《龙与地下城》的同人小说 , 其中也包含了他对决策理论的诸多看法 。
而最近他和MIRI总裁Nate Soares合著的新书《如果有人建造它 , 每个人都会死》 , 也是他们多年来一直向人工智能内部人士提出的案例提炼版 , 当中他公开抛出了有关超级智能的最终预测 。
他认为 , 目前很多科技公司 , 包括Anthropic、OpenAI在内 , 在构建软件模型时 , 其实并不清楚内部的运作逻辑 , 所追求的“炼金术”超越了科学理解范畴 。
所以一旦模型能力到达某种程度 , 现有的AI对齐技术(如强化学习、微调等)将不可避免地失效 , 从而忽略人类指令 。
最终AI不仅掌握了极大的能量 , 在资源使用、决策等方面也会脱离人类控制 , 人类可能在毫无察觉的时候就被潜移默化地边缘化取代 , 以一种渐进式的方式消失 , 而非像科幻电影中所描述的那样 , 会出现一场和机器人的生死存亡的战争 。
Yudkowsky认为 , 现在已经到了该报警的阶段 , 这不是危言耸听 , 人类正在忽略真正的风险 。
在谈及硅谷这些追求创造超级智能的科技公司 , Yudkowsky表示它们每一家都应该被关闭 , Anthropic相对较好 , 而OpenAI明显最差 , 但诚然重视AI安全如llya , Yudkowsky也一视同仁地认为llya的公司也需要被停止 , 因为它们本质上都没有区别 。
不过随着时间的推移 , 他不再精确预测超级人工智能何时才会被开发出来 , 当结果注定的时候 , 过程显得那么无关紧要 。
【他同时参与创办OpenAI/DeepMind,还写了哈利波特同人小说】正如他回复网友时 , 所采用的这个比喻:
预测掉入热水中的冰块何时融化 , 比知道结果注定是一杯温水 , 要困难得多 。
而他正在试图做的 , 是告诉人们 , 这里将会有一杯温水 。
参考链接:[1
https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP[2
https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast
— 完 —
量子位 QbitAI
关注我们 , 第一时间获知前沿科技动态
推荐阅读
- 对标苹果秋季发布会!雷军第5届年度演讲,和小米16发布同时进行
- iPhone 17系列支持“同步双拍” 可同时录制前后镜头画面
- 奥特曼:点名表扬两个波兰人,OpenAI还没有过他们解决不了的问题
- 25岁创造百亿美金神话,爆款AI工具1年ARR破亿,他讲出背后失败与思考
- 谁该买iPhone 16e?这两类人可以,其他人别碰
- 他们做出了全球跑得最快的机器狗
- 罕见!苹果、三星同时向小米发法律通知:要求停止争议营销
- 2100亿独角兽即将诞生!被英伟达、谷歌、xAI同时看中
- 谷歌让AI学会看天气:一个模型同时掌握看云、测风、观雨的技能
- 28岁华人执掌1.85万亿科技巨头AI大权,一觉醒来,图灵奖得主也要向他汇报
