图灵奖得主Bengio再创业：启动资金就筹集了3000万美元_图灵奖|openai|创投圈

文章图片

文章图片

文章图片

文章图片

刚刚，深度学习三巨头之一、图灵奖得主Yoshua Bengio官宣再次创业——
成立非营利组织LawZero ，要构建下一代AI系统，而且明确不做Agent 。
目前LawZero已通过多家慈善捐赠方筹集到了3000万美元启动资金。
具体来说， LawZero要做“设计即安全（safe-by-design）”的AI系统，要“将安全性置于商业利益之上” 。
所要做的AI系统非Agent形态，而可以监督Agent：
它以理解学习世界为核心目标，而非在世界中采取行动，通过透明化外部推理，对问题提供可验证的真实答案， “可用于加速科学发现、为Agent型AI系统提供监督，并深化大家对AI风险及其规避方法的理解” 。
Bengio表示，当前AI系统已显现出自我保护和欺骗行为的迹象，随着其能力和自主性的提升，这种趋势只会加速， LawZero是他们针对这些挑战所给出的建设性回应。
经常有人问我，对AI的未来是乐观还是悲观？我的回答始终是：It doesn’t matter（无关紧要）。
唯一重要的是，我们每个人都能采取行动，推动AI向更好的方向发展。

开创「Scientist AI」LawZero总部位于蒙特利尔，最初由非营利机构Mila-Quebec AI Institute启动孵化， Mila现已成为LawZero的运营合作伙伴。
LawZero所筹集的捐赠资金，也是在项目孵化阶段通过Mila-Quebec AI Institute进行的。
其首批支持者包括Future of Life Institute、Open Philanthropy、Silicon Valley Community Foundation、前谷歌CEO Eric Schmidt创立的研究机构Schmidt Sciences等。
其中Open Philanthropy还是OpenAI的早期投资方。
Bengio担任LawZero主席兼科学总监。
团队中已有超15名顶尖研究员。
他们的科学方向基于Yoshua Bengio所引领的全新研究方法——Scientist AI 。
几个月前， Bengio曾发表过一篇长达58页的论文探讨Scientist AI 。
Scientist AI核心功能基于观测解释世界，而非通过行动模仿或取悦人类。
该系统包含两大组件：世界模型、推理机。
世界模型能够通过观察数据生成因果理论，以此解释数据背后的规律，构建对物理与社会规律的结构化理解，其运作机制类似于科学家通过观察自然现象提出假说并构建理论体系。
推理机则是一个问答推理机制。二者均以明确的不确定性概念为基础，以降低因过度自信的预测引发风险的可能性。
Scientist AI输出仅限于对问题的概率性解释和基于理论的逻辑推断，而不具备自主行动的能力，由此来从根本上杜绝因目标追求和环境干预引发的风险。
Bengio团队表示， Scientist AI可在以下三个核心领域发挥作用：
作为对抗危险AI的安全护栏
针对表现出自我保护、目标偏离、欺骗等倾向的AI系统， Scientist AI可通过双重验证机制防范灾难性后果。
在高能力Agent型AI执行现实行动前，对其行为进行风险评估，若超过预设阈值则直接阻断。这一机制可有效遏制当前前沿AI因自主性增强而日益凸显的不可预测性风险。
作为加速科学发现的可信工具
不“以取悦人类为训练目标” ， Scientist AI可生成诚实且可论证的解释性假设，尤其在生物学、材料科学、化学等领域，可规避传统AI因“目标对齐偏差”导致的研究风险，开启低风险加速探索的新范式。
作为安全开发强AI的底层基建
可作为值得信赖的研究与编程工具，通过其透明化推理框架，为强AI的开发建立可审计的安全边界，从源头阻断“欺骗性Agent”的风险传导，助力设计安全的人类级智能，乃至安全的超级人工智能（ASI）。

职业生涯剩余时间全部投入AI安全Bengio最新创业引来不少网友关注，也引起了网友对其上次创业的讨论。
确实， Bengio并非第一次创业。
2016年10月， Bengio曾和Jean-FrancoisGagné等人联合成立Element AI ，主要聚焦“人工智能战略咨询”、“专家匹配”和“AI-as-a-Service”（AIaaS）。
Element AI曾一度成为“全球最大独角兽”之一，仅仅成立9个月就筹集了1.02亿美元的风险投资，不到4年时间里，融资约2.6亿美元，微软、英特尔、麦肯锡、加拿大政府等大型机构均为其资方，估值高达12亿美元。
不过，令人唏嘘的是， 2020年Element AI传来“仅以2.3亿美元被抛售”的消息。《环球邮报》认为，这家公司大肆招聘顶尖人才、大量进行宣传投资的行为，与它建立软件业务的初衷背道而驰。
连Bengio本人都否定了Element AI的价值。
如今新项目启动， Bengio其实预谋已久。
2023年初， ChatGPT刚刚问世几个月， Bengio“AGI发展缓慢而漫长，需几十年的时间才能实现”的观点开始转变。私人实验室在AGI及更先进技术方面已经取得的进展，让他感到担忧。
之后Bengio彻底重新调整了科学研究方向：
职业生涯剩余的时间全部投入到缓解这些风险上，努力探索一条能从设计上让AI变得安全的道路。
目前网友对LawZero持谨慎观望态度，毕竟OpenAI最初也是以非营利组织起家……
更有评论者直言：
LawZero项目成功必然会将人类的主动权转移给机器人，而这是应竭力避免的趋势，而非加速推动。
OpenAI的非营利承诺早就变了味儿。现在，对这家图灵奖得主扛大旗的非营利机构，你怎么看？

参考链接[1
https://lawzero.org/en/news/yoshua-bengio-launches-lawzero-new-nonprofit-advancing-safe-design-ai
[2
http://arxiv.org/pdf/2502.15657
【图灵奖得主Bengio再创业：启动资金就筹集了3000万美元】[3
https://news.ycombinator.com/item?id=44174643

图灵奖得主Bengio再创业：启动资金就筹集了3000万美元

推荐阅读

咖喱牛肉炒饭怎么做？

开户行是什么意思开户行怎么查

DW手表后盖没缝怎么打开

如何利用感知规律组织直观教学

云闪付刷公交方法介绍云闪付如何坐公交

个人怎样开通微信公众号个人如何开通微信公众号

WWF是什么意思

男人过了50岁,还需要女人吗?两个男人说出的大实话,很真实

2022影视多媒体技术专业学什么好找工作吗

窗花是贴一对还是一个

了解各国各民族过年的习俗

望洞庭写作背景

今目标官方下载目标学院使用帮助

小麦面粉可以生吃吗生的小麦面怎么煮粥好喝

情侣手机游戏情侣手机

扬声器没有声音