AI“脑容量”存上限 新旧知识难共存
AI为什么会产生“灾难性遗忘”？
“深度学习的结构一旦确定 ， 在训练过程中很难调整 。 神经网络的结构直接决定学习模型的容量 。 ”柯逍说 ， AI“脑容量”存在上限 ， 也就导致了人工智能只能有限地处理特定任务 。 就像水桶一半高的地方有个洞 ， 以至于无论怎么增加水桶的高度 ， 这个水桶只能装一半高的水 。
中科院自动化所脑网络组研究中心研究员、模式识别国家重点实验室副主任余山指出 ， 这还涉及到神经网络学习知识的机制 。 在单个任务的训练过程中 ， 网络中各个神经元之间的连接权重进行了专门的调整 ， 以胜任当前的任务 。 而在新任务的训练中 ， 连接权重要针对新任务进行调整 ， 这将“抹去”适应旧任务的原有结构 ， 导致在旧任务上的性能大大下降 。
人类的记忆能力其实是有限的 ， 但为何出现“灾难性遗忘”的情况却比较少？“主要是人类在学习过程当中 ， 大脑能够主动保留有用的知识和技巧 ， 同时不影响新的信息获取 。 ” 纪荣嵘说 ， 但现在的人工智能模型大部分是基于随机梯度下降来更新模型参数 ， 这个过程主要服务于当前任务的优化 ， 并不会去评估哪些参数权重对旧的知识是有用的 ， 所以就很容易出现知识被覆盖的情况 。
纪荣嵘也表示 ， 当前像Siri或小爱这样的人工智能助手产品 ， 还不能算真正意义上的通用人工智能 ， 一方面 ， 这些人工智能助手只能在预设的知识范围内和人类互动 ， 完成指令；另一方面 ， 人类没办法像养宠物或养小孩一样 ， 通过互动去教导这些人工智能助手学习新的知识或新的指令 。
有多个解决方案 但都治标不治本
据了解 ， 破解“灾难性遗忘”是实现通用人工智能的一个关键 。 解决了“灾难性遗忘”问题 ， 就意味着模型具备了持续学习的能力, 可以像人类一样不断获取新的知识、新的技能 ， 同时能够最大化地保持旧的经验知识和技巧 。
那么 ， 目前解决“灾难性遗忘”的方案有哪些？
“最常见的方式是多任务学习, 就是把所有任务的训练数据同时放到一起 ， 模型就可以针对多种任务进行联合优化 。 ”纪荣嵘举例说 ， 如让模型同时学习“坦克大战”和“超级玛丽”两个任务 ， 等两个任务同时学的差不多的时候 ， 模型才停止训练 。
但柯逍也指出 ， 这种方式随着任务增多 ， 新任务样本数量被稀释 ， 训练会拖慢学习新知识的效率 ， 并且不是任何情况都能获得先前任务的数据来复习的 。
还有的解决方案是根据新的任务知识来扩充模型结构 ， 保证旧的知识经验不被损害 。 此次 ， 谷歌大脑所提出的“记忆碎片观察”方法正是对不同任务（场景）构建多个人工智能模型来进行学习 。 “模型扩充的方式从本质上并没有解决‘灾难性遗忘’的问题 ， 只是用多个模型来替代单个模型去学习多种任务 ， 避免旧参数被覆盖 。 ”纪荣嵘说 。
当前 ， 解决“灾难性遗忘”还存在着一对矛盾：在学习新任务的过程中 ， 需要给予网络足够多的自由度进行连接权重调整 ， 但是又要避免这样的调整“抹去”原有的记忆 。
“因此 ， 科学家们开始设计新的学习算法解决上述矛盾 ， 使得网络在进行权重调整的时候 ， 对已有知识的影响最小化 。 ”余山表示 ， 其团队近期提出的正交权重修改算法 ， 就属于这类 ， 主要通过限制权重修改只能在旧任务的解空间中进行 ， 这一算法较好的克服了“灾难性遗忘” ， 使得同一个分类器网络可以连续学习多达数千个类别的识别 。
推荐阅读
- 华为手机备忘录怎么设置密码
- 去爷爷奶奶家300字作文
- 红米k40备忘录在哪里
- 超市忘了解防盗扣怎么办
- 网易邮箱忘记账号怎么办
- 苹果13时间显示后面的三角形是什么
- 备忘录怎么写入
- vivo x9密码忘了怎么办
- 苹果备忘录怎么查字数
- 苹果手机在备忘录里如何制作表格