各行业工资单出炉,什么是it行业( 二 )


东野圭吾的小说里也提到日本企业80年代最流行的就是建设专家系统以保留技术能手的知识,但很快被发现应用情景过于特定,90年代这类系统就不再成为热点 。在专家系统兴盛的同时,有人改进了感知器模型,将原有的感知器模型串联或并联,形成神经网络模型 。BP算法的出现使得对神经网络的研究再次复活,BP意味着误差反传,网络结构里“隐节点”的加入对训练模型产生了大的改进 。
90年代的论文里,神经网络红极一时,可以解决很多问题 。但是神经网络的学到的网络参数难以解释,调节参数对结果有很大影响,使得调参被看做一门科学之外的学问 。与神经网络同时兴盛的是“群智能”,最初是模拟生物进化的遗传算法,随后各类型群体智能算法仿照遗传算法诞生 。群智能比起神经网络算法更加玄学,各类参数初始值设置不同可以得出不同的结论,以至于发展出解释初值影响结果的“种群早熟”、“步长”之类的术语 。
智能算法由于需要样本多,训练时间长,学习效果难以保证,问题难以解释等等原因,应用领域也极为狭窄 。改造这时期的智能算法并应用于现实的努力逐渐陷入低谷 。21世纪初在计算能力出现深度学习之前,国内主是学生做数学建模比赛使用这类智能算法 。深度学习是在硬件计算能力大幅度提高之后,通过增大神经网络的规模,扩展出多层“隐含层”来提高神经网络结果 。
严格来说多层神经网络的构想在上世纪就有模型,受限于硬件计算能力而难以实现 。深度学习目前被广泛用在过去神经网络应用的范畴里,也被寄予厚望,希望突破获得类人智能 。高效完成传统神经网络的任务是可行的,但是突破类人智能很可能是徒劳无功 。因为目前提高效果是通过增加计算量实现的,每增加一层隐含层需要优化的参数都会增长,计算量的增长是非线性的 。

推荐阅读