阿里云开发者社区,稀疏编码( 五 )


该项目利用了 9 层的神经网络来获得脸部表征,神经网络处理的参数高达 1.2亿 。最后我们再回到大数据这个时代背景上来 。当坐拥海量的大数据,我们无论是做推荐系统还是3D模型检索(见第6章的6.4节“众里寻她千百度──海量3D模型的检索”),以前用简单的线性数学模型,一般也能获得还不错的结果 。因此我们沾沾自喜起来,认为还是大数据更重要,而智能算法用简单直接的就OK了,不需要也没必要弄得很复杂 。
而当深度学习出现后,它的一系列辉煌战绩让我们意识到:也许是时候该“鸟枪换炮”了 。简而言之,在大数据情况下,也许只有比较复杂的模型,或者说表达能力强的模型,才能充分发掘海量数据中蕴藏的有价值信息 。更重要的是,深度学习可以自动学习特征,而不必像以前那样还要请专家手工构造特征,极大地推进了智能自动化 。深度学习(即所谓“深度”)应大数据(即所谓“广度”)而生,给大数据提供了一个深度思考的大脑,而3D打印(即所谓“力度”)给了智能数字化一个强健的躯体,三者共同引发了“大数据+深度模型+3D打印”浪潮的来临 。
稀疏自编码中稀疏的作用是什么?

阿里云开发者社区,稀疏编码


稀疏性可以被简单地解释如下 。如果当神经元的输出接近于1的时候我们认为它被激活,而输出接近于0的时候认为它被抑制,那么使得神经元大部分的时间都是被抑制的限制则被称作稀疏性限制 。这里我们假设的神经元的激活函数是sigmoid函数 。如果你使用tanh作为激活函数的话,当神经元输出为-1的时候,我们认为神经元是被抑制的 。

推荐阅读