然而 ， 这些问题都是计算数学领域的经典问题?。”暇? ，函数逼近、概率分布的逼近与采样，以及微分方程和差分方程的数值求解，都是计算数学领域极其经典的问题 。那么，这些问题在机器学习的语境下 ， 到底和在经典的计算数学里有什么区别呢？答案便是：
维度（dimensionality）
例如，在图像识别问题中，输入的维度为
文章插图
。而对于经典的数值逼近方法，对于
文章插图
维问题，含
文章插图
个参数的模型的逼近误差
文章插图
. 换言之 ， 如果想将误差缩小10倍，参数个数需要增加
文章插图
. 当维数
文章插图
增加时，计算代价呈指数级增长 。这种现象通常被称为：
维度灾难（curse of dimensionality）
所有的经典算法，例如多项式逼近、小波逼近，都饱受维度灾难之害 。很明显，机器学习的成功告诉我们，在高维问题中，深度神经网络的表现比经典算法好很多 。然而，这种“成功”是怎么做到的呢？为什么在高维问题中，其他方法都不行，但深度神经网络取得了前所未有的成功呢？
从数学出发，理解机器学习的“黑魔法”：监督学习的数学理论
2.1 记号与设定
神经网络是一类特殊的函数 。比如，两层神经网络是：
文章插图
其中有两组参数，
文章插图
和
文章插图
。
文章插图
是激活函数，可以是：
·
文章插图
，ReLU函数；
·
文章插图
，Sigmoid函数 。
而神经网络的基本组成部分即为：线性变换与一维非线性变换 。深度神经网络，一般就是如下结构的复合：
文章插图
文章插图
为了简便，我们在此省略掉所有的bias项
文章插图
。
文章插图
是权重矩阵，激活函数
文章插图
作用在每一个分量上 。
我们将要在训练集S上逼近目标函数
文章插图
文章插图
不妨假设
文章插图
的定义域为
文章插图
。令
推荐阅读
- 刑事犯罪找律师多少钱 犯罪后找律师怎么收费
- 大学生返乡社会实践注册后怎么报名参加
- 乐平市律师费一般怎么算，乐清律师收费标准
- 无锡春节免费景点怎么取消预约
- 海马s5有定速巡航吗 海马s5定速巡航怎么使用说明
- 如何制作长图 朋友圈长图片怎么制作
- 斯巴鲁有定速巡航吗 斯巴鲁有定速巡航吗怎么用
- 乐游无锡平台怎么预约春节免费景点2023
- 乐游无锡平台免费景点怎么看有没有预约成功
- 乐游无锡平台预约的春节免费景点怎么取消