三、调整超参数现在你的网络可以学习东西了，你可能会得意忘形 。你还可能发现你训练的网络并不能够解决大多数复杂的问题 。超参数调整就是解决问题的关键 。有些人直接下载一个CNN的包然后在他们的数据集上运行，然后告诉你说使用超参数调整并没有带来什么不同 。这是因为它们使用已经存在的架构来解决已经存在的问题 。如果你要解决的问题需要新的架构呢，通过超参数调整来得到良好的设置就是必须的了 。
你最好确保针对你要解决的问题阅读了超参数教程，不过我还是会在下面列出一些基本思想 。可视化：不要怕在训练过程中花时间编写自定义可视化工具 。如果你的可视化方法效果不行，那么考虑换另一种方法 。权重初始化：一般情况下，较大的初始化权重是个不错的选择，但是太大又会导致NaN 。确保权重看起来“健康” 。要了解这是什么意思，我建议在IPython的notebook中查看现有网络的权重值 。
花些时间来观察在诸如ImageNet或Penn Tree Bank这些标准的数据集上训练的成熟的网络中成分的权重的直方图应该是什么样的 。神经网络的w.r.t.输入不是不变的，特别是在使用SGD而不是其他方法训练的时候，因为SGD不是尺度不变的方法 。花时间用与扩展其他方面的方式来扩展输入数据和输出标签 。
【浅析激活函数之Relu函数,relu函数】在训练过程中降低学习速率几乎总会给你带来提升 。最好的衰减策略通常是：在k次迭代后，每n次迭代就用学习率除以1.5，k
推荐阅读
- KMS激活工具,kms激活工具
- 新入坚果不能激活
- 苹果官网激活时间查询 苹果官网技术支持查询激活日期
- 家用摄像头遭破解入侵,精品摄像头ip交流群
- 电池充不进电了,手机充不进电怎么办
- 大战神骑兵怎么激活码,骑砍2游戏怎么作弊刷
- 弹弹堂怎么得激活码,4399弹弹堂
- apple110激活时间查询 苹果110查询激活日期
- yq603恢复出厂设置之后激活不了了。
- 手机激活时间查询,iphone激活时间查询