Hilton大牛的神经网络公开课已经基本刷完了。看了下网上关于这门公开课的资料，觉得都比较少或者不够全面，因此写一个关于神经网络的系列文章，内容可能包括但不局限于Hilton的神经网络。
本片只是个立坑贴，不准备讲什么实际的东西。神经网络从感知机开始，到BP，然后到CNN，RNN，DBN，个人感觉整个深度学习的研究反向主要分为三种：
- 基础的改进，包括损失函数如交叉熵，激活函数如ReLU等等
- 网络结构的改进。CNN和RNN都是权值共享的具体应用，只不过输入feature的不同决定了网络权值共享的方式。当然，从Hopfield到RBM走的是直接砍边的方式。
- 训练方式的改进。主要包括一系列梯度下降的改进如AdaGrad，prop，rmsprop以及一些其他的改进如batch normalization等等
后面的博客会基本采用这种方式，按照基础->网络结构->训练方式进行介绍。如果有希望先看到的部分，也可以留言（╮(￣▽￣”)╭虽然感觉不会有什么人留言的样子。。。。）
就这样吧