Conjugate gradient method， 类似于坐标梯度下降，2次下降的方向不会相互干扰。

另一类搜索算法，先确定步长，再根据步长确定方向

数值优化的基础算法 line search， 很多后续的算法都有基于该方法的版本。

数学的最后一个大块：数值优化，课本是 numerical optimization. 感觉相对于凸优化来说，这本书对于读者的数学基础要求比较高，很多基础的数学概念都没有介绍，所以啃起来感觉很困难。而且整本书各个章节之间联系比较少，所以看完前面基本就忘完了，所以有必要记录一下。

又在火车上失眠了╮(￣▽￣”)╭从1月出来到现在整整3个月，想想看貌似还没有过如此之长的独处。而这段独处也给自己很长的独自思考的空间。这段时间做了很多疯狂的事情，确实需要沉淀下来好好思考

最开始接触到随机采样是在RBM里面求解的时候，不过都忘完了。最近的课上提到了随机采样，没去上课而那个SB老师又删了部分PPT，只好自己找paper看了，也算复习和补充。本文的算法都来自paper An Introduction to MCMC for Machine Learning。

随机过程最后一部分的内容了=。=主要讲随机游走

markov process是markov chain的泛化版本。它描绘了markov chain中访问的每个state以及interval

对于为什么叫 countable-state，我一直不理解。。。。明明state是infinite的=。=不过一旦在infinite的情况下，很多东西就要改变了。

renewal process，poisson process的泛化版本。并不知道有什么用=。=但是在markov process中大量结论的获得都需要借助renewal process，所以课上给了一定篇幅介绍。