又到了年经贴的时候了。。。。2016的个人总结

没想到学校返学费反的这么快。。。。本来以为十一没钱没出去玩真是失策。。。。。闲得无聊只能开脑洞了。

大部分的修仙世界都有洞天福地、仙界、天劫什么的。但是我觉得自然界的形成本身是一件非常美丽和对称的事情，尤其是物理和数学，随处可见这种美，而仙界、天劫的设定显然违背了这种自然的美。所以我们从几个假设出发，开始推导这一切的形成过程(手动滑稽)

kaggle 经验

部分的看完了数值优化和凸优化，觉得数学方面暂时不需要更多的补充了，所以重启了很久以前的6.824。16年的6.824没有 paxos ，换成了 raft 。但是本着一切分布式一致性协议都是 paxos 变种的思想，还是毅然决然的去做了下15年的 paxos 实验，居然一天就过了所有的 test。想想看去年，做了4，5天都没过啊。。。。。怕以后忘了，所以总结一下。

QP问题，即带线性约束的二次方程最小化问题。QP问题的一般形式为：
$$\label{origin} \min_x\ q(x) = \frac{1}{2}x^TGx+x^Tc\\ s.t.\ a^T_ix = b_i,\quad i\in\mathcal{E}\\ a^T_ix \ge b_i,\quad i\in\mathcal{I}$$
对于 Hessian 矩阵 $G$ 来说，如果是半正定的，则QP称为凸QP；否则称为非凸QP。显然，非凸QP问题更麻烦一些。不过我们这里只关注凸QP问题。

求解非线性等式的方法

机器学习中最常见的损失函数就是最小平方误差，所以我们来看看 LSE 有什么高效的解法。

其实感觉 Derivate-free optimization(DFO)的方法当中，大多数还是需要依靠导数的，尤其是在确定算法的初值的时候。嘛，不过相比于其他的方法来说，倒确实少了很多。

在处理一些数据量巨大的优化问题时，对于优化算法的收敛速度以及每次迭代的计算量都有较高的要求。但是纯粹的优化算法如 quasi-newton 可能无法满足这种要求。但是我们可以通过对现有算法的改进以达到这种要求。

Quasi-newton method 是为了避免 newton method 中二阶导的大量计算而引入的方法。