作为逻辑回归的loss函数考虑。 最小二乘法是可以从最大似然估计推导出来的，所以它俩的本质应当是一样的。
最小二乘法 思想是 求欧式距离最小值。 即求出一条线，样本距离这条线的和最小。
最大似然符和高斯分布时，和最小二乘法的结果一样。
最大似然是站在概率上考虑的，推导出一个概率函数表示目标函数，它希望这个概率函数 越大越好。
最大似然中心思想，假设拿出来的样本数据有很大的参考性，用这个样本数据反推“导致”这个结果的参数。
举一下最常见的例子，一个麻袋里有白球与黑球，但是我不知道它们之间的比例，那我就有放回的抽取10次，结果我发现我抽到了8次黑球2次白球，至此我想知道有多少个黑
球。
用最大似然的方式解决： 假设黑球概率是p，因此白球是（1-p）。 L=p^8 * (1-p)^2 求max(L). 先对L求
ln，因为L作为目标函数乘法太多 求导结果复杂，因此先求ln，不破坏单调性。
因此就是求 max( ln ( L ) ) , 由微积分概念，对ln( L )求导 因为ln是单调增函数，当导数为0时即可得到最大值 。推导：
ln（p^8 * (1-p)^2 ）= （8 * ln（p）+ 2 * ln (1-p)） = 8 / p - 2 / ( 1 - p ) = 0 求得
p=0.8
用最大似然解题过程：
（1）每个样本属于某个类别发生概率的乘积L（比如上面的例子，10个有8个黑球2个白球，因此是8个p 2个(1-p) 相乘）
（2）ln( L ) 加ln方法，乘法求导太复杂，不破坏单调性增加ln方法。式子最大值时p的值就是黑球的概率。
（3）求导ln( L ) 求导结果为0时 p的值就是黑球的概率。
应用于逻辑回归ln(L)的推导：
求导：
可以对比和最小二乘法的结果一样。
sigmoid： y = 1 / ( 1 + exp(-z ) ) , z = wx+b
由上式推导出： ln( y / ( 1-y) ) = z = ln ( p( y = 1 | x ) / p( y = 0 | x ) ) , p(
y = 0 | x ) = (1 - p( y = 1 | x ) )
推导得：p( y = 1 | x ) = exp(z) / ( 1 + exp(z) ) p( y = 0 | x )
= 1 / ( 1 + exp(z) )
因此总的概率函数是 L = yi * p( y = 1 | x ) + (1 - yi) * p( y = 0 | x )
(很巧妙，y=0/1 都符和)
ln(L)的和的最大值，就是我们的目标；因为ln的图像是横坐标越大纵坐标越大，但是斜率越小，因此对它求导，求导数的最小值就可以。
参考： [ http://www.cnblogs.com/sparkwen/p/3441197.html?utm_source=tuicool&utm_me
dium=referral ](http://www.cnblogs.com/sparkwen/p/3441197.html?utm_source=tuic
ool&utm_medium=referral)
http://blog.csdn.net/zouxy09/article/details/20319673
https://www.cnblogs.com/monoSLAM/p/5257589.html
https://www.zhihu.com/question/20447622
《机器学习》