逻辑回归 逻辑回归和线性回归其实有不少类似的地方,不同的是逻辑回归的是离散的.线性回归的是连续的. 逻辑回归：拟合样本数据发生的概率,根据概率进行分类处理. 逻辑回归,拟合样本发生的概率. ,之后根据概率的大小对样本做分类. 通常,将逻辑回归用来解决分类问题.作为分类算法时,解决的是二分类问题. 在线性回归一文中,我们知道,但是这个值的取值范围是负无穷到正无穷,如果我们想要表达概率的话,希望找到一个函数,取值范围在0-1. Sigmoid函数 在一文读懂svm中,我们也提到过这个函数,是常见核函数的一种.以后在讲神经网络的时候也会再看到它. 这个函数,我想不用多解释了,学过高中数学的应该都能明白其取值在0-1之间. 通过这个函数,我们可以把一个预测值转化为概率值,所以逻辑回归的概率模型可以表达为 . 我们做这样一个假设. 这样当有一个样本x过来,我们可以先计算出，再进而得到一个。 那么此时我们的问题转变为：怎样求得这样的，使得我们预测的与真实的y之间误差最小？ 损失函数 由于我们的有两种情况,是二元的,离散的.所以我们的损失函数也分两种情况 怎么理解？当y=1时,p越小,我们越倾向于把归为0. 这时候错的越离谱. 当y=0时,p越大,我们越认为归为1. 符合上述描述的损失函数可以表达如下： 转换为统一的表达形式： 上面是单个样本的cost，这样对一个有着m个样本的系统来说,损失函数可以表达为： 即： 求损失函数的梯度 推导不困难,但是有点复杂....... 即，和我们在线性回归中算出的梯度形式很像. 有了梯度,就可以用梯度下降法求出使得最小的。https://www.cnblogs.com/sdu20112013/p/10196444.html