线性回归适合连续型的函数拟合任务（也就是回归任务），即对于不同的输入x，输出y所属于的域是一个连续的空间，而对于y是确定的离散的空间的分类任务，比如y只取0，1的二分类问题，仍然使用线性回归的直线拟合无法适应大量输入x而y只限制在0-1的情况，我们需要一种值域在0-1的函数来作为我们的假设函数。
这个函数就是被称为逻辑函数（Logistic Function）或者Sigmoid函数。它的函数表达式如下
\(g(z)=\frac{1}{1+e^{-z}}\)
它的函数图像如下图所示，整个值域在0-1，以z=0时函g(z)=0.5,
假设函数
基于以上，逻辑回归的假设函数是基于Sigmoid函数定义的，参数z是通过\(\theta^Tx\)来定义的，综合起来，其假设函数是
\(h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}\)
并且和线性回归不同的是其假设函数不是最终y的值，而是使用x和\(\theta\)计算出的y=1情况的概率
\(h_\theta(x)=P(y=1|x;\theta)\)
\(h_\theta(x)>=0.5,y=1\)
\(h_\theta(x)<0.5,y=0\)
相比之下，线性回归计算的结果直接是y的值，而逻辑回归计算出来的是y=1的概率，如果这个概率大于0.5，我们就认为结果是1，反之则y=0。根据Sigmoid函数的定义，我们知道当\(\theta^T>=0\)的时候\(h_\theta(x)>=0.5\),我们把这条\(\theta^T>=0\)称为决策边界（decision boundary）
损失函数
如果我们想要想线性回归那样使用梯度下降来计算最优的参数\(\theta\),我们需要构造逻辑回归的损失函数。线性回归的损失函数是假设函数值和真实值平方差的平均值，像下面这样
\(J(\theta_0,\theta_1,\cdots,\theta_n)={{1\over 2m}(h_\theta(x^{(i)})-y^{(i)})^2} \)
这样的一个原因是，如果假设函数的结果和真实结果相差的太大，那么损失函数的值也会增大，而梯度下降就是不断削减这个损失函数的过程。而逻辑回归的真实值y是离散的0和1，而假设函数\( h_\theta(x)\)是y等于1的概率，所以逻辑应该是这样的，当y=1而\( h_\theta(x)\)的概率越小时，损失函数应该变大，对应的，如果y=0而\( h_\theta(x)\)越大时，损失函数应该变大。所以逻辑回归用一个分段函数来表示其损失函数，其中log代表自然对数
\(Cost(h_\theta(x),y)=-log(h_\theta(x)),if(y=1)\)
\(Cost(h_\theta(x),y)=-log(1-h_\theta(x)),if(y=0)\)
这函数的函数图像如下
那么其损失函数等于所有训练集的Cost函数和的平均值
\(J(\theta)=\frac{1}{m}\sum_{i=1}^m Cost(h_\theta(x),y)\)
我们可以将Cost分段函数写成一个函数
\(Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))\)
\(J(\theta)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(h_\theta(x^{(i)}))+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]\)
有了损失函数\(J(\theta)\),我们的目标就是利用训练数据最小化\(J(\theta)\),使用梯度下降法取最优值，对\(J(\theta)\)求导过程如下
推到后其值为
\(\frac{\partial}{\partial\theta_j}=\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{i})-y^{(i)})x_j^{(i)}\)
虽然这里的求导后和线性回归的形式一样，但是这里的\(h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}\),和线性回归是不同的
其优化过程就是迭代的更新\(\theta\),也就是
\(\theta_j=\theta_j-\alpha \frac{\partial}{\partial\theta_j}\)
\(\theta_j=\theta_j-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{i})-y^{(i)})x_j^{(i)}\)
我们可以自己实现梯度下降，也可以使用内置的优化函数fminunc来进行优化，其使用有三步
- 给出迭代每一步的计算函数function [jval,gradient]=costFunction(theta)
- 给出迭代的选项设置对象options=optimset(‘GradObj’,’on’,’MaxIter’,100)和初始的initialTheta
- 使用fminunc获取结果：
[optTheta,functionVal,exitFlag]=fminunc(@costFunction,initialTheta,options)
多分类问题
多分类问题可以通过二分类问题推广而来，假设有n种分类，那么我们可以对每一个种类训练一个逻辑回归函数，然后取其中的最大值作为分类结果
Class 1:\(h_\theta^{(1)}(x)=P(y=1|x;\theta)\)
Class 2:\(h_\theta^{(2)}(x)=P(y=2|x;\theta)\)
Class 3:\(h_\theta^{(3)}(x)=P(y=3|x;\theta)\)
取\(max(h_\theta^{(i)})\)为最终结果
声明
本文首发表于Wenqi’s Blog，更多技术分享欢迎关注！转载须注明文章出处，已委托维权骑士为本站的文章进行维权，作者保留文章所有权。
