逻辑回归过程,逻辑回归回归

逻辑回归解决的是什么问题

逻辑回归原理的基本概念

1.什么是逻辑回归？

Logistic回归是这样一个过程:面对一个回归或分类问题，建立代价函数，然后通过最优化方法迭代求解最优的模型参数，然后对我们求解的模型的质量进行检验和验证。

Logistic回归其实是一种分类方法，虽然名字叫“回归”。主要用于两个分类问题(即只有两个输出，分别代表两个类别)。

在回归模型中，Y是一个定性变量，如y=0或1。logistic方法主要用于研究某些事件发生的概率。

2.逻辑回归的优点和缺点

优势:

1)速度快，适用于二分类问题。

2)简单易懂，直接看到每个特征的权重

3)模型可以容易地更新以吸收新数据。

缺点:

对数据和场景的适应性有限，不如决策树算法强。

3.逻辑回归和多元线性回归的区别

逻辑回归和多元线性回归其实有很多共同点。最大的区别是它们的因变量不同，而其他的基本相同。因此，这两个回归可以属于同一个家族，即广义线性模型。

这个家族中的模型除了因变量不同之外，在形式上基本相似。这个家族中的模型除了因变量不同之外，在形式上基本相似。

如果是连续的，就是多元线性回归。

如果是二项分布，就是Logistic回归。

如果是泊松分布，就是泊松回归。

如果是负二项分布，就是负二项回归。

4.逻辑回归的使用

寻找危险因素:寻找某种疾病的危险因素等。；

预测:根据模型，预测不同自变量下某种疾病或情况发生的概率；

辨别:其实和预测差不多。也是基于模型来判断某人属于某种疾病或情况的概率，也就是看这个人属于某种疾病的可能性有多大。

5.回归的一般步骤

寻找H函数(即预测函数)

j函数(损失函数)

尝试最小化J函数，得到回归参数(θ)。

6.构造预测函数h(x)

1)逻辑函数(或Sigmoid函数)，其函数形式为:

_

_

对于线性边界的情况，边界形式如下:

_

训练数据是一个向量。

_

最佳参数

_

预测函数是:

_

函数h(x)的值具有特殊的含义，它表示结果为1的概率。因此，对于输入x，将结果分类到类别1和类别0的概率是:

p(y = 1│x；θ)=h_θ (x)

p(y = 0│x；θ)=1-h_θ (x)

7.构造损失函数J(m个样本，每个样本具有N个特征)

代价函数和J函数如下，基于极大似然估计导出。

_

8.损失函数的详细推导过程

1)找到成本函数

概率被组合并写成:

_

回答于?2022-09-06

逻辑回归算法原理是什么？

逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，测试验证这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）。回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率。

Logistic回归模型的适用条件

1、因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但是需要注意，重复计数现象指标不适用于Logistic回归。

2、残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布，进而不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。

3、自变量和Logistic概率是线性关系。

以上内容参考：百度百科-logistic回归

怎样正确理解逻辑回归（logistic regression）？

逻辑回归通常用于解决分类问题，“分类”是应用逻辑回归的目的和结果，但中间过程依旧是“回归”。

逻辑回归是用来做分类算法的，大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？不用担心，伟大的数学家已经为我们找到了一个方法。

也就是把Y的结果带入一个非线性变换的Sigmoid函数中，即可得到[0,1]之间取值范围的数S，S可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么S大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类函数中t无论取什么值，其结果都在[0,-1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。

函数中t无论取什么值，其结果都在[0,-1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。

好了，接下来我们把aX+b带入t中就得到了我们的逻辑回归的一般模型方程：

结果P也可以理解为概率，换句话说概率大于0.5的属于1分类，概率小于0.5的属于0分类，这就达到了分类的目的。

逻辑回归有什么优点

LR能以概率的形式输出结果，而非只是0,1判定。

LR的可解释性强，可控度高(你要给老板讲的嘛…)。

训练快，feature engineering之后效果赞。

因为结果是概率，可以做ranking model。

逻辑回归有哪些应用

CTR预估/推荐系统的learning to rank/各种分类场景。

某搜索引擎厂的广告CTR预估基线版是LR。

某电商搜索排序/广告CTR预估基线版是LR。

某电商的购物搭配推荐用了大量LR。

某现在一天广告赚1000w+的新闻app排序基线是LR。

机器学习故事汇-逻辑回归算法

机器学习故事汇-逻辑回归算法

今天我们要来讨论的一个分类算法-逻辑回归（你有没有搞错，这不还是回归吗，虽然名字带上了回归其实它是一个非常实用的分类算法）。，适合对数学很头疼的同学们，小板凳走起！

先来吹一吹逻辑回归的应用，基本上所有的机器学习分类问题都可以使用逻辑回归来求解，当前拿到一份数据想做一个分类任务的时候第一手准备一定要拿逻辑回归来尝试（虽然有很多复杂的模型比如神经网络，支持向量机的名气更大，但是逻辑回归却更接地气，用的最多的还是它）！在机器学习中无论是算法的推导还是实际的应用一直有这样的一种思想，如果一个问题能用简单的算法去解决那么绝对没必要去套用复杂的模型。

在逻辑回归中最核心的概念就是Sigmoid函数了，首先我们先来观察一下它的自变量取值范围以及值域，自变量可以是任何实数（这没啥特别的！）但是我们观察值域的范围是[0,1]也就是任意的一个输入都会映射到[0,1]的区间上，我们来想一想这个区间有什么特别的含义吗？在我们做分类任务的时候一般我都都会认为一个数据来了它要么是0要么是1（只考虑二分类问题），我们其实可以更细致一点得出来它是0或者1的可能性有多大，由此我们就得出了一个输入属于某一个类别的概率值，这个[0,1]不就恰好是这个概率吗！

在这里我们的预测函数还是跟线性回归没有多大差别，只不过我们将结果又输入到Sigmoid函数中，这样得到了数据属于类别的概率值。在推导过程中，我们假定分类是两个类别的（逻辑回归是经典的而分类器）。设定y（标签）要么取0要么取1，这样就可以把两个类别进行整合，得到一个更直观的表达。

对于逻辑回归的求解，已然沿用我们上次跟大家讨论的梯度下降算法。给出似然函数，转换对数似然（跟线性回归一致），但是我们现在的优化目标却跟之前不太一样了，线性回归的时候我们要求解的是最小值（最小二乘法），但是现在我们想得到的却是使得该事件发生得最大值，为了沿用梯度下降来求解，可以做一个简单的转换添加一个负号以及一个常数很简单的两步就可以把原始问题依然转换成梯度下降可以求解的问题。

此处求导过程看起来有些长，但也都是非常非常基本的运算了，感兴趣拿起一支笔来实际算算吧！

最终就是参数更新了，迭代更新是机器学习的常规套路了。但是我们来简单想一想另外的一个问题，现在我们说的逻辑回归是一个二分类算法，那如果我的实际问题是一个多分类该怎么办呢？这个时候就需要Softmax啦，引入了归一化机制，来将得分值映射成概率值。

最后一句话总结一下吧，任何时候（没错就是这么狠）当我们一个实际任务来了，第一个算法就是逻辑回归啦，可以把它当成我们的基础模型，然后不断改进对比！

多因素logistic回归分析步骤

步骤如下：

1、把自己需要分析的数据导入到SPSS，点击左上角的文件进行打开，选择弹出对话框中的数据。

2、点击工具栏上的分析，依次选择回归，然后选择“多项Logistic” 多元线性回归分析和logistic回归分析都可以的。

3、把变量依次移动到右侧的因变量、因子和协变量框内。

4、就可以在度量标准中看到度量数据。

5、再对多项逻辑回归的模型、统计量、条件、选项和保存进行设置。

6、点击确定，即可用SPSS把多因素Logistic回归分析做好。

多因素logistic回归是指包含的研究因素较多，如二项logistic回归、多项Logistic回归等。

回答于?2022-05-05

回归分析的基本步骤是什么？

回归分析：

1、确定变量：明确预测的具体目标，也就确定了因变量。如预测具体目标是下一年度的销售量，那么销售量Y就是因变量。通过市场调查和查阅资料，寻找与预测目标的相关影响因素，即自变量，并从中选出主要的影响因素。

2、建立预测模型：依据自变量和因变量的历史统计资料进行计算，在此基础上建立回归分析方程，即回归分析预测模型。

3、进行相关分析：回归分析是对具有因果关系的影响因素（自变量）和预测对象（因变量）所进行的数理统计分析处理。只有当自变量与因变量确实存在某种关系时，建立的回归方程才有意义。

因此，作为自变量的因素与作为因变量的预测对象是否有关，相关程度如何，以及判断这种相关程度的把握性多大，就成为进行回归分析必须要解决的问题。进行相关分析，一般要求出相关关系，以相关系数的大小来判断自变量和因变量的相关的程度。

4、计算预测误差：回归预测模型是否可用于实际预测，取决于对回归预测模型的检验和对预测误差的计算。回归方程只有通过各种检验，且预测误差较小，才能将回归方程作为预测模型进行预测。

5、确定预测值：利用回归预测模型计算预测值，并对预测值进行综合分析，确定最后的预测值。

Logistic Regression逻辑回归

逻辑回归是用来计算“事件=Success”和“事件=Failure”的概率。当因变量的类型属于二元（1 / 0，真/假，是/否）变量时，应该使用逻辑回归。这里，Y的值为0或1，它可以用下方程表示。

odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

在这里使用的是的二项分布（因变量），需要选择一个对于这个分布最佳的连结函数。它就是Logit函数。在上述方程中，通过观测样本的极大似然估计值来选择参数，而不是最小化平方和误差（如在普通回归使用的）。

以上内容参考：百度百科-回归分析