线性回归和逻辑回归的心得(逻辑回归与线性回归的关系)

逻辑回归原理

逻辑回归原理基本概念

1. 什么是逻辑回归

逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）

回归模型中，y是一个定性变量，比如y=0或1，logistic方法主要应用于研究某些事件发生的概率

2. 逻辑回归的优缺点

优点：

1）速度快，适合二分类问题

2）简单易于理解，直接看到各个特征的权重

3）能容易地更新模型吸收新的数据

缺点：

对数据和场景的适应能力有局限性，不如决策树算法适应性那么强

3. 逻辑回归和多重线性回归的区别

Logistic回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同，其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型（generalizedlinear model）。

这一家族中的模型形式基本上都差不多，不同的就是因变量不同。这一家族中的模型形式基本上都差不多，不同的就是因变量不同。

如果是连续的，就是多重线性回归

如果是二项分布，就是Logistic回归

如果是Poisson分布，就是Poisson回归

如果是负二项分布，就是负二项回归

4. 逻辑回归用途

寻找危险因素：寻找某一疾病的危险因素等；

预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；

判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况的概率有多大，也就是看一下这个人有多大的可能性是属于某病。

5. Regression 常规步骤

寻找h函数（即预测函数）

构造J函数（损失函数）

想办法使得J函数最小并求得回归参数（θ）

6. 构造预测函数h(x)

1) Logistic函数（或称为Sigmoid函数），函数形式为：

?

?

对于线性边界的情况，边界形式如下：

?

其中，训练数据为向量

?

最佳参数

?

构造预测函数为：

?

函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：

P(y=1│x;θ)=h_θ (x)

P(y=0│x;θ)=1-h_θ (x)

7.构造损失函数J（m个样本，每个样本具有n个特征）

Cost函数和J函数如下，它们是基于最大似然估计推导得到的。

?

8. 损失函数详细推导过程

1） 求代价函数

概率综合起来写成：

?

取似然函数为：

?

对数似然函数为：

?

最大似然估计就是求使l(θ)取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。

在Andrew Ng的课程中将J(θ)取为下式，即：

?

2) 梯度下降法求解最小值

?

θ更新过程可以写成：

?

9. 向量化

ectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。

向量化过程：

约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：

g(A)的参数A为一列向量，所以实现g函数时要支持列向量作为参数，并返回列向量。

θ更新过程可以改为：

?

综上所述，Vectorization后θ更新的步骤如下：

求 A=x*θ

求 E=g(A)-y

求?

10.正则化

（1） 过拟合问题

过拟合即是过分拟合了训练数据，使得模型的复杂度提高，繁华能力较差（对未知数据的预测能力）

下面左图即为欠拟合，中图为合适的拟合，右图为过拟合。

?

（2）过拟合主要原因

过拟合问题往往源自过多的特征

解决方法

1）减少特征数量（减少特征会失去一些信息，即使特征选的很好）

? 可用人工选择要保留的特征；

? 模型选择算法；

2）正则化（特征较多时比较有效）

? 保留所有特征，但减少θ的大小

（3）正则化方法

正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大。

正则项可以取不同的形式，在回归问题中取平方损失，就是参数的L2范数，也可以取L1范数。取平方损失时，模型的损失函数变为：

lambda是正则项系数：

? 如果它的值很大，说明对模型的复杂度惩罚大，对拟合数据的损失惩罚小，这样它就不会过分拟合数据，在训练数据上的偏差较大，在未知数据上的方差较小，但是可能出现欠拟合的现象；

? 如果它的值很小，说明比较注重对训练数据的拟合，在训练数据上的偏差会小，但是可能会导致过拟合。

为什么逻辑回归比线性回归要好

线性回归要求因变量必须是连续性数据变量；逻辑回归要求因变量必须是分类变量，二分类或者多分类的；比如要分析性别、年龄、身高、饮食习惯对于体重的影响，如果这个体重是属于实际的重量，是连续性的数据变量，这个时候就用线性回归来做；如果将体重分类，分成了高、中、低这三种体重类型作为因变量，则采用logistic回归。

延展回答：

逻辑回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。

“逻辑回归” 和 "线性回归" 的关系

都可以做预测，但它们之间不存在包含关系。逻辑回归用在二值预测，比如预测一个客户是否会流失，只有0-不流失，1-流失；线性回归用来进行连续值预测，比如预测投入一定的营销费用时会带来多少收益。

机器学习的方法之回归算法

我们都知道，机器学习是一个十分实用的技术，而这一实用的技术中涉及到了很多的算法。所以说，我们要了解机器学习的话就要对这些算法掌握通透。在这篇文章中我们就给大家详细介绍一下机器学习中的回归算法，希望这篇文章能够帮助到大家。

一般来说，回归算法是机器学习中第一个要学习的算法。具体的原因，第一就是回归算法比较简单，可以让人直接从统计学过渡到机器学习中。第二就是回归算法是后面若干强大算法的基石，如果不理解回归算法，无法学习其他的算法。而回归算法有两个重要的子类：即线性回归和逻辑回归。

那么什么是线性回归呢？其实线性回归就是我们常见的直线函数。如何拟合出一条直线最佳匹配我所有的数据？这就需要最小二乘法来求解。那么最小二乘法的思想是什么呢？假设我们拟合出的直线代表数据的真实值，而观测到的数据代表拥有误差的值。为了尽可能减小误差的影响，需要求解一条直线使所有误差的平方和最小。最小二乘法将最优问题转化为求函数极值问题。

那么什么是逻辑回归呢？逻辑回归是一种与线性回归非常类似的算法，但是，从本质上讲，线型回归处理的问题类型与逻辑回归不一致。线性回归处理的是数值问题，也就是最后预测出的结果是数字。而逻辑回归属于分类算法，也就是说，逻辑回归预测结果是离散的分类。而逻辑回归算法划出的分类线基本都是线性的(也有划出非线性分类线的逻辑回归，不过那样的模型在处理数据量较大的时候效率会很低)，这意味着当两类之间的界线不是线性时，逻辑回归的表达能力就不足。下面的两个算法是机器学习界最强大且重要的算法，都可以拟合出非线性的分类线。这就是有关逻辑回归的相关事项。

在这篇文章中我们简单给大家介绍了机器学习中的回归算法的相关知识，通过这篇文章我们不难发现回归算法是一个比较简答的算法，回归算法是线性回归和逻辑回归组成的算法，而线性回归和逻辑回归都有自己实现功能的用处。这一点是需要大家理解的并掌握的，最后祝愿大家能够早日学会回归算法。

逻辑回归解决的是什么问题

逻辑回归原理的基本概念

1.什么是逻辑回归？

Logistic回归是这样一个过程:面对一个回归或分类问题，建立代价函数，然后通过最优化方法迭代求解最优的模型参数，然后对我们求解的模型的质量进行检验和验证。

Logistic回归其实是一种分类方法，虽然名字叫“回归”。主要用于两个分类问题(即只有两个输出，分别代表两个类别)。

在回归模型中，Y是一个定性变量，如y=0或1。logistic方法主要用于研究某些事件发生的概率。

2.逻辑回归的优点和缺点

优势:

1)速度快，适用于二分类问题。

2)简单易懂，直接看到每个特征的权重

3)模型可以容易地更新以吸收新数据。

缺点:

对数据和场景的适应性有限，不如决策树算法强。

3.逻辑回归和多元线性回归的区别

逻辑回归和多元线性回归其实有很多共同点。最大的区别是它们的因变量不同，而其他的基本相同。因此，这两个回归可以属于同一个家族，即广义线性模型。

这个家族中的模型除了因变量不同之外，在形式上基本相似。这个家族中的模型除了因变量不同之外，在形式上基本相似。

如果是连续的，就是多元线性回归。

如果是二项分布，就是Logistic回归。

如果是泊松分布，就是泊松回归。

如果是负二项分布，就是负二项回归。

4.逻辑回归的使用

寻找危险因素:寻找某种疾病的危险因素等。；

预测:根据模型，预测不同自变量下某种疾病或情况发生的概率；

辨别:其实和预测差不多。也是基于模型来判断某人属于某种疾病或情况的概率，也就是看这个人属于某种疾病的可能性有多大。

5.回归的一般步骤

寻找H函数(即预测函数)

j函数(损失函数)

尝试最小化J函数，得到回归参数(θ)。

6.构造预测函数h(x)

1)逻辑函数(或Sigmoid函数)，其函数形式为:

_

_

对于线性边界的情况，边界形式如下:

_

训练数据是一个向量。

_

最佳参数

_

预测函数是:

_

函数h(x)的值具有特殊的含义，它表示结果为1的概率。因此，对于输入x，将结果分类到类别1和类别0的概率是:

p(y = 1│x；θ)=h_θ (x)

p(y = 0│x；θ)=1-h_θ (x)

7.构造损失函数J(m个样本，每个样本具有N个特征)

代价函数和J函数如下，基于极大似然估计导出。

_

8.损失函数的详细推导过程

1)找到成本函数

概率被组合并写成:

_

回答于?2022-09-06

逻辑回归和线性回归的区别是什么？

一、性质不同

1、逻辑回归：是一种广义的线性回归分析模型。

2、线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

二、应用不同

1、逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域。

2、线性回归：常运用于数学、金融、趋势线、经济学等领域。

扩展资料：

线性回归的特征：

回归分析中有多个自变量：这里有一个原则问题，这些自变量的重要性，究竟谁是最重要，谁是比较重要，谁是不重要。所以，spss线性回归有一个和逐步判别分析的等价的设置。

原理：是F检验。spss中的操作是“分析”～“回归”～“线性”主对话框方法框中需先选定“逐步”方法～“选项”子对话框

如果是选择“用F检验的概率值”，越小代表这个变量越容易进入方程。原因是这个变量的F检验的概率小，说明它显著，也就是这个变量对回归方程的贡献越大，进一步说就是该变量被引入回归方程的资格越大。

参考资料来源：百度百科-线性回归

参考资料来源：百度百科-逻辑回归