惠政号-企业网络推广-我们致力于为企业推广提供动力!

多元回归分析(多元线性回归分析及SPSS实操)

一个例子

一个大型商业银行在多个地区设有分行,其业务主要是进行基础设施建设、国家重点项目建设、固定资产投资等项目的贷款。近年来,该银行的贷款额平稳增长,但不良贷款额也有较大比例的提高,这给银行业务的发展带来较大压力。为弄清楚不良贷款形成的原因,管理者希望利用银行业务的有关数据做些定量分析,以便找出控制不良贷款的办法。下表就是该银行所属的25家分行的有关业务数据。

以不良贷款为y,其余变量为x,贷款余额x1,累计应收贷款x2,贷款项目个数x3,固定资产投资额x4,建立线性回归方程。

多元线性回归方程及最小二乘法

多元线性回归方程为:

需要求出该方程的常数项和回归系数,一般采用最小二乘法来求解。

一元线性回归方程是一条直线,在空间直角坐标系中可以绘制出来,多元线性回归则不同,为了更加形象地理解,这里考虑二元回归,二元回归方程是三维空间中的一个平面,如下图所示。

现在需要找到一个平面来拟合空间中的观测点,求多元线性回归方程的方法依然是最小二乘法,其数学原理及计算,如果不感兴趣,可以先不用管,因为一般是通过Excel、SPSS等工具进行回归分析,这些工具可以直接给出结果!

评价回归结果

1、拟合优度

与一元线性回归类似,多元线性回归也用多重判定系数来衡量回归方程的拟合优度。

注意,这里是多重判定系数,一元线性回归分析中的叫判定系数。

与一元线性回归类似,多元线性回归也有误差平方和。

总平方和(SST)=回归平方和(SSR)+残差平方和(SSE)

多重判定系数的定义:

由于多元线性回归涉及多个自变量,而自变量个数的增加会影响多重判定系数,所以需要调整的多重判定系数,定义如下:

说明:为什么需要多重判定系数,一个通俗的解释是因为自变量越多,提供的信息越多,回归方程会越准确,但是又违背了简洁原则,所以不能一味增加自变量。

2、显著性检验

与一元线性回归类似,多元线性回归中的显著性检验也包括以下两方面的内容:线性关系检验和回归系数检验。

所不同的是,在一元线性回归中,线性关系的检验与回归系数的检验是等价的,因为只有一个自变量。

而在多元线性回归中,有多个自变量,这两者则不再等价,因为线性关系的检验反映的是整体情况,只要有一个自变量与因变量的线性关系显著,则就可以通过检验,而回归系数的检验需要对每个回归系数分别进行检验,往往会出现某些自变量无法通过检验,这也是后面将会提到的多重共线性问题。

说明:

线性关系检验主要关心F分布的P值,回归系数检验主要关心t分布的P值,具体理论这里略去,因为Excel可以直接给出对应的P值,判断的原则就是,P值越小越好,一般是小于0.05就符合要求

实操:用Excel进行多元线性回归分析

在“数据分析”中选择回归:

Y值输入区域,选择“不良贷款”,X值输入区域,选择“各项贷款余额”、“本年累计应收贷款”、“贷款项目个数”及“本年固定资产投资额”这4列,置信度用默认的95%,残差部分,勾选“残差”、“残差图”、“线性拟合图”,确定即可。

得出以下分析结果:

在上方的结果中,判定系数、显著性检验的结果如标黄区域所示。

从上面可以看到,多重判定系数为0.798,调整后的多重判定系数为0.71,说明两者有较强的线性关系。

线性关系检验,显著性水平远小于0.05,通过显著性检验。

回归系数检验,共有4个回归系数,只有第一个回归系数的显著性水平小于0.05,可以通过显著性检验;其余三个回归系数的显著性水平都大于0.05,无法通过显著性检验,说明后面三个自变量对预测不良贷款的作用不大。

另外,第4个回归系数“本年度固定资产投资额”为负值,说明本年度固定资产投资额与不良贷款负相关,实际上,从常理来说,本年度固定资产投资额越大,不良贷款也越多(对固定资产投资额与不良贷款做一元线性回归分析即可验证),这就是多重共线性问题导致的,接下来讲解多重共线性问题。

多重共线性问题

1、什么是多重共线性

当模型中出现两个或两个以上的自变量彼此相关时,则称回归分析中存在多重共线性问题

2、多重共线性问题会产生什么问题?

(1)使回归分析结果混乱:如上面的例子中,线性关系显著性检验可以通过,但是回归系数中有三个无法通过显著性检验。

(2)对回归系数的正负号产生影响:如上面的例子中,本年度固定资产投资额与不良贷款负相关,与实际情况矛盾。

3、如何识别多重共线性?

比较常用的是VIF(variance inflation factor),即方差扩大因子。

一般认为,VIF大于10时,存在严重的多重共线性。

解决多重共线性问题:逐步回归

解决多重共线性问题的核心:建模前,先选择变量,使进入模型的自变量尽可能不相关。

选择自变量的原则:将一个或一个以上的自变量引入回归模型中,是否可以使残差平方和(SSE)显著减少。常用的选择变量的方法主要有:向前回归、向后回归、逐步回归、岭回归等。

向前选择:从零开始,不断增加自变量,直至无法使SSE增加为止。

向后选择:从包含所有变量开始,不断减少自变量,直至无法使SSE增加为止。

逐步回归:将上述两种方法结合,进行自变量筛选。

由于Excel无法完成逐步回归,下面采用SPSS进行逐步回归。

逐步回归法SPSS实操

用SPSS进行逐步回归分为以下3步:

1、分析-回归-线性

2、添加自变量和因变量,选择逐步回归

3、根据指标VIF筛选,从后往前选择合适的模型

具体操作如下:

1、分析-回归-线性

2、添加自变量和因变量,选择逐步回归

Statistics窗口中,勾选“共线性诊断”

3、根据指标VIF筛选,从后往前选择合适的模型

得到了2个模型,上面表格最后一列是VIF,一般来说,当VIF大于10时,模型存在严重的多重共线性问题,这里选择第2个模型即可。

从上面表格看到,第2个模型引入了2个自变量,各项贷款余额、本年度固定资产投资额,表格第2列给出了线性回归方程的常数项和回归系数。

写出多元线性回归方程:

y=-0.443+0.050*x1-0.032*x2

说明:上述方程中,y表示不良贷款,x1表示各项贷款余额,x2表示本年度固定资产投资额。

总结:

多元线性回归涉及多重共线性问题,一般采用逐步回归法来筛选变量,这里利用SPSS进行逐步回归。

你平时工作中是否用过多元线性回归?欢迎留言评论!


分享:
扫描分享到社交APP
上一篇
下一篇
发表列表
请登录后评论...
游客 游客
此处应有掌声~
评论列表

还没有评论,快来说点什么吧~