偏最小二乘回归方法的局限性及改进算法.pdf 5页VIP

第 38 卷 第 9 期 数学的实践与理解 o 2008 年 5 月 9 日 数学实践与实践 2008 偏最小二乘回归方法及其改进算法的局限性 林敏，杜光年，刘志斌（西南石油大学，四川成都 6 10500） 摘要：提出了偏最小二乘回归中一类不适用的情况，并进行了理论分析，并用实例进行了验证，并针对这种情况给出了一种改进的解决方案。算法针对这种情况，从而拓宽了偏最小二乘回归的使用范围。 关键词：偏最小二乘回归； 正交投影； 改进算法0 引言 偏最小二乘回归方法是为了解决线性回归中的多重共线性问题而提出的。 它可以将多元线性回归分析、典型相关分析和主成分分析的基本功能集成起来，将建模和预测模型的数据分析方法与非模型数据认知分析方法有机结合，可以更好地克服系统建模中变量多重相关性的不利影响。 ，因而被广泛使用。 然而，在实际应用中，我们注意到它并不是对所有的多重共线性问题都有效，并且对于某些数据得到的结果非常不合理。 因此，有必要研究哪些类型的数据不适合用偏最小二乘法处理，分析不适合的原因，并对分析结果提出相应的改进方法，以便修正后的偏最小二乘法方法可以处理此类数据并得到合理的结果。

本文研究的校正方法的主要思想是利用正交投影去除解释矩阵中与响应向量无关的信息，从而避免它们的干扰。 1 偏最小二乘法不适用的情况及原因。 假设单个因变量y和p个自变量{x 1 , x 2 , …, xp }，观察n个样本点，形成自变量和因变量的数据表。 X= [x 1 , x 2 , …, xp ]n ×p 和 Y = [y ]n ×1 ，分别称为解释矩阵和响应向量。 偏最小二乘回归法的基本原理是按照降序依次选择使协方差Cov(t,Xi Y)尽可能大的分量T k= ( t , t , …, t )交叉有效性原则。 ，然后与 t, t, …, t 建立回归方程，最终表示为 1 2kY1 2kY 与 x 1, x 2, …, xp 的回归方程。 当提取成分进行回归分析时，需要满足以下两个要求： 1）提取的成分T k = ( t , t , …, t ) 能够包含数据表中尽可能多的信息； 2) T k = ( t , t , …, t ) 尽可能相关。 根据要求 1 2k 计算时的目标就变成了让Cov(t,Y)最大或者比较大。

前后两个目标ii的数学意义不同，推导出来的ti也不同。 理想的情况是因为V ar (ti)和Co rr (ti,Y)都比较大，所以Cov(ti,Y)最大或者比较大。 也就是说，希望所选的分量既包含 X 里面的更多信息，即 V ar (ti) 的值较大，并且与 Y 的相关性较高，即 Corr (ti, Y ）。 接收日期：() 基金项目：西南石油大学校级自然科学基金Z© 1994-2010 中国之家。 全部。 第9期 李志强等：偏最小二乘回归法及改进算法的局限性73值较大。 很多时候两者都可以做到。 然而，我们注意到偏最小二乘回归方法，在某些情况下，虽然Co rr(t,Y)相对较小，但Var(t)的值非常大，使得Corr(t,Y)很大。 当这种情况发生时，iii[3]选择的组件就会出现偏差，从而影响整个回归的效果。

在这种情况下，直接使用偏最小二乘回归法是不合适的。 造成这种现象的原因主要是解释矩阵中包含了大量与响应向量无关的信息。 这些与响应向量无关的信息被提取为方差大、相关系数小的分量，这样所选分量虽然方差协方差大，但对响应变量仍然缺乏解释力。 2.偏最小二乘回归方法的改进基于上述分析，当出现这种情况时，我们提出如下解决方案：利用正交投影扣除解释矩阵中与响应无关的分量。 经过这样的处理后，解释矩阵不再包含大量与响应变量无关的信息，因此适合采用偏最小二乘回归方法进行处理。 为此，首先给出如下定理和定义： 定理 1 假设 Y 是一个 n × 1 响应向量，X 是一个 n × p 解释矩阵，并且它们已经标准化，则矩阵 X′YYX′ 有 p - 1 个特征值为 0 的正交特征向量，表示为 b, b, …, b。 1 2p - 1 证明 Y 是一个 n × 1 响应向量，X 是一个 n × p 解释矩阵，则 X′Y 是 ap 此时，秩 RX ′Y = 1，RYX′ = RX ′Y ′= 1 ，所以 R ('YYX')X= 1。

因此，X′YYX′是一个p阶阶为1的方阵，则方程X′YYX′b = 0的解空间的维数为p - 1，则上式可写为X′YYX ′b = 0b ，所以上式的每个非零解都可以看成矩阵中特征值为0的特征向量 可以得到p-1维的标准正交基，即p-1正交特征向量矩阵 X′YYX′ 的特征值为 0。 定理2 假设X是一个有n个样本点和p个变量的数据表，′e1X = (x ij ) n …, x ip ) ′εRP，变量 xj = (x 1j , …, x nj ) ′εR n ，并假设数据表是标准化的。 综合变量F是x,...,x的线性组合，即F=对应的特征向量。

n定义1 假设V 1 和V 2 是n维线性空间V的两个线性子空间，且V =V 1 V 2 ，则V中的任意向量x都可以唯一分解为x= x + x，其中x∈ V ， x ∈ V 。 x→x的变换称为x沿V1 211 2212到V的投影算子，记为P，即Px = x。 给定基下的投影算子的矩阵称为投影矩阵。 1V VV V11 21 2⊥定义2 设W是V的线性子空间，沿W到W的投影算子PWW⊥称为正交投影算子，缩写为PW。 定理3 假设W是V的线性子空间，W= sp an {x 1, x 2, …, xp}，矩阵X的第i列由xi组成，即X= (x 1, x 2, …, xp )，则 V 中任意向量 y 在 W 中的正交投影为 z =X，其中 是一致线性方程组 XX′ = X ′y 的任意解。 () 证明假设是一致线性方程组 XX′ = X ′y 的解，则 X′y - X= 0，即 © 1994-2010 China House。

全部。 74 数学实践与理解卷38 ()()()y - X 正交于xii = 1, …, p，即y - X 垂直于W。由于X∈W，X 是y 在W，即z=X。 证明完毕。 () 根据定理1，将这p-1个特征向量作为列向量，组成p×p-1阶的矩阵，记为B=′(b,...,b)。 因为 b 是特征向量，特征值为 0，所以 X′YYX′b = 0，然后 b 。 因此{b , …, b,X ′Y )构成p维空间的一组标准j1p - 1正交基。 我们要减去的是与响应向量Y正交并且由解释矩阵X的列向量组成的向量。为了方便起见，将其表示为X r 并满足YX′r = 0。 易知r属于X′Y的正交补空间。 换句话说，r可以用B的列的线性组合来表示，可以记为r=B a。

从定理2中，我们要尽可能多地扣除解释矩阵中与响应变量无关的信息，即找到一个可以使X r = XB a 的方差达到最大的方向。 定理2的结论告诉我们，标准向量a中，能够使XB a的方差最大化的向量a就是矩阵BX′X′B的最大特征值对应的特征向量。 因此，寻找方差较大且与响应向量线性无关的信息相当于寻找特征值较大的矩阵BX′X′B的标准特征向量a,...,a(sp)。 令 H = XBA ，其中矩阵 A 定义为 A= (a , …, a )。 1s1s H 是解释矩阵中独立于响应向量的信息。 然后投影解释矩阵 此时，可以使用偏最小二乘法对Y进行回归。下面要解决的问题是如何将解释矩阵投影到这些标准特征向量所跨越的正交互补空间X上。 为此，我们首先基于最小二乘原理推导正交投影算子。 对于多元线性回归模型 Yn ×1=^ X ( ) ( ) +，估计量记为 。

使用最小二乘估计获得正规方程 XX′ = X ′Y。 在 n × p + 1 p + 1 n ×1^ x 1 , …, xp 不完全相关的情况下，XX′ 是可逆矩阵，因此得到的最小二乘估计量为 ^^() - 1() - 1 = XX′ X ′Y ，因此 Y 的最小二乘估计量为 Y =XXX′ X ′Y。 由定理3可知，Y是x 1 、^…、xp构成的子空间WX中的向量，Y是Y在WX空间上的正交投影。 如果将这个投影()-1算子记为PWX，则可以根据投影算子的定义推导出正交投影算子：PWX=XXX′X′。 通过这个投影算子，我们可以将 X 投影到 H(H = XBA) 的正交补空间上。 此时对应的投影算子(H) - 1() IP 为p阶单位矩阵，得到的投影矩阵 X 0= IP - PH= X -() - 1(() - 1 ) HH ′ HH X′ = XIP - BAH ′HHX′ = XD。

综上所述，改进的偏最小二乘算法可以概括为以下步骤： 1）计算矩阵X′YYX′中p- 1个特征值为0的正交特征向量b, b, ..., b。 1 2p - 12) 计算矩阵 BX′X′B 的 p - 1 个特征值，...，及其对应的标准特征向量 a, ..., 1p - 11 ap - 1，然后选择 s 个最大的特征值，使得它们的总和占所有特征值总和的绝大多数。 例如sp - 1的s个最大特征值对应的特征向量记为a,...,a。 ii1s Σ Σ i= 1 i= 13) 设 H= XBA ，其中矩阵 A 定义为 A= (a , …, a )。 H 是解释矩阵中独立于响应向量的信息。 4) 将 X 投影到 H 的正交补空间上，得到的投影矩阵 X 0= (IP - PH )X = X -() - 1(() - 1 ) HH ′HH X′ = XIP - BAH ′HHX ′ = XD , X 0 适合采用偏最小二乘回归法对Y进行回归。

^^^5) 根据偏最小二乘回归法，让Y回归X 0，得到的结果为Y =XD = X。即© 1994-2010 China House。 全部。 第9期 李志强等：偏最小二乘回归方法和改进算法的局限性 75^使用改进的偏最小二乘回归方法解释矩阵X得到的回归系数的估计是多少？ 3 实例验证 为了更好地说明改进的偏最小二乘法的有效性，我们采用随机仿真的方法设计实验进行验证。 任意创建三个20×1的列向量b,b,b与x=b,x=(I - P) b,x=(I -1 2 311 220x 2 3201) () P () b P表示正的交集投影算子意味着 x, x, x 彼此正交。 解释矩阵生成如下： x - x 3 X1 2 3X1 2()( )

假设真实模型为 y =x 1 + , ~ N0, 1 。 计算机通过 ()()() 随机生成 20 i = 1, … 20，然后由 x 和 i = 1, …, 20 生成 yi = 1…20。使用 i1 ii^^ X 和 y (i = 1 ...20) 拟合模型 y= 均使用偏最小二乘法和改进的偏最小二乘法来估计参数 c, c,2 2 3 30 1 c, c)。 实验独立重复500次，两种方法各获得500组参数估计。 最后得到它们的平均值如表1所示：表1参数估计方法PL S0。 04 180.0 1260.00570.0236 改进了 PL S0。 00940. 95830. 002 10. 0045 （从解释矩阵和响应变量的结构可以看出，解释矩阵包含大量与y无关的信息，可以通过正X获得）交集分析。 理论上来说，采用改进的偏最小二乘回归方法更为合适。

从上面的实验结果可以清楚地看出()采用改进的偏最小二乘法得到的结果为0. 0094,0. 9538,0。 002 1, 0. 0045 非常接近 true() 真实模型的系数 0, 1, 0, 0。 这个结果比直接应用偏最小二乘法得到的结果要好得多。 4 结论 针对包含大量与响应向量无关信息的多重共线数据，提出了改进的偏最小二乘算法。 通过代数算法，预先扣除与响应向量无关的信息，将数据转换为适合偏最小二乘回归方法的多重共线性数据。 此方法简单有效。 它扩展了偏最小二乘算法可以求解的数据类型范围，是对其的有效补充。 实际应用该方法时，首先必须使用正则相关等方法判断解释矩阵是否包含过多与响应变量无关的信息。 参考文献：[1]王惠文。 偏最小二乘回归方法及其应用[]. 北京：国防工业出版社，1999．M [2]任若恩，王慧文． 多元统计数据分析——理论、方法、实例[]。 北京：国防工业出版社，1997．M [3]W o ld S，R uh e A，W o ld H，D unn WJ． 线性回归中的共线性问题，偏最小二乘为 s( )[ ]。

，1984年，5：。 广义反演的 PLS 方法 J of [4]Xu 。 线性代数和矩阵理论[]。 高等教育出版社，1992．M [5]李正良． 矩阵理论和代数基础[]。 电子科技大学出版社，1989。M© 1994-2010 中国之家。 全部。 76 数学的实践与理解第38卷[6]王学敏。 应用多元统计分析[]。 上海财经大学出版社，1999．M [7]刘辉，袁文彦，姜冬青． 矩阵理论及应用[]． 北京: 化学工业出版社, 2003. 部分最小与算法的限制, 林孟安刘志斌 (西南石油学院itu te , 成都 四川 an 6 10500, Ch in a): This paper a case for Least model(PL S）。

通过理论分析与实例相结合，研究提出： 改进该模型的方法拓宽了 PL 的应用范围：部分最小二乘回归； 口服离子； 算法改进 © 1994-2010 中国之家。 全部。