原文链接：http://tecdat.cn/?p=24940
原文出处：拓端数据部落公众号
变量选择是高维统计建模的重要组成部分。许多流行的变量选择方法，例如 LASSO，都存在偏差。带平滑削边绝对偏离(smoothly clipped absolute deviation,SCAD)正则项的回归问题或平滑剪切绝对偏差 (SCAD) 估计试图缓解这种偏差问题，同时还保留了稀疏性的连续惩罚。
惩罚最小二乘法
一大类变量选择模型可以在称为“惩罚最小二乘法”的模型族下进行描述。这些目标函数的一般形式是
其中 是设计矩阵，
是因变量的向量，
是系数的向量，
是由正则化参数索引的惩罚函数
.
作为特殊情况，请注意 LASSO 对应的惩罚函数为 ，而岭回归对应于
. 回想下面这些单变量惩罚的图形形状。
SCAD
Fan和Li（2001）提出的平滑剪切绝对偏差（SCAD）惩罚，旨在鼓励最小二乘法问题的稀疏解，同时也允许大值的 β
. SCAD惩罚是一个更大的系列，被称为 "折叠凹陷惩罚"，它在以下方面是凹的， R+ 和 R-
. 从图形上看，SCAD 惩罚如下所示：
有点奇怪的是，SCAD 惩罚通常主要由它的一阶导数定义 ， 而不是
. 它的导数是
其中 a 是一个可调参数，用于控制 β 值的惩罚下降的速度，以及函数 等于
如果
, 否则为 0。
我们可以通过分解惩罚函数在不同数值下的导数来获得一些洞察力 λ:
对于较大的 β 值 （其中 )，惩罚对于 β 是恒定的。换句话说，在 β 变得足够大之后，β 的较高值 不会受到更多的惩罚。这与 LASSO 惩罚形成对比，后者具有关于 |β|的单调递增惩罚：
但是，这意味着对于大系数值，他们的 LASSO 估计将向下偏置。
另一方面，对于较小的 β 值 （其中 |β|≤λ），SCAD 惩罚在 β 中是线性的。对于 β 的中等值（其中 ），惩罚是二次的。
分段定义，pλ(β) 是
在 Python 中，SCAD 惩罚及其导数可以定义如下：
- def scad:
- s_lar
- iudic =np.lgicand
- iscsat = (vl * laval) < np.abs
- lie_prt = md_val * pab* iliear
- return liprt + urtirt + cosaat
使用 SCAD 拟合模型
拟合惩罚最小二乘模型（包括 SCAD 惩罚模型）的一种通用方法是使用局部二次近似。这种方法相当于在初始点 β0 周围拟合二次函数 q(β)，使得近似：
- 关于 0 对称，
- 满足 q(β0)=pλ(|β0|)，
- 满足 q ′ (β0) = p′λ (| β0 |)。
因此，逼近函数必须具有以下形式
对于不依赖于 β 的系数 a 和 b 。上面的约束为我们提供了一个可以求解的两个方程组：
为了完整起见，让我们来看看解决方案。重新排列第二个方程，我们有
将其代入第一个方程，我们有
因此，完整的二次方程是
现在，对于系数值的任何初始猜测 β0，我们可以使用上面的 q 构造惩罚的二次估计。然后，与初始 SCAD 惩罚相比，找到此二次方的最小值要容易得多。
从图形上看，二次近似如下所示：
将 SCAD 惩罚的二次逼近代入完整的最小二乘目标函数，优化问题变为：
忽略不依赖于 β 的项，这个最小化问题等价于
巧妙地，我们可以注意到这是一个岭回归问题，其中
回想一下， 岭回归 是
这意味着近似的 SCAD 解是
最受欢迎的见解
1.matlab偏最小二乘回归(PLSR)和主成分回归(PCR)
2.R语言高维数据的主成分pca、 t-SNE算法降维与可视化分析
6.r语言中对lasso回归，ridge岭回归和elastic-net模型
9.R语言线性判别分析（LDA），二次判别分析（QDA）和正则判别分析（RDA）