Group Lasso
date
Sep 15, 2022
Last edited time
Mar 27, 2023 08:47 AM
status
Published
slug
Group_Lasso
tags
Algorithm
summary
type
Post
Field
Plat
Ridge
在线性回归中，我们需要对代价函数Cost Function 最小化拟合训练集:
岭回归，就是在线性回归的基础上加上 l2-norm的约束。为了之后推导方便改成了 ，因为是求代价函数最小值 所以并不改变结果。
其中 是正则项(惩罚系数)，对 的模做约束，使得它的数值会比较小，很大程度上减轻了overfitting过拟合的问题。通过求解可以得出 .
我们也可以通过下面的优化目标形式表达:
上面两种优化形式是等价的，我们可以找到相对应的λ和θ。
Lasso
LASSO是另一种缩减方法，将回归系数收缩在一定的区域内。LASSO的主要思想是构造一个一阶惩罚函数获得一个精炼的模型, 通过最终确定一些变量的系数为0进行特征筛选。
最终可以得出:
Group Lasso
Yuan在2006年将lasso方法推广到group上面，诞生了group lasso。我们可以将所有变量分组，然后在目标函数中惩罚每一组的L2范数，这样达到的效果就是可以将一整组的系数同时消成零，即抹掉一整组的变量，这种手法叫做Group Lasso 分组最小角回归算法。其目标函数为：
其中, , 对于每个分组权重 代表一个 中的分组权重. 代表权重 的参数数量.
需要注意的是, 当 即分组只有一组的时候, Group Lasso 等价于 Ridge, 当 即分组数量等于 的参数个数的时候, Group Lasso 等价于 Lasso.
Group Lasso 的稀疏性解释
因为在 平面或者 平面上, 其最优解区域任然是尖锐的, 因此同样容易产生稀疏的结果. 在相同的正则化强度 下, Group Lasso 的稀疏强度小于 Lasso, 大于 Ridge.