1.作用:做数据平滑(smoothing),换句话说,进行数据拟合,预测数据发展趋势。
2. 与regression analysis(回归分析)的区别:回归分析方法的模型建立,比如:linear model(线性模型),其表达式唯一(没有分段之说);而对于regression splines来说,对一组数据来说,其构建的模型表达式,直白的说是分段函数,或者在模型表达式中加入hinge function产生kink/knot(节点,转折点,或者分段点)更好的表示数据延伸趋势。Regression splines的模型最小二乘误差比linear model的要小,也即是说明了:该模型的鲁棒性。
3. Regression splines 模型

这个函数是基础函数B(x)加权之后的和。Ci是系数,也可以称为是单个基础函数Bi(x)的权重,其实就是我们初中学的:直线的斜率。组合之后,构成非线性方程,在09年的一篇TPAMI论文中,用到这种splines模型于Sobolev space。相比于线性模型,该非线性模型更能适应scattered data points(散点数据),这个思想用在图像上,非常棒,这篇论文用该模型将标签近邻数据像素映射成它们的类别标签,对分类而言,目标的标签,不宜获取,这种半监督方式预测全部标签的方法,很厉害。
基础函数Bi(x)有如下3种形式:
一、常数1.此时,基础函数只代表表达式中的一项,表示截断函数(直观上我的理解,就是跳跃函数,其系数越大,跳跃的越高(输出))。
二、hinge function.表达式:F(x)=max(0,x-c)or max(0, c-x)。
其中:c是常数,称为knot,即是拟合曲线(折线)转折点。该函数是regression splines模型的重要组成部分。
三、一些hinge function的乘积。表示多个变量的截断。

看完这个知识点之后,个人的认识是,regression splines的闪光点是:加入截断项,就是那个hinge function中的knot(输出值的平均值,作为knot点)。一般的回归模型,没有截断项。

Share:

Leave a Reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.