Regression splines

看到此文,是否觉得体内洪荒之力爆发,饥渴难耐想吐槽、情不自禁想捐赠
本文为原创文章,尊重辛勤劳动,可以免费摘要、推荐或聚合,亦可完整转载,但完整转载需要标明原出处,违者必究。

支付宝微  信

1.作用:做数据平滑(smoothing),换句话说,进行数据拟合,预测数据发展趋势。
2. 与regression analysis(回归分析)的区别:回归分析方法的模型建立,比如:linear model(线性模型),其表达式唯一(没有分段之说);而对于regression splines来说,对一组数据来说,其构建的模型表达式,直白的说是分段函数,或者在模型表达式中加入hinge function产生kink/knot(节点,转折点,或者分段点)更好的表示数据延伸趋势。Regression splines的模型最小二乘误差比linear model的要小,也即是说明了:该模型的鲁棒性。
3. Regression splines 模型

这个函数是基础函数B(x)加权之后的和。Ci是系数,也可以称为是单个基础函数Bi(x)的权重,其实就是我们初中学的:直线的斜率。组合之后,构成非线性方程,在09年的一篇TPAMI论文中,用到这种splines模型于Sobolev space。相比于线性模型,该非线性模型更能适应scattered data points(散点数据),这个思想用在图像上,非常棒,这篇论文用该模型将标签近邻数据像素映射成它们的类别标签,对分类而言,目标的标签,不宜获取,这种半监督方式预测全部标签的方法,很厉害。
基础函数Bi(x)有如下3种形式:
一、常数1.此时,基础函数只代表表达式中的一项,表示截断函数(直观上我的理解,就是跳跃函数,其系数越大,跳跃的越高(输出))。
二、hinge function.表达式:F(x)=max(0,x-c)or max(0, c-x)。
其中:c是常数,称为knot,即是拟合曲线(折线)转折点。该函数是regression splines模型的重要组成部分。
三、一些hinge function的乘积。表示多个变量的截断。

看完这个知识点之后,个人的认识是,regression splines的闪光点是:加入截断项,就是那个hinge function中的knot(输出值的平均值,作为knot点)。一般的回归模型,没有截断项。


这是一篇原创文章,如果您觉得有价值,可以通过捐赠来支持我的创作~
捐赠者会展示在博客的某个页面,钱将会用在有价值的地方,思考中...


分类: 机器学习 | 标签: , , | 评论 | Permalink

发表评论

电子邮件地址不会被公开。