上文我们介绍了机器学习框架的三个步骤和一些基本概念,现在让我们看一下整个模型训练的过程。

1.设定范围(设定候选函数/模型)

上文我们讲到线性模型(Linear Models),这是机器学习中最简单的模型,但它也有很多缺点,比如只能进行线性拟合(蓝线),不管怎么调整$w$和$b$都不可能产生折线或曲线(红线),这对于我们找到最佳的**$w$和$b$是非常不利的,这种来自于模型的限制称为Model Bias。**

Untitled

也就是说线性模型的精密度不够高,我们需要寻找更有弹性的模型。

那么我们要怎么获得红色这条折线呢?一个方法是用常数+蓝色的折线来合成红线(这一段墙裂建议看视频,文字表达太抽象了)

Untitled

所有的折线都可以用这种方法合成,称为Piecewise Linear Curves——分段线性曲线,如果这种折线的转折点越多,就需要越多的蓝色折线。

那如果我们需要的是一条曲线呢?

Untitled

如图,我们仍可用常数+分段线性曲线的组合来代替真正的曲线,这就是高数中的微分思想,只要取的分段线性曲线越多,那么我们就能越接近真正的曲线。

那么接下来的问题就是,我们要如何用函数表示这个蓝色的线段呢?

Untitled

这条我们已经见到了很多次的蓝色的折线我们称它为Hard Sigmoid,它是由下面的蓝色曲线逼近而来,而这条蓝色的曲线就是我们常常见到的Sigmoid函数

$$ y=c \frac{1}{1+e^{-(b+wx_1)}}\\=c sigmoid(b+wx_1) $$

可以看出当$x_1 \to +\infty$ ,函数值无限趋近于1,反之无限趋近于0。

Sigmoid函数的形状是通过调整$b,w$和$c$来改变的。

Untitled