机器学习基石笔记

什么是机器学习(Machine learning)

老师用了一个比较形象的比喻，比如出生的婴儿在学习外部世界时，首先是通过观察，进而这些信息传入大脑进行处理，然后会做出反应，如学会某种技能等等。机器学习也类似，通过接受外部的信息，然后计算机内部做一系列处理，进而掌握某种方法或某一种表现力得到增进。

一般在以下三种情况下使用机器学习

存在一种潜藏的模式
有一种规则但我们不知道如何写下来
存在大量的资料或者是数据

以下是机器学习一些基本概念:

input X: 是资料或者数据的输入

output y: 是输出的结果

f: 是一个目标函数，也就是从x到y的一个桥梁

g: 机器得出来的函数

有了上面的基础，现在可以对机器学习有了进一步定义:机器学习就是从我们的资料或数据出发，经过演算法A处理(其中A要从得到的g的集合H中选出一个最符合需要的g)，进而得到最终的假说或函数g，得到的这个g就很接近我们的目标函数f。

此外机器学习同数据挖掘(date mining)、人工智能(Artificial Intelligence)、统计学(Statistics)都有千丝万缕的关系。

感知机(PLA)

上一节我们说到H是一个可能的集合，现在我们来具体看一下 $H$ 到底是什么样子?
就拿信用卡来说，假如有人申请信用卡，我们就要考虑他本人得诸多因素，如年龄、年薪、工作之类的。
这时我们就有一个 $X=(x_1,x_2,..,..x_d)$ ，如果把一个人的信息看做向量，那么 $x_d$ 表示维度，用来表示年龄，年薪，欠债金额等等的因素。同时我们有一个 $w$ ,它表示权重，就指某个因素的重要程度。此外我们还有一个标准threshold.
就拿信用卡来说，approve credit if, $\sum_{n=1}^dw_ix_i$ >threshold
　　　　 deny credit if, $\sum_{n=1}^dw_ix_i$ <threshold
此时结果 $y$ :{+1(good), -1(bad)},0 is ignored —liner for mula h $\in H$

$h(x)=sign((\sum_{n=1}^dw_ix_i)-threshold)$
由此容易看出，我们只需要判断正负即可确定是否要给予信用卡，而决定其正负的两个重要因素为 $w_i$ , $threshold$ 。
我们进一步来看这个公式， $h(x)=sign((\sum_{n=1}^dw_ix_i)-threshold)$
假如我们有一个 $x_0=+1$ ,对应的有一个 $w_0=-threshold$ ,那么上述公式便可写作:
$h(x)=sign((\sum_{n=1}^dw_ix_i)-w_0x_0) =sign((\sum_{n=0}^dw_ix_i) =sign((\sum_{n=0}^dW^TX)$
(ps:将W进行转置便可转化为一个向量的形式)

进一步来看这个公式，假如我们在一个二维向量里，
$h(x)=sign(w_0+w_1x_1+w_2x_2)$ ，此时h(x)由于代表符号的正负，那它必然有一个临界点0.即括号内部等于0，此时它的图像便是一条直线，如图所示。

这张图的意思就是，我们顾客的每一个向量可以表示成一个点，其中为两种类型的点贴上标签+1，-1。我们就用h这条直线来进行分类，由于取值的不同便会有很多的分类结果(对应很多不同的直线)。从几何角度来看，又可以将感知机称作线性分类器。