机器学习ML的目的是估计一个系统在给定训练样本上的输入和输出的依赖性,这样它就能尽可能准确地预测未知输出。机器学习从来都不是一个好东西。一个明确的定义。作为人工智能,在人工智能领域的一个重要研究领域,ML的研究工作主要集中在学习机制、学习方法和任务导向方面。模式识别、函数逼近和概率密度估计是三种基本的ML问题。

从数学角度考虑,机器学习问题是已知的n个观测值(独立恒等分布的样本,在相同的预测函数中,对依赖项的估计是最优的,将期望风险降到最小[f]。损失函数是预测精度的一个指标,与预测函数f(x)密切相关。f(x)的期望风险取决于概率分布和损失函数。前者是客观的,后者是根据具体的问题选择的,带有(主观的)人为的或偏爱的颜色。预期风险的大小被直观地理解为我们使用f(x)来预测“平均”“损失”或“平均”“错误”的程度。

然而,只有样本无法计算出预期的风险,因此,传统的样本学习方法将经验风险重新定义为预期风险的估计,并最小化设计学习算法。这就是,经验风险最小化。风险最小化,ERM)归纳原理。实证风险是利用损失函数计算的。为对于模式识别问题的损失函数,经验风险是训练样本错误率。对于函数逼近问题,是平方训练误差。以及概率密度估计问题的损失函数。

ERM准则等价于极大似然法。事实上,用ERM标准代替期望风险不是一个充分的理论论证,而是直观的合理。换句话说,最小的经验风险并不一定意味着最小的预期风险。事实上,只有当样本数量趋于无穷大时,经验的风险才会接近预期的风险。但在许多情况下,样本的数量远不是无限的,因此有限样本中的ERM标准并不一定会使实际风险变小。ERM规则不成功的一个例子是神经网络学习问题(在某些情况下,而不是训练误差太小导致推广能力下降,或过少训练误差导致预测误差的增加率,即真正的风险的增加)。

这台机器,SVM通过机器学习和一般方法建立了有限训练样本的良好理论框架,严格的理论基础,可以很好地解决小样本、非线性、高维和局部极小点等问题。

核心思想是,学习机器(也称为预测功能,或学习功能,或学习模式)应该适应有限的训练样本。在学习算法中,你需要选择合适的F,这里的关键因素是F的大小,或者F的丰富度,或者F的“表达能力”,VC维(Vapnik-Chervonenkis)。维度是对这个“表达能力”的描述。



相关文章