数据挖掘的定义还远没有达成一致，甚至没有定义出数据挖掘的构成。

数据挖掘起源于多种学科，其中最重要的是统计学和机器学习。

统计学起源于数学其强调的是数学的精确性；

机器学习主要起源于计算机实践其更倾向于实践，主动检测某个东西，来确定它的表现形式。

统计学方法与机器学习方法之间的主要区别之一是对数学性和形式化的重视程度不同，另外一个区别是模型和算法的相对重要性。

统计学强调的是模型，而机器学习强调的是算法。

数据挖掘中的基本建模法则起源于控制理论，控制理论主要应用于工程系统和工业过程。观察未知系统的输入输出信息，以确定其数学模型的过程通常叫做系统识别

系统识别的目标从数据挖掘的角度来看最重要的是预测系统的行为，解释系统变量之间的相互作用和关系

系统识别通常包括两个自上而下的步骤：

1. 结构识别—— 这一步要要应用目标系统的先验知识，来确定一类模型。再在这类模型中找出最适合的模型

2.参数识别——在第二步中，当模型的结构已知时，只需要应用优化技术来测定参数向量，使得所得模型能恰如其分的描述目标系统。

特别注意：系统识别不是一次性的过程，结构和参数识别都要重复进行，直到找到满意的模型为止。

如果事先对目标系统一无所知，结构识别就会很困难，而必须通过试错法来选择结构。

最后要区分“模型”与“模式"在数据挖掘中的概念

模型是一个大型结构或许总结了许多案例的关系；而模式是一个局部结构，只有少数案例或者很小的数据空间区域具备该结构。