损失函数与风险函数

监督学习问题是在假设空间F中选取模型f作为决策函数,对于给定的输入X，由f(X)给出相应的输出Y，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数（loss function）或代价函数(cost function）来度量预测错误的程度．损失函数是f(X)和Y的非负实值函数，记作L(Y,f(X)).

损失函数值越小，模型就越好．由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望是

这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失,称为风险函数(risk function）或期望损失( expected loss).