Scipy.optimize.l_bfgs_b:为什么多次计算相同的函数值?

我目前正在尝试使用scipy.optimize查找试图拟合某些数据的模拟的参数.创建了一个函数,该函数在数据上提供了我模型的卡方值,因此scipy.optimize将不得不最小化该函数.

我进行模拟的主要问题之一,因此被调用的函数非常耗时,而且我发现方法L-BFGS_B(或者仅仅是BFGS)在同一点上计算函数值的几倍! !!我不明白为什么这样做会杀了我.

一个具有非常简单功能的示例:

from scipy.optimize import minimize

def f3(x):
    print x
    return x[0]*x[0] + x[1]*x[1] + x[2]*x[2]

x0 = [3, -5, 7]

minimize(f3, x0, method = 'L-BFGS-B')

将返回 :

[ 3. -5.  7.]
[ 3. -5.  7.]
[ 3.00000001 -5.          7.        ]
[ 3.         -4.99999999  7.        ]
[ 3.         -5.          7.00000001]
[ 2.67070726 -4.45117871  6.23165016]
[ 2.67070726 -4.45117871  6.23165016]
[ 2.67070727 -4.45117871  6.23165016]
[ 2.67070726 -4.4511787   6.23165016]
[ 2.67070726 -4.45117871  6.23165017]
[ -1.72315050e-06   1.66152263e-06  -1.59989476e-06]
[ -1.72315050e-06   1.66152263e-06  -1.59989476e-06]
[ -1.71315050e-06   1.66152263e-06  -1.59989476e-06]
[ -1.72315050e-06   1.67152263e-06  -1.59989476e-06]
[ -1.72315050e-06   1.66152263e-06  -1.58989476e-06]
  status: 0
 success: True
    nfev: 15
     fun: 8.2895683293030033e-12
       x: array([ -1.72315050e-06,   1.66152263e-06,  -1.59989476e-06])
 message: 'CONVERGENCE: NORM_OF_PROJECTED_GRADIENT_<=_PGTOL'
     jac: array([ -3.43630101e-06,   3.33304526e-06,  -3.18978951e-06])
     nit: 2

从函数调用的打印列表中可以看到,在相同的x处多次最小化调用f3.

这令人沮丧,因为我感觉这在这里浪费了很多时间.

如果有人能在这里启发我,我会很高兴.谢谢.

解决方法:

这样做是因为它不像您希望的那样谨慎.此缺陷已添加到scipy错误跟踪器here中.正如我在那发布的那样,您可以通过自己缓存先前的值来解决此问题.另外,您可以在最小调用中使用jac = True并编写函数以同时返回该点和该梯度处的值.第一种方法的示例是:

import numpy as np
from scipy import optimize

class CacheLast(object):
    def __init__(self, f):
        self.f = f
        self.last_x = None
        self.last_f = None
        self.ncall = 0

    def __call__(self, x):
        if np.all(x == self.last_x):
            return self.last_f
        else:
            self.last_x = x
            self.last_f = self.f(x)
            self.ncall += 1
            return self.last_f

def f3(x):
    return x[0]*x[0] + x[1]*x[1] + x[2]*x[2]

x0 = [3, -5, 7] 

func = CacheLast(f3)
res = optimize.minimize(func, x0, method='L-BFGS-B')

print 'total function calls: ', res.nfev
print 'actual function evals: ', func.ncall

这使:

total function calls:  15
actual function evals:  12
上一篇:【Python】Python的数据分析——前言


下一篇:wordcloud库的使用