在Keras中,Leaky_Relu等高级激活函数需要通过额外增加层来使用,而不能像RELU之类的激活函数可以作为参数初始化全连接层。
具体用法如下:
from keras.layers import LeakyRelu
input = Input(shape=(10,), name=‘state_input’)
x = Dense(128, kernel_initializer=‘uniform’)(input)
x = LeakyReLU(alpha=0.1)(x)
x = Dense(128,kernel_initializer=‘uniform’)(x)
x = LeakyReLU(alpha=0.1)(x)
output = Dense(5,activation=‘softmax’)(x)
model = Model(inputs=input, outputs=output)
model.compile(loss=‘mse’, optimizer=Adam(lr=0.001))