5.1 超参数调优

超参数是影响模型性能和训练速度的重要因素，包括学习率、批量大小、隐藏层神经元数量等。通过系统地调整这些超参数，我们可以找到最佳组合以改善模型性能。

5.1.1 学习率调整

学习率控制着模型参数更新的速度，过高的学习率可能导致模型在训练过程中震荡，而过低的学习率则会导致收敛速度缓慢。可以通过尝试不同的学习率来找到最优值。

from tensorflow.keras.optimizers import Adam

# 定义不同的学习率
learning_rates = [1e-3, 1e-4, 1e-5]

for lr in learning_rates:
    model = Sequential([
        Dense(128, activation='relu', input_shape=(784,)),
        Dense(64, activation='relu'),
        Dense(10, activation='softmax')
    ])
    
    # 编译模型，选择优化器和学习率
    optimizer = Adam(learning_rate=lr)
    model.compile(optimizer=optimizer,
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
    
    # 训练模型
    history = model.fit(X_train_flat, y_train, epochs=10, batch_size=128, validation_data=(X_test_flat, y_test), verbose=0)
    
    # 打印最终的验证集准确率
    _, test_acc = model.evaluate(X_test_flat, y_test, verbose=0)
    print(f'学习率 {lr} 下的测试集准确率：{test_acc:.4f}')

5.1.2 批量大小优化

批量大小决定了在每次参数更新时用于计算梯度的样本数。通常情况下，较大的批量大小可以加快训练速度，但可能会影响模型的泛化能力。

# 尝试不同的批量大小
batch_sizes = [32, 64, 128]

for bs in batch_sizes:
    model = Sequential([
        Dense(128, activation='relu', input_shape=(784,)),
        Dense(64, activation='relu'),
        Dense(10, activation='softmax')
    ])
    
    # 编译模型，选择优化器和批量大小
    model.compile(optimizer='adam',
                  loss='sparse_categorical_crossentropy',
                  metrics=['accuracy'])
    
    # 训练模型
    history = model.fit(X_train_flat, y_train, epochs=10, batch_size=bs, validation_data=(X_test_flat, y_test), verbose=0)
    
    # 打印最终的验证集准确率
    _, test_acc = model.evaluate(X_test_flat, y_test, verbose=0)
    print(f'批量大小 {bs} 下的测试集准确率：{test_acc:.4f}')

5.2 模型结构优化

优化模型结构是提升模型性能的关键步骤之一，可以通过增加/减少隐藏层、调整神经元数量等方式来改进模型的表现。

5.2.1 增加隐藏层和神经元数量

在某些情况下，增加隐藏层或增加每层神经元数量可以增加模型的表达能力，从而提升性能。但需要注意避免过拟合问题。

# 增加隐藏层和神经元数量的示例
model = Sequential([
    Dense(256, activation='relu', input_shape=(784,)),
    Dense(128, activation='relu'),
    Dense(64, activation='relu'),
    Dense(10, activation='softmax')
])

5.2.2 正则化技术的应用

正则化技术（如L2正则化、dropout等）可以有效控制模型的复杂度，提升泛化能力，从而减少过拟合现象。

from tensorflow.keras.layers import Dropout
from tensorflow.keras import regularizers

# 添加Dropout层进行正则化
model = Sequential([
    Dense(128, activation='relu', kernel_regularizer=regularizers.l2(0.01), input_shape=(784,)),
    Dropout(0.3),
    Dense(64, activation='relu', kernel_regularizer=regularizers.l2(0.01)),
    Dropout(0.3),
    Dense(10, activation='softmax')
])

5.3 数据增强（Data Augmentation）应用

对于图像数据，数据增强是一种有效的方法，通过对原始图像进行随机变换来生成新的训练样本，以增加数据的多样性和数量，从而提升模型的泛化能力。

5.3.1 图像旋转、平移和缩放

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 创建图像增强生成器
datagen = ImageDataGenerator(rotation_range=10, width_shift_range=0.1, height_shift_range=0.1, zoom_range=0.1)

# 在训练集上应用图像增强
datagen.fit(X_train.reshape(-1, 28, 28, 1))

# 使用增强后的数据训练模型
model.fit(datagen.flow(X_train_flat, y_train, batch_size=32), epochs=10, validation_data=(X_test_flat, y_test))

通过以上方法，我们可以有效地优化和改进基于MNIST数据集的MLP模型的性能，提升其在数字分类任务上的表现。在实际应用中，建议结合交叉验证等技术，综合考虑模型在不同超参数组合下的表现，以获取最佳的性能结果。