用keras实现基本的文本分类任务

数据集介绍

包含来自互联网电影数据库的50000条影评文本,对半拆分为训练集和测试集。训练集和测试集之间达成了平衡,意味着它们包含相同数量的正面和负面影评,每个样本都是一个整数数组,表示影评中的字词。每个标签都是整数值 0 或 1,其中 0 表示负面影评,1 表示正面影评。

注意事项

  1. 如果下载imdb数据集失败,可以在我的Github上下载:https://github.com/MartinLwx/ML-DL
  2. 影评文本已转换为整数,其中每个整数都表示字典中的一个特定字词
  3. 由于影评的长度必须相同,我们将使用pad_sequences函数将长度标准化
  4. 创建验证集

代码

import tensorflow as tf
import keras
import numpy as np imdb = keras.datasets.imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) #填充数据
train_data = keras.preprocessing.sequence.pad_sequences(train_data,
value=0,
padding='post',
maxlen=256) test_data = keras.preprocessing.sequence.pad_sequences(test_data,
value=0,
padding='post',
maxlen=256) #构建模型
vocab_size = 10000 model = keras.Sequential()
model.add(keras.layers.Embedding(vocab_size, 16))
model.add(keras.layers.GlobalAveragePooling1D()) #对序列维度求平均值
model.add(keras.layers.Dense(16, activation=tf.nn.relu))
model.add(keras.layers.Dense(1, activation=tf.nn.sigmoid))
model.summary() model.compile(optimizer=tf.train.AdamOptimizer(),
loss='binary_crossentropy',
metrics=['accuracy']) #创建验证集
x_val = train_data[:10000]
partial_x_train = train_data[10000:] y_val = train_labels[:10000]
partial_y_train = train_labels[10000:] history = model.fit(partial_x_train,
partial_y_train,
epochs=40,
batch_size=512,
validation_data=(x_val, y_val),
verbose=1) #训练集和测试集正确率分别是:97.87%,88.14% result = model.evaluate(test_data,test_labels) #返回损失和准确率,我运行的结果是[0.34126000656127931, 0.86899999999999999]

参考

https://www.tensorflow.org/tutorials/keras/basic_text_classification?hl=zh-cn

上一篇:[原创] zabbix学习之旅一:源码安装


下一篇:第二个Sprint冲刺总结