数据集分为raw和tokenized版本，应该使用raw版本用Bert自带的encode方法进行分词（因为Bert有自己的词表并且使用bpe的方法避免oov）
分词前的raw data长这样：
用tokenizer encode之后再convert_ids_to_tokens打出来看看长这样：
encode时把return_attention_mask设为True，打出来看attention_masks，是把padding的部分都置为0，其余句子部分置1。
相关文章
- 01-07【论文笔记】一种有效***BERT等模型的方法
- 01-07使用keras_bert调用bert的简单方法
- 01-07Python字符串的encode与decode研究心得乱码问题解决方法
- 01-07Huggingface中的BERT模型的使用方法
- 01-07huggingface Bert的encode方法
- 01-07从微信自定义菜单说php json_encode不转义中文汉字的方法
- 01-07python 应用 base64、hmac、hashlib包实现：MD5编码 base64编码解码、SHA256编码、urlsafe_b64encode编码等等基本所有的加密签名的方法
- 01-07PHP中让json_encode不自动转义斜杠“/”的方法
- 01-07HP数组转JSON函数json_encode和JSON转数组json_decode函数的使用方法
- 01-07python的str，unicode对象的encode和decode方法（转）