下面一组数据在工作中很常见,数据清洗的 功能之一 就是将 复杂的长字符串 进行分离,提取有效信息。
一、从title 中提取出 产品 主类别和次类别
处理思路:
1.将title列,通过分词工具(jieba)将长字符串进行分离。jieba是普遍分词,对于专业领域,我们还有别的特殊分词工具
2.jieba.cut(str) 之后 用list()将结果包裹一下
3.百度一下 化妆品的常见分类,将其整理成{'品名':[一级分类,二级分类]}的字典格式备用
4. 遍历表格subtitle的每一行,遍历subtitle中的每一个元素,如果元素是字典的key, 标记此行一级分类,二级分类到列表,如果元素不是字典的KEY,标记此行一级分类,二级分类为其它到列表。
5. 将一级分类,二级分类列表作为表格的列 添加进表格。完成对长字符串 产品品类的提取
二、从title中提取 产品试用性别(是否男性专用)