在网络日益发达的现在,也伴随着有益信息与造成不稳定因素的信息也随之日益泛滥,为了网民的思想健康,也为了社会的和谐,在许多对外公共场合下,有些内容是要经过审查才能显示的。在*初期,都是通过人工审核,这种审核方式虽然准确且智能,但与网络文字产生的速度相比,其效率就显示微不足道了!因此,自动化的系统处理方式的需求越来越强烈……
而NLPIR大数据挖掘平台是一套专门针对原始文本集进行处理和加工的软件,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。用户可以使用该软件对自己的数据进行处理。经过灵玖软件专家的不断努力新增加了敏感词扫描功能。
NLPIR大数据挖掘平台敏感词扫描功能是针对互联网关键词敏感搜索的需求,融合了自然语言理解、网络搜索和文本挖掘的技术,提供了用于技术二次开发的基础工具集。组件以Data文件夹的设置同分词,只需要设置data所在目录即可,采用KS_Scan等技术,通过分别扫描文本内存与文件,可以得出敏感关键词及类别、权重等信息。
NLPIR大数据挖掘平台敏感词扫描功能是灵玖软件多位专家经过不断研发和实验,针对敏感关键词搜索业务需求而打造的一套组件系统,具有专业精准、高扩展性和高通用性的特点。可支持文字、数字、特殊符号、繁体字等各种文本关键词的敏感扫描,支持各类数据库实时搜索服务,并支持多语言。
NLPIR大数据挖掘平台敏感词扫描功能特点:
1、强大的数据资源
组件包含有十大类型各行业的敏感关键词词典。这些词典几乎囊括了所有行业里面的敏感关键词,从而净化互联网文章环境。
2、先进的技术支持
组件采取先进的NLPIR大数据搜索与挖掘系统,可以针对原始文本关键词集进行处理和加工,提供了中间件处理效果的可视化展示,也可以作为小规模数据的处理加工工具。同时,组件可以无缝地融合到客户的各类复杂应用系统之中,可兼容Windows,Linux, Android,Maemo5, FreeBSD等不同操作系统平台,可以供Java,C,C#等各类开发语言使用,分词扫描平均速度单机可达20MB/s。
3、广泛的应用场景
组件可以运用到广泛的场景,如*、广播、电视、报刊杂志以及广泛的网络信息内容安全服务;如新闻网站、信息网站文章过滤筛选服务;如信息传播的实时过滤服务。