摘要：伴随着社会发展的发展趋势，人们早已进到大数据时期，不但数据类型多种多样，并且数据量巨大，一般的运用数据的方式早已不可以达到时期的要求。怎样在这一大数据时期, 高效率而又方便快捷的获得本身所必须的人性化数据, 就变为一个大伙儿急需解决处理的难题。Python语言表达拥有简单易学的特性, 英语的语法清楚，在数据实际操作层面拥有一定的优点，也因而变成了数据采集和可视化行业的受欢迎语言表达。本毕业论文主要是掌握和科学研究数据的采集和数据可视化的现况，并开展数据采集和数据可视化脚本制作的开发设计[1]。脚本制作的完成，是应用python来做为编程语言，其关键分三个一部分：数据的采集、数据的清洗和数据的可视化。采集数据时关键应用selenium库，采集的知网论文查重数据，并将采集到的原始数据存储到MySQL数据库文件，以后对原始的毕业论文数据开展清洗、过虑、归纳和升级储存，而且应用django库来对清洗后的数据开展解决、统计分析和数据可视化。本脚本制作根据对互联网技术上的有关数据，开展采集、清洗、可视化等实际操作，获得可视化的結果，借此机会来提高数据的展现实际效果，促使客户可以更为清楚和全透明的去观查数据，从而能发觉数据中隐藏的信息,在短期内内了解数据身后的使用价值与规律性，来处理社会意识的一些难题这些[2]。

关键词 Python；数据采集；数据可视化；selenium

Crawler and data analysis based on Python

Absrtact: With the development trend of social development, people have already entered the era of big data. Not only the data types are diverse, but also the amount of data is huge. The general way of using data can not meet the requirements of the era. In this era of big data, how to obtain the necessary humanized data efficiently and conveniently becomes a problem that everyone needs to solve. Python language expression has the characteristics of easy to learn, clear English syntax, and has certain advantages in the practical operation of data, so it has become a popular language expression in the data collection and visualization industry. This thesis is mainly to master and research the current situation of data acquisition and data visualization, and carry out the development and design of data acquisition and data visualization script production [1]. The completion of script making is to use Python as the programming language. The key is divided into three parts: data collection, data cleaning and data visualization. When collecting data, selenium library is used to collect the duplicate checking data of HowNet papers, and the collected original data is stored in MySQL database file. Afterwards, the original graduation thesis data is cleaned, filtered, summarized and upgraded, and Django library is used to solve, analyze and visualize the cleaned data. According to the relevant data of Internet technology, this script is designed to carry out the actual operations of collection, cleaning, visualization, etc., and obtain the visualization results, so as to take this opportunity to improve the actual effect of data display, so that customers can view the data more clearly and transparently, and find the hidden information in the data, In a short period of time to understand the use value and regularity of data, to deal with some problems of social consciousness [2].

Keywords:Python; data collection; data visualization; selenium

1 引言

1.1 系统开发的意义

1989年，前端工程师蒂莫西•罗伯特•伯纳斯-李爵士舞（Sir Timothy John Berners-Lee）创造发明了因特网，直迄今日，早已有三十年的了，这三十年来，互联网的发展尤其的快速，互联网的发展趋势，导致了World Wide Web变成大量数据的媒介，而怎样利用这种数据来改进大家的生活和工作中是一个非常值得科学研究的课题研究[3]。

应届毕业生大学毕业生，遭遇着最应急的事，那便是进行毕业设计论文，可是许多大学毕业生不清楚自身怎样搜集毕业论文并参照应用。本系统软件便是根据Python的一个数据收集和数据数据可视化，以计算机学为例子，应用selenium库收集知网网站的相关电子计算机的毕业论文数据，并储存到mysql数据库文件，以后对数据库文件的有关数据开展数据可视化等实际操作，利用这种数据来掌握计算机学的有关毕业论文信息[4]。

1.2 选题背景

互联网爬虫，是一种依照一定的标准，全自动的爬取因特网信息的程序流程或是脚本制作。此外一些不常应用的姓名也有小蚂蚁，全自动数据库索引，模拟软件或是蜘蛛[5]。

互联网检索作用源于网络媒体可燃性发展趋势所产生的对內容检索的需求。爬虫系统软件持续的发展趋势,大家的需求也在持续的提升 ,互联网信息检索早已变成大家每日都需要开展的內容.如何使爬虫系统软件能時刻达到大家的需求。最开始的检索作用根据数据库索引站的方法完成，而拥有互联网智能机器人。可是，这种实用性爬虫系统软件也存有着一定的局限。不一样行业、不一样情况的客户通常具备不一样的检索目地和需求，通用性爬虫系统软件所回到的結果包