爬取51job信管专业相关岗位的情况进行可视化分析。
采用工具：python、tableau（可视化）、DBeaver（数据库管理软件）
文章目录
一．数据爬取
数据爬取过程
考虑到requests库进行数据的请求容易被平台反扒发现，从而*ip导致数据不能正常爬取。因此采用selenium模拟浏览器，进行数据的采集。总共需要采集的岗位有30终类型，先通过selenium采集每种类型岗位需要采集的总页数。然后利用每种岗位的总页数信息，进行岗位数据的采集。通过模拟浏览器访问51job网页，获取页面的HTML文本，然后采用BeautifulSoup库进行需要采集数据点的的数据的获取，最终将获取到的数据写入数据库中进行存储。
1.1导入相关的库
import requests
from bs4 import BeautifulSoup
import pymysql
import random
from selenium import webdriver
from selenium.webdriver import ChromeOptions
import re
import time
import requests
1.2对每个岗位搜索的到的总页数进行爬取
if __name__ == '__main__': #主函数
job=["产品经理","产品助理","交互设计","前端开发","软件设计","IOS开发","业务分析","安卓开发","PHP开发","业务咨询","需求分析","流程设计"
,"售后经理","售前经理","技术支持","ERP实施","实施工程师","IT项目经理","IT项目助理","信息咨询","数据挖掘","数据运营","数据分析","网络营销",
"物流与供应链","渠道管理","电商运营","客户关系管理","新媒体运营","产品运营"]
#总共30个职位的列表
#https://www.pexels.com/
option = ChromeOptions()
UA="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31"
option.add_argument(f'user-agent={UA}')
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
web = webdriver.Chrome(chrome_options=option) # chrome_options=chrome_opt,,options=option
web.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
web.implicitly_wait(3)
url='https://search.51job.com/list/000000,000000,0000,00,9,99,%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86,2,2.html?'
web.get(url)
time.sleep(6)
page_list=[]
for j in job:
for i in range(1, 1 + 1):
#url = "https://search.51job.com/list/000000,000000,0000,00,9,99," + j + ",2," + str(i) + ".html?"
url="https://search.51job.com/list/000000,000000,0000,00,9,99,{},2,{}.html?".format(j, i)
web.get(url)
html = web.page_source
soup = BeautifulSoup(html, "lxml")
text = soup.find_all("script", type="text/javascript")[3].string
# 观察原始代码发现我们需要的数据在 engine_jds 后
page_te=eval(str(text).split("=", 1)[1])["total_page"]
page_list.append(page_te)
print(page_te)
#得到的page_te列表将用于之后的数据爬取时对应每个职位的爬取页数。
1.3进行爬取数据相关函数的设计
#定义 spider()函数，用于获取每个 url 的 html
def spider(url):
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31"}
try:
rep = requests.get(url, headers=headers)
rep.raise_for_status()
rep.encoding = rep.apparent_encoding
txt = rep.text
return txt
except:
print("解析失败")
#定义 jiexi()函数，用于解析得到的 html
def jiexi(html, info,name):
soup = BeautifulSoup(html, "lxml")
text = soup.find_all("script", type="text/javascript")[3].string
#观察原始代码发现我们需要的数据在 engine_jds 后
data = eval(str(text).split("=", 1)[1])["engine_jds"]
for d in data:
try:
job_name = d["job_name"].replace("\\", "") # 岗位名称
except:
job_name = " "
try:
company_name = d["company_name"].replace("\\", "") # 公司名称
except:
company_name = " "
try:
providesalary_text = d["providesalary_text"].replace("\\", "") # 薪资
except:
providesalary_text = " "
try:
workarea_text = d["workarea_text"].replace("\\", "") #工作地点
except:
workarea_text = " "
try:
updatedate = d["updatedate"].replace("\\", "") #更新时间
except:
updatedate = " "
try:
jobwelf = d["jobwelf"].replace("\\", "") # 工作待遇
except:
jobwelf = " "
try:
companyind_text = d["companyind_text"].replace("\\", "") # 公司类型
except:
companyind_text = " "
try:
companysize_text = d["companysize_text"].replace("\\", "") # 公司规模
except:
companysize_text = " "
try:
at = d["attribute_text"] # 工作要求
s = ''
for i in range(0, len(at)):
s = s + at[i] + ','
attribute_text = s[:-1]
except:
attribute_text = " "
#将每一条岗位数据爬取下的内容以及传入参数 name 作为一个列表，依此加入到 info 列表中
info.append( [ name,job_name, updatedate, company_name, companyind_text, companysize_text, workarea_text, providesalary_text, attribute_text, jobwelf])
#将数据存到 MySQL 中名为“51job”的数据库中
def save(info):
#将数据保存到数据库表中对应的列
for data in info :
present_job = data[0] # 当前爬取岗位
job_name = data[1] #岗位
updatedate = data[2] #更新时间
company_name = data[3] # 公司名称
companyind_text = data[4] #公司类型
companysize_text = data[5] #公司规模
workarea_text = data[6] #工作地点
providesalary_text = data[7] #薪资
attribute_text = data[8] #工作要求
jobwelf = data[9] #工作待遇
# 创建 sql 语句
sql = "insert into jobs(当前爬取岗位,岗位,更新时间,公司名称,公司类型,公司规模,工作地点,薪资,工作要求,工作待遇) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
# 执行 sql 语句
cursor.execute(sql, [present_job, job_name, updatedate, company_name, companyind_text, companysize_text,
workarea_text, providesalary_text, attribute_text, jobwelf])
db.commit() # 提交数据
1.4进行数据的爬取
if __name__ == '__main__': #主函数
job=["产品经理","产品助理","交互设计","前端开发","软件设计","IOS开发","业务分析","安卓开发","PHP开发","业务咨询","需求分析","流程设计"
,"售后经理","售前经理","技术支持","ERP实施","实施工程师","IT项目经理","IT项目助理","信息咨询","数据挖掘","数据运营","数据分析","网络营销",
"物流与供应链","渠道管理","电商运营","客户关系管理","新媒体运营","产品运营"]
#利用1.2获得的每个岗位对应的总页码数。
page_list=['1141', '62', '169', '619', '356', '61', '229', '64', '56', '356', '1379', '147', '62', '29', '2000', '173', '184', '10', '2', '396', '221', '115', '2000', '381', '5', '295', '1233', '280', '699', '352']
#https://www.pexels.com/
option = ChromeOptions()
UA="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36 Edg/94.0.992.31"
option.add_argument(f'user-agent={UA}')
option.add_experimental_option('useAutomationExtension', False)
option.add_experimental_option('excludeSwitches', ['enable-automation'])
web = webdriver.Chrome(chrome_options=option) # chrome_options=chrome_opt,,options=option
web.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
web.implicitly_wait(10)
url='https://search.51job.com/list/000000,000000,0000,00,9,99,%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86,2,2.html?'
web.get(url)
time.sleep(6)
le=len(job)
#连接数据库
db = pymysql.connect( # 连接数据库host="127.0.0.1", #MySQL 服务器名
user="root", # 用户名
password="12345678", # 密码
database="python上机", # 操作的数据库名称charset="utf8"
)
cursor = db.cursor()
for j in range(23,le):
for i in range(1,int(page_list[j])):#页面
info = []
# url = "https://search.51job.com/list/000000,000000,0000,00,9,99," + j + ",2," + str(i) + ".html?"
url = "https://search.51job.com/list/000000,000000,0000,00,9,99,{},2,{}.html?".format(job[j], i)
web.get(url)
ht = web.page_source
soup = BeautifulSoup(ht, "lxml")
jiexi(ht, info,job[j])
print('岗位{}:{}/{}'.format(j,i,page_list[j]))
time.sleep(2)
save(info)
time.sleep(3)
cursor.close()
# 关闭连接
db.close()
1.5数据库爬取到的数据展示
二.数据清洗
2.1清洗相关函数的设计
#引入 pymysql 包
import pymysql
#连接 MySQL 数据库
db = pymysql.connect(
host="127.0.0.1",
user="root", password="12345678",
database="python上机", charset="utf8"
)
def pipei():
cursor = db.cursor() # 获取操作游标
cursor.execute("select * from jobs") # 从 jobs 表中查询所有内容并保存
results = cursor.fetchall() # 接受全部的返回结果
after_pipei = [] # 建立一个空列表，用来存储匹配后数据
for each_result in results:
if each_result[-1] == '物流与供应链':
if '物流' in each_result[0] or '供应链' in each_result[0]:
after_pipei.append(each_result)
elif each_result[-1] == '新媒体运营' or each_result[-1] == '电商运营':
if '运营' in each_result[0]:
after_pipei.append(each_result)
# 由于在以关键词“电商运营”或“新媒体运营”搜索的岗位信息中包含大量具体电商或新媒体平台名称的岗位名称，如“拼多多运营”“抖音运营”等，因此在这两类岗位名称匹配时我们认为只要岗位名称中包含“运营”就算匹配成功。
elif each_result[-1] == '客户关系管理':
if'客户关系' in each_result[0]:
after_pipei.append(each_result)
elif each_result[-1] == '安卓开发':
if '安卓' in each_result[0] or 'Android' in each_result[0]:
after_pipei.append(each_result)
# 由于在很多公司的招聘岗位中“安卓”会以“Android”英文形式出现，因此，在以“安卓开发”为关键词进行搜索时，我们认为只要包含“安卓”或“Android”开发就算匹配成功。
elif each_result[-1][:-2] in each_result[0] and each_result[-1][-2:]:
after_pipei.append(each_result)
# 剩余岗位需要两个关键词都存在岗位名称中，例如包含“数据”或“分析”在以“数据分析” 为关键词搜索的岗位名称种，我们就认为匹配成功。
cursor.close() # 关闭游标
return after_pipei # 返回匹配后的列
def split_city(data):
after_split_city = [] #建立一个空列表，用来存储匹配后数据
for each_date in data:
each_date_list = list(each_date)
each_date_list[5] = each_date_list[5].split('-')[0] #将数据表中工作地点列以'-'进行切割，选取第一个元素替换
after_split_city.append(each_date_list)
return after_split_city
#返回筛除后的数据
def salary(data):
after_salary=[] #建立一个空列表，用来存储匹配后数据
for each_data in data:
each_data=list(each_data)
if each_data[6] != '' and each_data[6][-1] != '时' and each_data[6][-3] != '下' and each_data[6][-4:-2] != '以下' and each_data[6][-3] != '上':
# 筛除缺失值，以小时计费，给出的薪资表达为在“……以下”及“……以上”等难以计算数据的工作岗位
# 统一量纲（单位:千/月）
if each_data[6][-1] == '年':
each_data[6] = str(round((float(each_data[6].split('万')[0].split('-')[0]) + float(each_data[6].split('万')[0].split('-')[1])) * 5/12,1)) + '千 / 月'
elif each_data[6][-1] == '天':
each_data[6] = str(round((float(each_data[6].split('元')[0]) * 30/1000),1)) +'千 / 月'
elif each_data[6][-3] == '万':
each_data[6] = str(round((float(each_data[6].split('万')[0].split('-')[0]) + float(each_data[6].split('万')[0].split('-')[1])) * 5,1)) + '千/月'
else:
each_data[6] = str(round((float(each_data[6].split('千')[0].split('-')[0]) + float(each_data[6].split('千')[0].split('-')[1]) /2),1 )) + '千 / 月'
after_salary.append(each_data)
return after_salary
# 返回平均工资后的数据
def job_attribute_text(data):
for each_data in data:
if len(each_data[7].split(',')) == 3:
if ' 经验' in each_data[7].split(',')[1] or ' 在校生' in each_data[7].split(',')[1]:
each_data[7] = each_data[7].split(',')[1] + ','
# 以“，”切割后的列表长度为 3，若不包含“经验”元素，则保留“，学历”形式内容
else:
each_data[7] = ',' + each_data[7].split(',')[1]
# 以“，”切割后的列表长度为 4，选取中间两个元素，保留“经验，学历”形式内容
elif len(each_data[7].split(',')) == 4:
each_data[7] = each_data[7].split(',')[1] + ',' + each_data[7].split(',')[2]
else:
each_data[7] = ''
return data
#将清洗后的数据保存到数据库中 after_clean 表中，代码和保存爬取数据时类似
def save(data):
cursor = db.cursor()
for each_data in data:
job_name = each_data[0]
updatedate = each_data[1]
company_name = each_data[2]
companyind_text = each_data[3]
companysize_text = each_data[4]
workarea_text = each_data[5]
providesalary_text = each_data[6]
attribute_text = each_data[7]
jobwelf = each_data[8]
present_job = each_data[9]
sql = "insert into after_clean(当前爬取岗位, 岗位,更新时间,公司名称 ,公司类型,公司规模,工作地点,薪资,工作要求,工作待遇) values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.execute(sql,
[present_job, job_name, updatedate,company_name, companyind_text,
companysize_text, workarea_text,
providesalary_text, attribute_text, jobwelf])
db.commit()
cursor.close()
db.close()
2.2进行数据清洗
if __name__ == "__main__":
data = pipei()
data1 = split_city(data)
data2 = salary(data1)
data3 = job_attribute_text(data2)
#将清洗后的数据存储到数据库的另一个表格中
save(data3)
2.3清洗后数据展示
清洗后的数据：薪资、工作要求、工作地点等进行了统一格式
三.数据可视化
采用工具：tableau+python
3.1 柱状图
绘制界面：
图形：
分析：
对于职位的类型的占比可以看出，产品运营类岗位占据了最大的份额，说明信管专业的学生在这类岗位中需求最多，往后的求职过程中可关注此类岗位的职位。此外，技术管理类、技术开发类、技术支持类岗位的占比也在平均值以上，此类岗位也可以多加关注。
3.2 树状图
绘制界面：
绘制图形：
分析：
从学历要求的树状图可以看出，市场上的大部分与信管相关职位的需求是大专和本科均占据47%左右，对于硕士和博士等更高学历的要求分别占据0.0754066%、1.86667%，说明信管专业相关职业的学历门槛并不会太高。
3.3各岗位类型公司规模数量特征条形图
绘制界面：
绘制图形：
分析：
各岗位类型公司规模数量特征条形图可以看出，对于产品运营类职位，公司的规模规模主要为500人以下的公司。数据运营类、技术管理类、数据管理类公司大厂10000人以上的大厂占比较高，如果你想去大厂，那么可以选择这类职位发展。
3.4 热力图
绘制界面：
绘制图形：
分析：
通过对信管所有相关岗位的热力图分析可知，信管专业的工作地点在：上海、北京、成都、杭州、武汉、南京、深圳、广州、重庆、等地较多，其中在上海、广州、深圳3地的最多。此外，郑州、西安、长沙、合肥等地的职位也相对较多，所以如果想避免竞争的激烈，可以考虑这些地方。
3.5 箱线图
绘图界面：
绘制图形：
分析：
从学历的薪资水平箱线图可以看出：随着学历的上升，薪资的平均水平逐步提升，说明学历对于薪资是具有一定的影响的，学历越高，薪资的平均水平越高。此外，对于大专、本科、硕士类学历的专业，我们可以看到许多在箱线图以外的点，这些点表明这些职位的薪资大大超出平均水平，说明在某些职位，对于学历的要求并不是很重要，重要的是个人的其他方面的能力，比如说专业的机能等方面。为此，无论我们在那个阶段，要多加关注自己的职业技能，只要我们的学历和能力不是虚涨的，有实实在在的能力和产出做支撑，就不会有：大学生毕业了找不到工作这种焦虑。
3.6 职位薪资Sankey图
绘制界面：
绘制图形：
分析：
通过职位薪资的桑基图可以看出：月薪，产品运营类职位的薪资大部分在10-15K，其余集中在5-10k；技术管理类与技术开发类，部分达到15-20k，其余集中在10-15K；技术支持类大约二分之一达到20-25k；对于25k以上的高薪职位主要集中在业务咨询、数据运营、数据管理、技术支持类职业。其中月薪在40k及以上，基本分布在业务咨询、数据运营类职位，所以有超高薪职位目标的同学，可以考虑往这类职业发展。
3.7 岗位工作待遇热词词云图
代码：
#设计词频统计函数
def wordcount(txt):
#转化为列表
# 统计词频的字典
word_freq = dict()
# 装载停用词,此处需将资料中给出的hit_stopwords.txt 文件放到本代码所在路径下
with open(r"D:\Users\yunmeng\PycharmProjects\小项目\大数据和上机二_数据可视化课程\相关文件\stopwords.txt", "r", encoding='utf-8') as f1:
# 读取我们的待处理本文
txt1 = f1.readlines()
stoplist = []
for line in txt1:
stoplist.append(line.strip('\n'))
# 切分、停用词过滤、统计词频
for w in list(jieba.cut(txt)):
if len(w) > 1 and w not in stoplist:
if w not in word_freq:
word_freq[w] = 1
else:
word_freq[w] = word_freq[w] + 1
return word_freq
#连接数据库
db = pymysql.connect(
host="127.0.0.1",
user="root", password="12345678",
database="python上机", charset="utf8"
)
cursor = db.cursor()
cursor.execute("SELECT `工作待遇` FROM `after_clean`")
results = cursor.fetchall()
txt = ''
for each_result in results:
txt = txt + each_result[0]
word_dict=wordcount(txt)
da = pd.DataFrame({'word': word_dict.keys(), 'count': word_dict.values()})
#将词频统计的结果导出
da.to_csv(r'D:\Users\RK\PycharmProjects\小项目\大数据和上机二_数据可视化课程\代码文件\word_count.csv')
#将导出的词频文件导入到tableau进行词云图的绘制
绘制图形：
分析：
通过岗位工作待遇热词词云图可以看到，工作待遇之中，企业最常提到的是：绩效奖金、年终奖、专业培训、餐饮、交通、弹性、体检、通勤、医疗保险、期权等。说明了，我们求职时，考虑岗位时不要只单单看给的薪资是多少，其中涉及的对于绩效奖金、交通、医疗、餐饮、期权等与我们每日生活相关的衣、食、住、行和个人工作，个人晋升等多方面的条件都需要我们进行综合的考虑加以衡量，最终找出适合自己期望的职位。
3.8 不同类型岗位更新数量的折线图
绘制图形：
分析：
从不同类型岗位更新数量的折线图可以看出，各类型职位从10月份开始，均有扩大招聘数量的趋势，并且在11-12月增长速度最快。产品运营、技术管理、技术开发、技术支持等类的职位需求增长相对较多，其中产品运营类增长最多。因此，有求职意向的同学，求职时要多加注意10月开始的这个岗位需求增长的浪潮，最为注意的是11月-12月期间。在此期间准备充分，争取拿到心仪offers。
四.结合自身对信管职位的分析
4.1简介
求职目标：高薪、学历本科、大厂
对数据进行筛选
筛选条件：
①岗位类型：根据3.6 职位薪资Sankey图其中月薪在40k及以上，基本分布在业务咨询、数据运营类职位，所以对这类岗位类型进行筛选
②学历要求：本科、在校生or应届生
③月薪类别：40k+
绘制图形：
4.2分析
在40k以上的职位，根据薪资的方差，如果寻求平稳，那么可以选择数据运营类的职位，包括数据运营、数据分析岗位；如果有追求更高薪资水平的想法，可以尝试数据管理类职位，包括信息咨询与数据挖掘岗位。
此外：对筛选出的数据运营与数据管理类岗位进行导出到：结合自身对信管职位的分析筛选出的目标岗位.csv文件
数据结果如下：
对其中的公司名称进行词云图展现
可以看到：目标职业对应的主要公司是：腾讯和字节跳动。
4.3总结
如果你的求职目标是：高薪、学历本科、大厂。如果寻求平稳，那么可以选择数据运营类的职位，包括数据运营、数据分析岗位；如果有追求更高薪资水平的想法，可以尝试数据管理类职位，包括信息咨询与数据挖掘岗位，求职对应的主要公司是：腾讯和字节跳动。