数据分析任务五——作者信息关联

2024-04-04 10:03:47

作者信息关联

采用知识点：图论
所用python库：NetworkX
Networkx的一些操作

任务说明

• 学习主题：作者关联（数据建模任务），对论文作者关系进行建模，统计最常出现的作者关系；
• 学习内容：构建作者关系图，挖掘作者关系
• 学习成果：论文作者知识图谱、图关系挖掘

数据处理步骤

将作者列表进行处理，并完成统计。具体步骤如下：
• 将论文第一作者与其他作者（论文非第一作者）构建图；
• 使用图算法统计图中作者与其他作者的联系；

社交网络分析

图是复杂网络研究中的一个重要概念。Graph是用点和线来刻画离散事物集合中的每对事物间以某种方式相联系的数学模型。Graph在现实世界中随处可见，如交通运输图、旅游图、流程图等。利用图可以描述现实生活中的许多事物，如用点可以表示交叉口，点之间的连线表示路径，这样就可以轻而易举的描绘出一个交通运输网络。

图类型

• 无向图，忽略了两节点间边的方向。
• 指有向图，考虑了边的有向性。

图统计指标

• 度：是指和该节点相关联的边的条数，又称关联度。对于有向图，节点的入度是指进入该节点的边的条数；节点的出度是指从该节点出发的边的条数；

• 迪杰斯特拉路径：.从一个源点到其它各点的最短路径，可使用迪杰斯特拉算法来求最短路径；

• 连通图：在一个无向图 G 中，若从顶点i到顶点j有路径相连，则称i和j是连通的。如果 G 是有向图，那么连接i和j的路径中所有的边都必须同向。如果图中任意两点都是连通的，那么图被称作连通图。如果此图是有向图，则称为强连通图。

对于其他图算法，可以在networkx和igraph两个库中找到。

代码介绍

导入所用包

# 导入所需的package
import json #读取数据，我们的数据为json格式的
import pandas as pd #数据处理，数据分析
import matplotlib.pyplot as plt #画图工具

#python复杂网络分析库NetworkX
import networkx as nx

导入数据

data = []
with open("E:/datawhale数据分析/arxiv-metadata-oai-2019.json",'r') as f:
    for idx, line in enumerate(f): 
        d = json.loads(line)
        d = {'authors_parsed': d['authors_parsed']}
        data.append(d)

data = pd.DataFrame(data)#将list变为dataframe格式，方便用pandas进行分析
data.shape

简单观察一下图的结构

# 创建无向图
G = nx.Graph()

# 只用五篇论文进行构建
for row in data.iloc[:5].itertuples():
    #itertuple遍历为元组
    #https://www.cnblogs.com/keye/p/9673393.html
    authors = row[1]
    authors = [' '.join(x[:-1]) for x in authors]
    
    # 第一个作者 与 其他作者链接
    for author in authors[1:]:
        G.add_edge(authors[0],author) #　添加节点２，３并链接２３节点
        
 #绘制作者关系图：
nx.draw(G, with_labels=True)

iterrows(): 将DataFrame迭代为(insex, Series)对。
itertuples(): 将DataFrame迭代为元祖。
iteritems(): 将DataFrame迭代为(列名, Series)对
.itertuples()函数介绍

得到作者之间的最短路径

try:
    print(nx.dijkstra_path(G, 'Balázs C.', 'Ziambaras Eleni'))
except:
    print('No path')

nx.dijkstra_path(G, source, target, weight=‘weight’)会返回一个从源节点到目标节点之间最短路径的节点序列列表

用500篇论文构建图，可以得到更加完整的作者关系，并选择最大联通子图进行绘制，折线图为子图节点度值。

# 创建无向图
G = nx.Graph()

# 只用五篇论文进行构建
for row in data.iloc[:500].itertuples():
    #itertuple遍历为元组
    #https://www.cnblogs.com/keye/p/9673393.html
    authors = row[1]
    authors = [' '.join(x[:-1]) for x in authors]
    
    # 第一个作者 与 其他作者链接
    for author in authors[1:]:
        G.add_edge(authors[0],author) #　添加节点２，３并链接２３节点

# 计算论文关系中有多少个联通子图
print(len(nx.communicability(G)))
degree_sequence = sorted([d for n,d in G.degree()],reverse=True)
#G.degree返回的是一个以节点为键的字典
plt.loglog(degree_sequence, "b-", marker="o")
# loglog 函数画出logy和logx的曲线，对数坐标可以清楚地看到较小值时的变化。
plt.title("Degree rank plot")
plt.ylabel("degree")
plt.xlabel("rank")

# draw graph in inset
plt.axes([0.45, 0.45, 0.45, 0.45])
#创建一个子画布，前两个值为新画布原点的位置，后两个参数为新画布各轴的长度
Gcc = G.subgraph(sorted(nx.connected_components(G), key=len, reverse=True)[0])
# nx.connected_components(G)返回列表形式的G的全连通分量，也就是联通子图
# sorted再根据长度len对所有联通子图的列表进行排序，再取出最长的列表
# Graph.subgraph(nodes)根据所给节点，返回原图上的子图
pos = nx.spring_layout(Gcc)
 # 用Fruchterman-Reingold算法排列节点（样子类似多中心放射状）
plt.axis("off")#只显示图不显示画布
nx.draw_networkx_nodes(Gcc, pos, node_size=20)
nx.draw_networkx_edges(Gcc, pos, alpha=0.4)
plt.show()

码农公寓