一、引子:
前段时间有幸听到了张溪梦老师的公开演讲,他归纳了一名数据科学家应该具备的能力:创新能力、勇气、科学、技术、商业、人文、艺术。从经常听到的数据科学家的三种基本能力即分析能力、专业能力、IT能力外延到了人文、艺术,呵呵,大家顿时产生了一种高尚大的自豪感。
回来后团队的美女分析师就找到了我,对话如下:“leader,我有些想法!”“汗,难不成要跳槽…”我内心有些不安,“说吧~”我故作镇定。“我觉得可以把报告中的这个图(见图一)美化下”她指了指电脑上的报告。“去吧,去吧,我支持你,弄好了咱们再讨论”我心安了……
图一 两种应用使用人数的示意图
两天后,她自信满满的回来找我了,带来了下面这张图:
图二 改进后的两种应用使用人数的示意图
“我觉得可以尝试使用社交关系图来表示应用人数和之间的交叠关系,这样更加美观,特别是当应用较多的时候。”她一语中的道。“嗯嗯”,我一边应付她,一边在脑子里飞快的回忆社交关系图的特点,“在反映大量人群或事物之间的关系时,社交网络图可以清晰的展示’群体’的内含和外延。例如,群体的规模、核心、与其他群体的交叠情况。“我同意了她的想法,开始试验!
二、数据的准备:
1、首先,编造一份原始数据,文件名是app_sub.txt,数据格式如下:
编号,应用名称
11111,滴滴打车
99999,美图秀秀
99999,微信
99999,优酷
22222,淘宝
22222,滴滴打车
22222,大众点评
……
代表有2980名用户使用APP的情况,各位在自行练习时可以采用随机函数来生成号码清单。
运行环境说明:R 3.1.1
2.利用R读入数据。
read.table("app_sub.txt",essay-header= FALSE,sep = ",",colClasses =c("character","character"))->g
3.去除NA值
g1<-na.omit(g)
三、开始绘制简单的社交关系图:
1.简单的社交网络
library(igraph) #加载igraph包
x<-par(bg="black") #设置背景颜色为黑色
g2 = graph.data.frame(d = g1,directed = F); #数据格式转换
V(g2) #查看顶点
E(g2) #查看边
2.不对顶点和边的格式做调整,使用layout.fruchterman.reingold方式呈现图形。
plot(g2,layout=layout.fruchterman.reingold,vertex.label=NA) #显示网络图
图二 初步的网络图
上面的社交网络图中大部分顶点重叠在一起,根本不能看出社交网络中顶点之间的连接关系。下面需要对顶点和边的格式做调整。
3.对顶点和边的格式做调整
设置vertex.size来调整顶点大小, 设置vertex.color来改变显示颜色。
plot(g2,layout=layout.fruchterman.reingold,vertex.size=2, vertex.color="red",edge.arrow.size=0.05,vertex.label=NA) #设置vertex大小和颜色后显示网络图
图二 改进后的网络图
上图中顶点明显归属于某个或某几个社区。但所有的点都是同一个颜色,不能直观呈现出社区的概念。
四、划分网络图中的社区:
1.利用igraph自带的社区发现函数实现社区划分Igraph包中社区分类函数有以下几种:
fastgreedy.community |
spinglass.community |
edge.betweenness.community |
leading.eigenvector.community |
walktrap.community |
label.propagation.community |
clique.community |
multilevel.community |
不同的分类算法,速度和适用社区网络大小都有所侧重。对于同一网络,采用什么样的分类算法需要实践后去人工判断是否符合预期。
下面利用只有两个社区网络的数据来验证walktrap.community和edge.betweenness.community分类结果的不同之处。
下图是walktrap算法,step=10的情况下得出的结果。原本的2个社区网络被分为66类。把两个大社区分成了一类,把两大社区重叠的部分分成了很多类。显然这不是我们所希望看到的分类结果。可见walktrap算法不太适合网络数量较小的情况。
图三 walktrap算法的呈现
下图是edge.betweenness算法的出的结果。社区网络被分成两类
图四 edge.betweenness算法算法的呈现
2.美化图形(以顶点分类)
利用walktrap.community进行社区划分,对不同的社区赋值不同的颜色。为了呈现更多的点和线的关系,我们采用了透明化的处理方式。
com = walktrap.community(g2, steps = 10)V(g2)$sg=com$membershipV(g2)$color = rainbow(max(V(g2)$sg),alpha=0.8)[V(g2)$sg]plot(g2,layout=layout.fruchterman.reingold, vertex.size=1,vertex.color=V(g2)$color, edge.width=0.4,edge.arrow.size=0.08,edge.color = rgb(1,1,1,0.4),vertex.frame.color=NA,margin= rep(0, 4),vertex.label=NA)
图五 透明化处理后的网络图
五、完成最终的效果图:
1.美化图形(以边线分类)
另一种呈现方式,是点的颜色不变,将不同社区的连线颜色分类。
E(g1)$color=V(g1)[name=ends(g1,E(g1))[,2]]$color #为edge的颜色赋值V(g1)[grep("1", V(g1)$name)]$color=rgb(1,1,1,0.8) #为vertex的颜色赋值plot(g1,layout=layout.fruchterman.reingold, vertex.size=V(g1)$size, vertex.color= V(g1)$color, edge.width=0.3,edge.color = E(g1)$color,vertex.frame.color=NA,margin= rep(0, 4),vertex.label=NA)
图六 最终效果图
通过上图可以看出本次实验数据中用户体量最大的APP分别是:微信、微博、淘宝、京东。社区交汇的点表示每两个APP之间的共有用户。例如,微信和微博的共有用户位于上图右上角橘黄色线条和黄色线条的交汇处。
社交网络图是近年来展示复杂网络的一种直观的方式。利用社区发现算法对复杂网络进行聚类,可以挖掘出复杂网络包含的深层意义。例如,发现公司组织架构的相关性,利用群体相似性进行“猜你喜欢”的推荐活动。
好了,我和美女分析师的故事讲完了,各位慢慢消化上面的内容,有问题欢迎随时提问,我去补中国美术史和基础绘画技巧。
原文发布时间为:2015-10-07
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号