java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

(题外话,终于可以用markdown建目录)

一、团队课程设计博客链接

博客作业教学数据分析系统(From:网络五条狗)

二、个人负责模块或任务说明

网络爬虫技术,爬所有学生博客作业的分数链接,并用数据库表示

三、自己的代码提交记录截图

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

四、自己负责模块或任务详细说明

爬去每个人每次作业队的连接,成绩,提交时间以及将他们写入数据库。首先是数据的爬去,本来我的预想应该是访问成绩界面用正则匹配

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

但是当我去访问的时候却找不到源代码来匹配,这时候我想到可能是利用AJAX来传递数据,于是抓了个包,发现

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

这里面id和链接的地址一样

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

所以就动态传进id。拿获取id 的方式就是通过

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

这样通过正则来实现匹配每次作业的链接就可以了。

开始写代码

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

这里的任务是抓出每次作业的链接集合

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

根据每次作业的链接匹配出每个人的成绩,提交时间等

然后建库

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

然后代码实现,这里使用DAO模式

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

测试与改进

数据库的链接信息采用配置文件

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

采用多线程增加速度

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

测试结果

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

java课程设计——博客作业教学数据分析系统(201521123083 戴志斌)

五、课程设计感想

  1. 时间仓促,这周三个考试加课设,可能做得不是很理想,很多需求没时间实现。(强烈建议安排在20周那种考完试的,一身轻松来写代码)这是一个可以长期做下去的项目,后期可以继续改进
  2. 第一次尝试这么多人共同实现一个项目,各个分工,感觉到自己的JAVA知识还很浅,甚至还没入门,以后要学习的东西有很多
上一篇:问题:oracle 12c rac数据库服务器的home目录丢失问题解决2018-06-25 18:30


下一篇:Oracle 12c RAC 日志体系结构的变化