(题外话,终于可以用markdown建目录)
一、团队课程设计博客链接
二、个人负责模块或任务说明
网络爬虫技术,爬所有学生博客作业的分数链接,并用数据库表示
三、自己的代码提交记录截图
四、自己负责模块或任务详细说明
爬去每个人每次作业队的连接,成绩,提交时间以及将他们写入数据库。首先是数据的爬去,本来我的预想应该是访问成绩界面用正则匹配
但是当我去访问的时候却找不到源代码来匹配,这时候我想到可能是利用AJAX来传递数据,于是抓了个包,发现
这里面id和链接的地址一样
所以就动态传进id。拿获取id 的方式就是通过
这样通过正则来实现匹配每次作业的链接就可以了。
开始写代码
这里的任务是抓出每次作业的链接集合
根据每次作业的链接匹配出每个人的成绩,提交时间等
然后建库
然后代码实现,这里使用DAO模式
测试与改进
数据库的链接信息采用配置文件
采用多线程增加速度
测试结果
五、课程设计感想
- 时间仓促,这周三个考试加课设,可能做得不是很理想,很多需求没时间实现。(强烈建议安排在20周那种考完试的,一身轻松来写代码)这是一个可以长期做下去的项目,后期可以继续改进
- 第一次尝试这么多人共同实现一个项目,各个分工,感觉到自己的JAVA知识还很浅,甚至还没入门,以后要学习的东西有很多