结对第2次作业——WordCount进阶需求

2022-10-19 14:42:44

作业题目链接

队友链接

Fork的同名仓库的Github项目地址

具体分工

玮哥负责命令参数判断、单词权重统计，我只负责词组词频统计（emmmm）。

PSP表格

预估耗时（分钟） 实际耗时（分钟）
Planning 计划
Estimate 估计这个任务需要多少时间 880 1170
Development 开发
Analysis 需求分析 (包括学习新技术) 100 120
Design Spec 生成设计文档 20 10
Design Review 设计复审 10 10
Coding Standard 代码规范 20 60
Design 具体设计 60 100
Coding 具体编码 400 510
Code Review 代码复审 400 510
Test 测试（自我测试，修改代码，提交修改） 100 180
Reporting 报告
Test Repor 测试报告 30 30
Size Measurement 计算工作量 20 15
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 60 45
合计 880 1170

解题思路描述与设计实现说明

爬虫使用

队友用Python编辑的爬虫代码。

import requests

from urllib.request import urlopen

from bs4 import BeautifulSoup

txt = open(r'C:\Users\Administrator\Desktop\result.txt','w',encoding='utf-8')

#打开文件

i = 0

def getPaper(newsUrl):   #获取相关信息的函数

  res = requests.get(newsUrl)  #打开链接

  res.encoding = 'utf-8'

  soup = BeautifulSoup(res.text,'html.parser')   #把网页内容存进容器

  Title = soup.select('#papertitle')[0].text.strip()  #找到标题元素爬取

  print("Title:",Title,file=txt)

  Abstract = soup.select('#abstract')[0].text.strip() #找到摘要元素爬取

  print("Abstract:",Abstract,"\n\n",file=txt)

  return 

sUrl = 'http://openaccess.thecvf.com/CVPR2018.py'

res1 = requests.get(sUrl)

res1.encoding = 'utf-8'

soup1 = BeautifulSoup(res1.text,'html.parser')

for titles in soup1.select('.ptitle'):    #返回每个超链接

    t = 'http://openaccess.thecvf.com/'+ titles.select('a')[0]['href']

    print(i,file=txt)

    getPaper(t)     #循环打开每个子页面并进行爬取

    i=i+1

代码组织与内部实现设计（类图）

  • 代码包含一个主要的类testfile以及实现功能的函数，类图如下所示。
  • Abstract和Title是分别存放摘要和标题内容的字符串。
  • outputByLine函数是在判断词组词频时能够按行返回文本内容并且剔除“Title: "和"Abstract: "。
  • phrasecounts分割词组并且计算词组数目与词频。
  • sWord结构体用作对词汇进行相关排序的容器。

    结对第2次作业——WordCount进阶需求

算法的关键与关键实现部分流程图

命令行参数实现流程图

结对第2次作业——WordCount进阶需求

词组词频统计流程图

结对第2次作业——WordCount进阶需求

关键代码解释

命令行参数判断

while (1) //循环判断命令行参数

    {

        i++;

        if (i == argc)

            break;

        if (argv[i][0] == '-')   //判断当前参数首字符是否为'-'

        {

            switch (argv[i][1])    //判断当前参数第二个字符

            {

            case 'i':

            {

                i++;

                input = argv[i];//第二个字符为i时输入下一个参数赋值给input

                break;

            }

            case 'o':

            {

                i++;

                output = argv[i];//第二个字符为o时输入下一个参数赋值给output

                break;

            }

            case 'w':

            {

                i++;

                judgeW = atoi(argv[i]);//第二个字符为w时judgeW为下一个参数的整数值留作输出判断

                break;

            }

            case 'm':

            {

                i++;

                judgeM = atoi(argv[i]);//第二个字符为m时judgeM为下一个参数的整数值留作输出判断

                break;

            }

            case 'n':

            {

                i++;

                judgeN = atoi(argv[i]);//第二个字符为n时judgeN为下一个参数的整数值留作输出判断

                break;

            }

            default:

                cout << "输入参数有误" << endl;

                break;

            }

        }

    }

配合命令行参数判断的输出代码如下：

if (judgeW == 0)

    {

        if (judgeM == 0)    //非权重词频统计

        {

            f1 = f1.countline(input, f1);

            f1.Abstract = changeDx(f1.Abstract);

            f1.Title = changeDx(f1.Title);//大小写转换

            f1 = f1.countword(f1, f1.Title, 1);

            f1 = f1.countword(f1, f1.Abstract, 1);

        }

        else  //非权重词组词频统计

        {

            f1 = f1.outputByLine(input, f1, 1, judgeM);

        }

    }

    else

    {

        if (judgeM == 0)  //权重词频统计

        {

            f1 = f1.countline(input, f1);

            f1.Abstract = changeDx(f1.Abstract);

            f1.Title = changeDx(f1.Title);//大小写转换

            f1 = f1.countword(f1, f1.Title, 10);

            f1 = f1.countword(f1, f1.Abstract, 1);

        }

        else   //权重词组词频统计

        {

            f1 = f1.outputByLine(input, f1, 10, judgeM);

        }

    }

if (judgeN == 0)//如果没有定义n那么按默认输出

        outCome1(ww, num, output, f1);

    else

    {

        if (judgeN > f1.getwords())

        {

            cout << "输入的n值超过了文本的所有单词数，将为您按序输出文本的所有单词" << endl;//对于参数过大的错误判断

            outCome2(ww, f1.getwords(), output, f1);

        }

        else

        {

            outCome2(ww, judgeN, output, f1);//如果定义了n那么输出前n个

        }

    }

词组词频统计

testfile testfile::phrasecounts(string temp, int t, int quan, testfile f1)

{

	int word = 0;

	int i = 0;

	int j = 0;

	long int n = 0;

	int m = 0;

	string sumwr = "";//初始化一个存放词组的字符串

	n = temp.length();

	char x[10];

	for (j = 0; j < n; j++)

	{

		if (temp[j] >= 'A'&&temp[j] <= 'Z')

		{

			temp[j] += 32;

		}

	}

	string phrase;

	int  flag = 0, k = 0;

	int mark = 0, al = 0;//mark用来记录存储的单词数，al用来记录成词组的第二个单词的首字母序号

	for (i = 0; i < n; i++)

	{

		if (!((temp[i] >= 48 && temp[i] <= 57) || (temp[i] >= 97 && temp[i] <= 122)))

		{

			if (mark > 0)

			{

				sumwr = sumwr + temp[i];//如果此时已记录一个及以上的单词，将此分隔符也录入词组字符串

			}

			continue;

		}

		else

		{

			for (j = 0; j < 4 && i < n; j++)

			{

				if (!((temp[i] >= 48 && temp[i] <= 57) || (temp[i] >= 97 && temp[i] <= 122)))

				{

					mark = 0;

					sumwr = "";//检测到非法单词，重新初始化mark和词组字符串

					break;

				}

				else

				{

					if (j == 0 && mark == 1)

					{

						al = i;

					}

					x[j] = temp[i++];//temp中存入四个非空格字符

				}

			}

			if (j == 4)

			{

				for (m = 0; m < 4; m++)

				{

					if (x[m] < 97 || x[m]>122)

					{

						flag = 1;

						mark = 0;

						sumwr = "";

						break;//判断这四个字符是否都是字母，检测到非法单词，重新初始化mark和词组字符串

					}

				}

				if (flag == 0)//判断为一个单词

				{

					char *w = new char[100];//存放单词

					for (m = 0; m < 4; m++)

					{

						w[k++] = x[m];//temp中字符存入w

					}

					while (((temp[i] >= 48 && temp[i] <= 57) || (temp[i] >= 97 && temp[i] <= 122)) && i < n)//继续存入单词剩余字符

					{

						w[k++] = temp[i++];

					}

					w[k] = '\0';

					sumwr = sumwr + w;//将单词存入词组字符串数组

					mark++;

					delete[]w;

					k = 0;

					if (mark == t)

					{

						loadword(sumwr, quan);//如果此时单词存入达到所需数量，将此词组字符串存入map函数，并初始化mark和字符串

						word++;

						mark = 0;

						i = al;//让i等于存入字符串的第二个单词的第一个字母序号，重新开始查询词组

						sumwr = "";

					}

					i--;

				}

				else

				{

					flag = 0;

					j = 0;

					mark = 0;

					sumwr = "";

				}

			}

		}

	}

	i = 0;

	f1.words += word;

	return f1;

}

性能分析与改进

  • 输入的命令行参数为：-i C:\Users\Administrator\Desktop\result.txt -m 2 -n 20 -w 1 -o C:\Users\Administrator\Desktop\output.txt 即对爬取的文件进行词组分割，2个单词一组而后执行权重词频统计并且输出频率最高的前20个词组。
  • 性能探查器返回结果

    结对第2次作业——WordCount进阶需求
  • 因为本次测试执行的是词组分割的词频统计，所以占比最高的函数就是词组分割函数phrasecount。其次本次程序执行时间在15秒到16秒左右，所以还有优化空间。loadword是把词组存入map，这是c++自带的一个统计词频并且按字典排序的容器，如果有能力的话希望自己能用哈希表写一个类似的排序也许能够提高运行效率。

单元测试

  • 以下对字符数统计，行数统计，单词数统计以及词组分割和词组词频统计四个函数进行单元测试。
#include "stdafx.h"

#include "CppUnitTest.h"

#include "C:\Users\Administrator\Desktop\软工实践\结对作业2\单元测试\WordCount2\WordCount2\WordCount2\WordCount2.h"

#include <iostream>

using namespace Microsoft::VisualStudio::CppUnitTestFramework;

namespace WordCountTest1

{

    TEST_CLASS(UnitTest1)

    {

    public:

        TEST_METHOD(phraseCount)

        {

            testfile f1;

            f1=f1.outputByLine("C:\\Users\\Administrator\\Desktop\\result.txt", f1, 1, 3);//按行输出后进行词组词频统计

        }

        TEST_METHOD(wordCount)

        {

            testfile f1;

            f1 = f1.countline("C:\\Users\\Administrator\\Desktop\\result.txt", f1);

            f1 = f1.countword(f1, f1.Abstract, 1);

            f1 = f1.countword(f1, f1.Title, 1);

        }

        TEST_METHOD(countCharacters)

        {

            testfile f1;

            string a;

            f1 = f1.countcha("C:\\Users\\Administrator\\Desktop\\result.txt", f1);

            Assert::AreEqual(f1.getcharacters(), (int)1220332);

        }

        TEST_METHOD(countLine)

        {

            testfile f1;

            f1 = f1.countline("C:\\Users\\Administrator\\Desktop\\result.txt", f1);

            Assert::AreEqual(f1.getlines(), (int)2937);

        }

    };

}
  • 单元测试通过

单元测试列表：

结对第2次作业——WordCount进阶需求

  • 观察单元测试图可以看到，在对一百万字符数的文本文档进行统计时，总执行时间要20秒，其中词组分割花费11秒最多，再者就是单词分割，需要6秒。还有很大的优化空间啊。

Github签入记录

结对第2次作业——WordCount进阶需求

  • 共签入了三次。第一次是自己做的那块功能做完后签入。而后队友做的功能完善后，整理合并到代码里再次签入。第三次签入时进行完单元测试并加入爬虫结果。

遇到的代码模块异常或结对困难及解决方法

  • emmm我负责的是词组词频统计的代码，一开始做的时候甚至理解错了题目的意思，将m（词组单词数）理解成了分隔符的数量，幸好玮哥很早就发现了这个问题，我才有时间得以重做。
  • 我设计的词组词频统计起初是一篇文本为目标，但是这样的话，会将换行符也当成分隔符存入词组字符串，而且不好区分和消除title和abstract的干扰，于是我便想到一行一行的统计，因为原文中，title及其内容为一行，abstract及其内容也是一行，玮哥写的按行读入代码又有erase函数在读入一行的同时削去了title：和abstract：，把这样读入的一行带入我词组词频统计代码，既能消除换行符和title、abstract的影响，又能减少一次带入函数的数据量，防止数据过多而出现的代码运行错误。

评价你的队友

   玮哥是我大腿，除了词组词频统计的代码，其他的像是什么代码整合，单元测试七七八八的都是由他一个人完成，中途还因为我的失误浪费了一天的时间（有点小愧疚）。下次合作任务时，争取做到细心再细心，像玮哥一样多帮队友分担一些的任务。

学习进度条

第n周 新增代码 本周学习耗时 重要成果
3 400 12h 对于字符串的处理更加精进了
上一篇：cmake 的简单使用示例


下一篇：android 项目中使用对话框统一封装