手把手教你写基于C++ Winsock的图片下载的网络爬虫

2023-01-28 07:39:53

先来说一下主要的技术点：

1. 输入起始网址，使用ssacnf函数解析出主机号和路径(仅处理http协议网址)

2. 使用socket套接字连接服务器，，获取网页html代码（使用http协议的GET请求），然后使用正则表达式解析出图片url和其他的url。

3. 下载图片至创建的文件夹中，同时其他的url push进队列。

4. 为了使爬虫能够连续的工作，这里使用了BFS宽度优先搜索，也就是说一开始输入的网址作为起始网址，push进队列，然后把能解析出来的网址在不重复的情况下都push进队列，每次取队列的top来执行下载操作，直到队列为空时终止。

下面附上技术点的学习资料供参考：

ssanf函数的用法：

http://www.cnblogs.com/mycapple/archive/2012/08/03/2621681.html

C++11正则表达式

http://blog.sina.com.cn/s/blog_ac9fdc0b0101oow9.html

http协议：

http://www.ucai.cn/course/show/234

Socket编程：

http://blog.csdn.net/nk_test/article/details/47756381

http://blog.csdn.net/nk_test/article/details/47733307

另外，这个小爬虫结构简陋，还存在很多不足，例如队列中的url太多会爆内存，正则表达式匹配不够准确等，仅仅适合大家学习的时候练手哈。也欢迎大家发现bug，给出好的建议。

  1. /*下载图片 C++ Winsock 网络编程*/
  2. #define _CRT_SECURE_NO_WARNINGS   //vs 2013用于忽略c语言安全性警告
  3. #include <cstdio>
  4. #include <iostream>
  5. #include <fstream>
  6. #include <string>
  7. #include <cstring>
  8. #include <regex>
  9. #include <vector>
  10. #include <queue>
  11. #include <algorithm>
  12. #include <winsock2.h>
  13. #include <map>
  14. using namespace std;
  15. #pragma comment(lib, "ws2_32.lib")
  16. char  host[500];
  17. int num = 1;
  18. char othPath[800];
  19. string allHtml;
  20. vector <string> photoUrl;
  21. vector <string> comUrl;
  22. map <string, int> mp; //防止相同网址重复遍历
  23. SOCKET sock;
  24. bool analyUrl(char *url) //仅支持http协议,解析出主机和IP地址
  25. {
  26. char *pos = strstr(url, "http://");
  27. if (pos == NULL)
  28. return false;
  29. else
  30. pos += 7;
  31. sscanf(pos, "%[^/]%s", host, othPath);   //http:// 后一直到/之前的是主机名
  32. cout << "host: " << host << "   repath:" << othPath << endl;
  33. return true;
  34. }
  35. void regexGetimage(string &allHtml)  //C++11 正则表达式提取图片url
  36. {
  37. smatch mat;
  38. regex pattern("src=\"(.*?\.jpg)\"");
  39. string::const_iterator start = allHtml.begin();
  40. string::const_iterator end = allHtml.end();
  41. while (regex_search(start, end, mat, pattern))
  42. {
  43. string msg(mat[1].first, mat[1].second);
  44. photoUrl.push_back(msg);
  45. start = mat[0].second;
  46. }
  47. }
  48. void regexGetcom(string &allHtml) //提取网页中的http://的url
  49. {
  50. smatch mat;
  51. //regex pattern("href=\"(.*?\.html)\"");
  52. regex pattern("href=\"(http://[^\s'\"]+)\"");
  53. string::const_iterator start = allHtml.begin();
  54. string::const_iterator end = allHtml.end();
  55. while (regex_search(start, end, mat, pattern))
  56. {
  57. string msg(mat[1].first, mat[1].second);
  58. comUrl.push_back(msg);
  59. start = mat[0].second;
  60. }
  61. }
  62. void preConnect()  //socket进行网络连接
  63. {
  64. WSADATA wd;
  65. WSAStartup(MAKEWORD(2, 2), &wd);
  66. sock = socket(AF_INET, SOCK_STREAM, 0);
  67. if (sock == INVALID_SOCKET)
  68. {
  69. cout << "建立socket失败！ 错误码： " << WSAGetLastError() << endl;
  70. return;
  71. }
  72. sockaddr_in sa = { AF_INET };
  73. int n = bind(sock, (sockaddr*)&sa, sizeof(sa));
  74. if (n == SOCKET_ERROR)
  75. {
  76. cout << "bind函数失败！ 错误码： " << WSAGetLastError() << endl;
  77. return;
  78. }
  79. struct hostent  *p = gethostbyname(host);
  80. if (p == NULL)
  81. {
  82. cout << "主机无法解析出ip! 错误吗： " << WSAGetLastError() << endl;
  83. return;
  84. }
  85. sa.sin_port = htons(80);
  86. memcpy(&sa.sin_addr, p->h_addr, 4);//   with some problems ???
  87. //sa.sin_addr.S_un.S_addr = inet_addr(*(p->h_addr_list));
  88. //cout << *(p->h_addr_list) << endl;
  89. n = connect(sock, (sockaddr*)&sa, sizeof(sa));
  90. if (n == SOCKET_ERROR)
  91. {
  92. cout << "connect函数失败！ 错误码： " << WSAGetLastError() << endl;
  93. return;
  94. }
  95. //像服务器发送GET请求，下载图片
  96. string  reqInfo = "GET " +(string)othPath+ " HTTP/1.1\r\nHost: " + (string)host + "\r\nConnection:Close\r\n\r\n";
  97. if (SOCKET_ERROR == send(sock, reqInfo.c_str(), reqInfo.size(), 0))
  98. {
  99. cout << "send error! 错误码： " << WSAGetLastError() << endl;
  100. closesocket(sock);
  101. return;
  102. }
  103. //PutImagtoSet();
  104. }
  105. void OutIamge(string imageUrl) //将图片命名，保存在目录下
  106. {
  107. int n;
  108. char temp[800];
  109. strcpy(temp, imageUrl.c_str());
  110. analyUrl(temp);
  111. preConnect();
  112. string photoname;
  113. photoname.resize(imageUrl.size());
  114. int k = 0;
  115. for (int i = 0; i<imageUrl.length(); i++){
  116. char ch = imageUrl[i];
  117. if (ch != '\\'&&ch != '/'&&ch != ':'&&ch != '*'&&ch != '?'&&ch != '"'&&ch != '<'&&ch != '>'&&ch != '|')
  118. photoname[k++] = ch;
  119. }
  120. photoname = "./img/"+photoname.substr(0, k) + ".jpg";
  121. fstream file;
  122. file.open(photoname, ios::out | ios::binary);
  123. char buf[1024];
  124. memset(buf, 0, sizeof(buf));
  125. n = recv(sock, buf, sizeof(buf)-1, 0);
  126. char *cpos = strstr(buf, "\r\n\r\n");
  127. //allHtml = "";
  128. //allHtml += string(cpos);
  129. file.write(cpos + strlen("\r\n\r\n"), n - (cpos - buf) - strlen("\r\n\r\n"));
  130. while ((n = recv(sock, buf, sizeof(buf)-1, 0)) > 0)
  131. {
  132. file.write(buf, n);
  133. //buf[n] = '\0';
  134. //allHtml += string(buf);
  135. }
  136. //file.write(allHtml.c_str(), allHtml.length());
  137. file.close();
  138. //closesocket(sock);
  139. }
  140. void PutImagtoSet()  //解析整个html代码
  141. {
  142. int n;
  143. //preConnect();
  144. char buf[1024];
  145. while ((n = recv(sock, buf, sizeof(buf)-1, 0)) > 0)
  146. {
  147. buf[n] = '\0';
  148. allHtml += string(buf);
  149. }
  150. regexGetimage(allHtml);
  151. regexGetcom(allHtml);
  152. }
  153. void bfs(string beginUrl)  //宽度优先搜索，像爬虫一样遍历网页
  154. {
  155. queue<string> q;
  156. q.push(beginUrl);
  157. while (!q.empty())
  158. {
  159. string cur = q.front();
  160. mp[cur]++;
  161. q.pop();
  162. char tmp[800];
  163. strcpy(tmp, cur.c_str());
  164. analyUrl(tmp);
  165. preConnect();
  166. PutImagtoSet();
  167. vector<string>::iterator ita = photoUrl.begin();
  168. for (ita; ita != photoUrl.end(); ++ita)
  169. {
  170. OutIamge(*ita);
  171. }
  172. photoUrl.clear();
  173. vector <string>::iterator it = comUrl.begin();
  174. for (it; it != comUrl.end(); ++it)
  175. {
  176. if (mp[*it]==0)
  177. q.push(*it);
  178. }
  179. comUrl.clear();
  180. }
  181. }
  182. int main()
  183. {
  184. CreateDirectoryA("./img", 0);  //在工程下创建文件夹
  185. string beginUrl= "http://news.qq.com/"; //输入起始网址
  186. bfs(beginUrl);
  187. return 0;
  188. }

效果图：

手把手教你写基于C++ Winsock的图片下载的网络爬虫

手把手教你写基于C++ Winsock的图片下载的网络爬虫

上一篇：SQL 递归 可以用于权限查找。迭代自身没有用递归函数。


下一篇：Linux运维企业架构项目实战系列