简述

epsg.io是一个查询EPSG坐标系相关信息的好网站，内容很全。有各种格式的定义可以直接下载，也有坐标系的范围名称等相关信息，所以想抓取这些信息下来，方便对接各个系统。

epsg.io本身是开源的，代码在https://github.com/klokantech/epsg.io上，但是这个我分析出数据来源，应该是在epsg.io/gml/gml.sqlite文件中，但是我打开这个文件发现没有相关的记录。

抓取说明

抓取的时候使用的是proj4项目里的nad/epsg文件中的记录作为索引，找到对应的epsg代码去拼成对应url去下载。

下面是代码，用的是libcurl进行的相关操作。日志记录简单的用了一下glog，可以去掉，去掉之后就是纯C的代码了。

抓取的结果直接写在程序目录下的epsg.io目录下，请先创建好这个目录。

保存的html文件的解析，可以参考HTML解析库Gumbo简单使用记录

抓取好的文件可以在这里epsg.io.7z下载，解压压缩之后会有三百多兆，共5754个文件。

分析后提取的内容，生成了一个超大的JSON文件，可以再这里epsg.io.json.7z下载。

---

我把抓取的内容处理成json后，又将其导入了MongoDB数据库。

这里将数据备份后上传在这里https://files.cnblogs.com/files/oloroso/epsg.io.mongodb.7z，这个数据可以直接使用mongorestore工具恢复到数据库。

导入MongoDB的数据中，wgs84_bound字段名改为84box，proj_bound字段改为projbox，中心点坐标经过处理，不会有null出现。

代码

// g++ epsg.spider.cpp -o epsg.spider -lcurl  -lglog -lpthread

#include <stdio.h>

#include <stdlib.h>

#include <string.h>

#include <sys/stat.h>

#include <curl/curl.h>

#include <glog/logging.h>

int downpage(int epsgcode)

{

	int ret = 0;

	char url[1024];

	sprintf(url,"./epsg.io/%d.html",epsgcode);

	FILE* fp = fopen(url,"wb");

	if(fp == NULL){

		fprintf(stderr,"\n创建输出文件失败i\n");

		ret = -1;

		return ret;

	}

	sprintf(url,"http://epsg.io/%d",epsgcode);

	CURL *hnd = curl_easy_init();

	curl_easy_setopt(hnd, CURLOPT_CUSTOMREQUEST, "GET");

	curl_easy_setopt(hnd, CURLOPT_URL, url);

	curl_easy_setopt(hnd, CURLOPT_COOKIEFILE, "./epsg.spider.cookie");

	//curl_easy_setopt(hnd, CURLOPT_COOKIE, cookie_buffer);

	curl_easy_setopt(hnd, CURLOPT_WRITEDATA, fp);

	CURLcode res = (CURLcode)curl_easy_perform(hnd);

	if(res != CURLE_OK) {

		fprintf(stderr,"\n%s curl_easy_perform failed:%s\n",url,curl_easy_strerror(res));

		ret = -2;

	}

	fclose(fp);

	curl_easy_cleanup(hnd);

	return ret;

}

int main(int c,char** v)

{

       // 打开epsg文件

	FILE* fp = fopen("epsg","r");

	if(fp == NULL){

		puts("open epsg fiaild");

		return 0;

	}

	google::InitGoogleLogging(v[0]);

	FLAGS_log_dir = ".";

	  /*

	   * 这个函数只能用一次,如果这个函数在curl_easy_init函数调用时还没调用，

	   * 它讲由libcurl库自动调用，所以多线程下最好在主线程中调用一次该函数以防止在线程

	   * 中curl_easy_init时多次调用

	   */

	  curl_global_init(CURL_GLOBAL_ALL);

	char s[4096];

	puts("开始下载:");

	while(!feof(fp) && limit > 0){

		int epsgcode = 0;

		static char name[1024];

		static char proj[1024];

		fgets(s,sizeof s,fp);

		if(s[0] == '#' ){

			sscanf(s,"# %[^\n]s",name);

		}

		sscanf(s,"<%d> %[^\n<]s",&epsgcode,proj);

		if(epsgcode == 0){

			continue;

		}

		char path[128];

		sprintf(path,"./epsg.io/%d.html",epsgcode);

		struct stat st;

		if(stat(path,&st) == 0) {

			if(st.st_size > 1024){

				// printf("%5d   %s exsits\n",epsgcode,path);

				continue;

			}

		}

		printf("\r正在下载:http://epsg.io/%d ",epsgcode);

		LOG(INFO) << "begin download http://epsg.io/"<<epsgcode;

		if( downpage(epsgcode) != 0){

			break;

		}

		LOG(INFO) << "finish download http://epsg.io/"<<epsgcode;

	}

	//在结束libcurl使用的时候，用来对curl_global_init做的工作清理。类似于close的函数

	curl_global_cleanup();

	fclose(fp);

	return 0;

}