百度地图为web开发者提供了基于HTTP/HTTPS协议的丰富接口，其中包括地点检索服务，web开发者通过此接口可以检索区域内的POI数据。百度地图处于数据保护对接口做了限制，每次访问服务，最多只能检索到400条数据，这样开发者就无法轻易的扒光收录的POI数据。作者基于 Golang 编写程序，完整获取百度地图POI数据。
百度地图WEB服务API基于HTTP/HTTPS协议，用户按照API文档要求的格式发送HTTP请求来获取POI数据，请求获取的数据格式可以为xml或json。
地点检索接口提供了3种检索方式：行政区划区域检索，圆形区域检索，矩形区域检索。详见接口文档。web 开发者在不同的场景可以采用不同的检索方式。
我们的目的是完整的获取POI数据，针对这一使用场景，最先想到是按照行政区划区域检索，先建立区域字典，然后一个区域一个区域的去获取数据。但是，有些区域POI的密度很大，一个市可能有数千家餐馆，而每次检索最多检索到400条数据，显然无法完整的拿到数据。
为突破数据保护的限制，这里采用矩形检索的方式。首先把要抓取的区域放到两经线和两纬线之间，构成一个大矩形（把地球看成方的），然后从大矩形的角落开始，逐个检索一个个小矩形，同时根据上一个小矩形的POI数量动态调整小矩形的面积。当所有小矩形组合覆盖完成大矩形之后，即可认为数据抓取完整。
OK，动手写代码！
需要考虑如下问题：
- 如何设置小矩形的初始面积？如何动态调整小矩形的面积？
- 地图API每日调用次数有限制， 超出限制之后如何继续上次的抓取？
提出这些问题之后，程序的大致结构有了，首先加载抓取状态数据，判断用户上次是否抓取完整，如果已经抓取完整，则让用户输入新的大矩形参数（两个经度，两个纬度）；否则让用户决定是否继续抓取。
那么，状态数据应该包含哪些？该怎么存储状态数据呢？显然这么小的一个程序不需要用到数据库，存到文件中即可，而Golang处理JSON格式的数据很方便，所以状态数据可以以JSON格式存到文件中。存储的内容应该包含大矩形信息，小矩形信息，当前POI类别信息（POI文档），小矩形区域最近一次抓取的页号（每页最多20条），API调用信息。于是状态格式可以设计为：
{
"upperLatitude": 40.15,
"lowerLatitude": 38.33,
"leftLongitude": 116.42,
"rightLongitude": 118.04,
"apiAvailableTimes": 2000,
"lastUseDate": "20181219",
"apiKey": "申请的API Key",
"lastLongitudePosition": 118.98,
"lastLatitudePosition": 40.109,
"lastCategoryIndex": 0,
"lastLongitudeLength": 1.28,
"lastLatitudeLength": 0.001,
"lastPageIndex": -1
}
对应的golang结构体：
/**
* 状态结构体
*/
type Status struct {
UpperLatitude float64 `json:"upperLatitude"` //上纬度
LowerLatitude float64 `json:"lowerLatitude"` //下纬度
LeftLongitude float64 `json:"leftLongitude"` //左经度
RightLongitude float64 `json:"rightLongitude"` //右经度
ApiAvailableTimes int `json:"apiAvailableTimes"` //API可用次数
LastUseDate string `json:"lastUseDate"` //上次使用日期
ApiKey string `json:"apiKey"` //API Key
LastLongitudePosition float64 `json:"lastLongitudePosition"` //上次抓取经度位置
LastLatitudePosition float64 `json:"lastLatitudePosition"` //上次抓取纬度位置
LastCategoryIndex int `json:"lastCategoryIndex"` //上次抓取类别索引
LastLongitudeLength float64 `json:"lastLongitudeLength"` //上次抓取矩形区域横向宽度（经度位移）
LastLatitudeLength float64 `json:"lastLatitudeLength"` //上次抓取矩形区域纵向高度（纬度位移）
LastPageIndex int `json:"lastPageIndex"` //上次抓取页索引
}
为使程序模块化，我们将保存，读取状态文件，保存状态等函数挂到此结构体下（为阅读方便，省略了函数体）。
/*
* 保存状态
*/
func (s *Status) Save(path string) error /**
* 加载状态
*/
func (s *Status) Load(path string) error var category = []string{
"酒店", "生活服务", "房地产", "汽车服务",
"教育培训", "丽人", "运动健身", "美食",
"*机构", "自然地物", "公司企业", "交通设施",
"旅游景点", "医疗", "文化传媒", "出入口", "购物",
"休闲娱乐", "金融"} /**
* 获取类别
*/
func (s Status) GetCategory() string /**
* 类别数量
*/
func (s Status) CategorySize() int /**
* 重置API
*/
func (s *Status) Reset()
/**
* 更新API的使用次数
*/
func (s *Status) RefreshApiAvairableTimes() func today() string
完成了抓取状态控制代码之后，接下来是设计解析POI数据的代码，golang天生处理JSON非常方便，所以我们需要接口返回JSON格式数据，然后按照返回的数据格式设计对应的结构体即可。
首先我们在浏览器中输入如下url，注意要先申请API Key，获取一手样本数据，然后写出对应的golang结构体。
http://api.map.baidu.com/place/v2/search?query=银行&bounds=39.915,116.404,39.975,116.414&output=json&ak={您的密钥}
样例数据
{
"status":0,
"message":"ok",
"total":400,
"results":[
{
"name":"华信半岛酒店(天津百货大楼)",
"location":{
"lat":39.135317,
"lng":117.199346
},
"address":"天津市和平区和平路172号天津百货大楼F1",
"province":"天津市",
"city":"天津市",
"area":"和平区",
"street_id":"546b796f38537107d518b782",
"telephone":"(022)59063666",
"detail":1,
"uid":"546b796f38537107d518b782"
},
{
"name":"维也纳酒店(贵州路店)",
"location":{
"lat":39.118757,
"lng":117.200051
},
"address":"天津市和平区贵州路16号",
"province":"天津市",
"city":"天津市",
"area":"和平区",
"street_id":"c92e659a2a785d188c55ec32",
"telephone":"(022)85588888",
"detail":1,
"uid":"58c3f6ea68ee0da917c8f6f8"
},
{
"name":"鑫茂天财酒店",
"location":{
"lat":39.10411,
"lng":117.125587
},
"address":"天津市西青区华苑新技术产业园区榕苑路1号(临近复康路)",
"province":"天津市",
"city":"天津市",
"area":"西青区",
"street_id":"4edf9fbf49ade88dcc06a459",
"detail":1,
"uid":"4edf9fbf49ade88dcc06a459"
}
]
}
对应的结构体
// POI 位置
type PoiLocation struct {
Lat float64 `json:"lat"` //纬度
Lgt float64 `json:"lng"` //经度
} // POI 信息
type Poi struct {
Name string `json:"name"`
Location PoiLocation `json:"location"`
Address string `json:"address"`
Province string `json:"province"`
City string `json:"city"`
Area string `json:"area"`
Street_id string `json:"street_id"`
Telephone string `json:"telephone"`
//Detail string `json:"detail"`
Uid string `json:"uid"`
} type PoiResponse struct {
Status int `json:"status"`
Message string `json:"message"`
Total int `json:"total"`
Results []Poi `json:"results"`
}
最后是流程控制，简单起见，用户交互采用控制台输入的方式。流程控制较为复杂，有三层循环，分别对应类别切换，纬度切换，经度切换。代码如下：
for ; s.LastCategoryIndex < s.CategorySize(); s.LastCategoryIndex++ {
f, err := os.OpenFile(fmt.Sprintf("%f_%f_%f_%f_%s.txt", s.LowerLatitude, s.LeftLongitude, s.UpperLatitude, s.RightLongitude, s.GetCategory()), os.O_APPEND|os.O_WRONLY|os.O_CREATE, )
if err != nil {
log.Panic("打开文件出错。", err)
}
defer f.Close()
for ; s.LastLatitudePosition > s.LowerLatitude; s.LastLatitudePosition -= s.LastLatitudeLength {
s.LastLatitudePosition = math.Round(s.LastLatitudePosition*) /
for s.LastLongitudePosition < s.RightLongitude {
upper := s.LastLatitudePosition
lower := upper - s.LastLatitudeLength
left := s.LastLongitudePosition
right := left + s.LastLongitudeLength
NEXT_PAGE:
if s.ApiAvailableTimes < {
log.Println("今日API次数用完了")
os.Exit()
}
log.Printf("开始抓取[%.5f,%.5f,%.5f,%.5f], %s, 页号：%d", lower, left, upper, right, s.GetCategory(), s.LastPageIndex+)
time.Sleep() //避免超出频率限制
s.ApiAvailableTimes--
url := fmt.Sprintf("http://api.map.baidu.com/place/v2/search?output=json&page_size=20&scope=1&coord_type=1&query=%s&bounds=%.5f,%.5f,%.5f,%.5f&ak=%s&page_num=%d",
s.GetCategory(), lower, left, upper, right, s.ApiKey, s.LastPageIndex+)
resp, err := http.Get(url)
if nil != err {
log.Panic("网络出现错误", err)
} else {
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
log.Panic("读取HTTP Body数据时出错", err)
}
poiResponse := &poi.PoiResponse{}
err = json.Unmarshal(body, poiResponse)
if nil != err {
log.Println("解析服务器返回的数据出错，5秒后重新获取", err)
time.Sleep()
} else if poiResponse.Status != {
log.Printf("未能成功获取POI数据，服务器返回：%s\n", poiResponse.Message)
time.Sleep()
} else {
if poiResponse.Total == { //没有获取到数据
//扩大矩形面积
log.Printf("未能获取到数据，区域宽度（经度）由%f调整为%f\n", s.LastLongitudeLength, s.LastLongitudeLength*)
s.LastLongitudePosition += s.LastLongitudeLength
//加个判断，不能让它无限膨胀
if s.LastLongitudeLength* < s.RightLongitude-s.LeftLongitude {
s.LastLongitudeLength *=
}
s.Save(statusFileName)
} else if poiResponse.Total == { //获取的数据达到400上限，可能不完整
log.Printf("获取的数据总数达到400条，可能不完整，区域宽度（经度）由%f调整为%f\n", s.LastLongitudeLength, s.LastLongitudeLength/)
//缩小矩形面积
s.LastLongitudeLength /=
} else { // 获取的数据在 0 到 400之间，有效
log.Printf("获取的数据总条数为%d,有效！\n", poiResponse.Total)
for _, p := range poiResponse.Results {
record := fmt.Sprintf("%s,%f,%f,%s,%s,%s,%s,%s\n", p.Name, p.Location.Lgt, p.Location.Lat, p.Telephone, p.Province, p.City, p.Area, p.Address)
log.Print(record)
if _, err = f.WriteString(record); err != nil {
panic(err)
}
}
size := len(poiResponse.Results)
if size == { //表示还有下一页
log.Printf("当前页数据条数为20条，表示不是末尾页，页号+1")
s.LastPageIndex++
s.Save(statusFileName)
goto NEXT_PAGE
} else {
log.Printf("当前页数据为%d条，是末尾页，页号重置", size)
s.LastPageIndex = -
s.LastLongitudePosition += s.LastLongitudeLength
s.Save(statusFileName)
}
}
}
}
}
log.Printf("抓取完一行，纬度由%f调整为%f", s.LastLatitudePosition, s.LastLatitudePosition+s.LastLatitudeLength)
//抓完一行了，经度回到原点
s.LastLongitudePosition = s.LeftLongitude
s.Save(statusFileName)
}
f.Close()
//抓完一个类别了，回到原点
s.LastLatitudeLength = s.UpperLatitude
s.LastCategoryIndex++
s.Save(statusFileName)
}
完整代码可点击这里下载