数据爬取实战——POI爬取及数据可视化

​爬虫技术和GIS结合在一起可以碰撞出意想不到的火花，通过百度地图api/forlium/requests/wordcloud库可以爬取到感兴趣的POI数据，并直观地将其显示出来。本章通过requests库调用百度地图api爬取数据，并利用forlium库可视化数据，最后用wordcloud库统计出现频率最高的汉字，制作词云。

(1)调用百度地图api/requests库爬取POI数据

​requests库是爬虫技术中常用的开源库，常用来对浏览器发起请求进行访问。百度地图api开发文档见http://lbs.baidu.com/index.php?title=webapi/guide/webservice-placeapi。在创建ak秘钥后，我们就可以调用百度api的接口爬取数据，我们可以通过网页接口来执行get请求，爬取数据，这里给出地点检索的相关接口。

​具体代码方面，笔者采用了https://github.com/lbygg227/POI_GET的部分代码，感谢此人贡献的开源代码。代码主要使用了两种检索方法：1. 按行政区划检索POI，受到百度地图api的限制，最多开源读取20页数据，共计400条，所以这种方法比较适用于数量较小的POI爬取，不推荐在大的工程项目中使用。2. 按矩形框搜索，通过给出矩形框的左下角和右上角经纬度坐标，结合api进行爬取。

Method1

def method_region():

print("请输入所需要爬取数据的行政区划名称，如南京市，南京市鼓楼区等")

city=str(input())

print ('开始')

urls=[] #声明一个数组列表

for i in range(0,20):

page_num=str(i)

url='http://api.map.baidu.com/place/v2/search?query='+name+'&region='+city+'&page_size=20&page_num='+str(page_num)+'&output=json&ak='+ak

urls.append(url)

print ('url列表读取完成')

for url in urls:

getdata(url)

print('爬取中，请耐心等待')

f.close()

print ('完成，文件位于D盘目录下，请查看')

Method2

def method_bounds(): #读取POI更多，更细

print("请输入所选取地图矩形区域范围的左下角经度")

lat_l=float(input())

print("请输入所选取地图矩形区域范围的左下角纬度")

lng_l=float(input())

print("请输入所选取地图矩形区域范围的右上角经度")

lat_r=float(input())

print("请输入所选取地图矩形区域范围的右上角纬度")

lng_r=float(input())

a=(lat_l>=lat_r or lng_l>=lng_r)

while a:

print('经纬度输入错误,请重新输入')

print("请输入所选取地图矩形区域范围的左下角经度")

lat_l=float(input())

print("请输入所选取地图矩形区域范围的左下角纬度")

lng_l=float(input())

print("请输入所选取地图矩形区域范围的右上角经度")

lat_r=float(input())

print("请输入所选取地图矩形区域范围的右上角纬度")

lng_r=float(input())

a=(lat_l>lat_r or lng_l>lng_r)

lng_c=lng_r-lng_l

lat_c=lat_r-lat_l

#将研究区按经纬度步长大小划分若干块，存储每块左下、右上经纬度

lng_num=int(lng_c/0.1)+1 #经纬度跨步越小，采集数据越多

lat_num=int(lat_c/0.1)+1

arr=np.zeros((lat_num+1,lng_num+1,2)) #前两维是行数、列数，第三维是2元列表，经度、纬度

for lat in range(0,lat_num+1):

for lng in range(0,lng_num+1):

arr[lat][lng]=[lng_l+lng*0.1,lat_l+lat*0.1]

urls=[]

print('开始')

for lat in range(0,lat_num):

for lng in range(0,lng_num):

for b in range(0,20): #每块最多读取20页POI数据

page_num=str(b)

url='http://api.map.baidu.com/place/v2/search?query='+name+'&bounds='+str((arr[lat][lng][0]))+','+str((arr[lat][lng][1]))+','+str((arr[lat+1][lng+1][0]))+','+str((arr[lat+1][lng+1][1]))+'&page_size=20&page_num='+str(page_num)+'&output=json&ak='+ak

urls.append(url)

print ('url列表读取完成')

for url in urls:

getdata(url)

print('爬取中，请耐心等待')

f.close()

print ('完成，文件位于D盘目录下，请查看')

这里介绍一下Method2。它采用的思想主要是这样的，虽然我们对某一块区域爬取的数据数量受到了限制(400个/20页)，但我们可以通过将一整块较大的矩形区域划分为若干小矩形块，然后分别遍历爬取从而解决这个问题。划分的步长越小(这里是0.1)，爬取的越仔细，数据量也越大，亲测0.01时爬取的数据比前者多了2000+。在网格小到一定程度的时候，网格内的POI数量小于400，就不会受到20页等的限制了，这时爬取的数据较为详细。

上图是三维数组的形式，函数中用于存储经纬度的列表是三维数组，前两维是行数和列数，第三维存储了经纬度数据，具体存放形式如上图。

def getdata(url):

try:

socket.setdefaulttimeout(timeout) #设置间隔时间，防止爬取时被阻断

html=requests.get(url)

data=html.json()

if data['results']!=None:

for item in data['results']:

jname=item['name']#获取名称

jlat=item['location']['lat']#获取经纬度

jlon=item['location']['lng']

jarea=item['area']#获取行政区

jadd=item['address']#获取具体地址

j_str=jname+','+str(jlat)+','+str(jlon)+','+jarea+','+jadd+','+'\n'

f.write(j_str)

#time.sleep(1)

except:

getdata(url)

这段代码不用多说吧，requests发起get请求，解析数据为json格式，然后获取到名称、经纬度、行政区、地址等信息。

(2)制作heatmap

​获取这些数据后，为了进行数据的可视化，我们学习了forlium模块。

​folium是js上著名的地理信息可视化库leaflet.js为Python提供的接口，通过它，我们可以通过在Python端编写代码操纵数据，来调用leaflet的相关功能，基于内建的osm或自行获取的osm资源和地图原件进行地理信息内容的可视化，以及制作优美的可交互地图。其语法格式类似ggplot2，是通过不断添加图层元素来定义一个Map对象，最后以几种方式将Map对象展现出来。

import numpy as np

import pandas as pd

import folium

import webbrowser #浏览器

from folium.plugins import HeatMap

poi_file = 'D:\POI-res.txt'

p_lon =[]

p_lat =[]

poi_name =[]

f = open(poi_file, 'r', encoding='utf-8') #注意encoding='utf-8'

for line in f.readlines(): #逐行读取

line = line.split(',')

p_lon.append(line[2])

p_lat.append(line[1])

poi_name.append(line[0])

f.close()

data = [ [p_lat[i], p_lon[i]] for i in range(2000) ] #将数据制作成[lats,lons,weights]的形式，这里只显示2000个POI数据

map_osm = folium.Map(location=[1,2],zoom_start=5) #绘制Map，开始缩放程度是5倍

HeatMap(data).add_to(map_osm) # 绘制热力图，并将热力图添加到map里

file_path = r"D:/text.html"

map_osm.save(file_path) # 保存为html文件

webbrowser.open(file_path) # 默认浏览器打开

​如图，效果还算不错的嘛。

(3)wordcloud制作

​早就听过wordcloud的大名了，选取文本中的高频词汇，然后按频率分布制作词云。这里由于字符串属于中文字符，需要下载字体文件，进行解译(旁门左道字体)。

import wordcloud

#注：文件名不能为wordcloud.py，会导不了库

poi_name = []

f = open( 'D:\POI-res.txt','r',encoding='utf-8')

for line in f.readlines():

line = line.split(',')

poi_name.append(line[0])

text = str(poi_name) #列表转str字符串

wc = wordcloud.WordCloud(

background_color='white',

font_path="D:\Tablefile\POI_GET\POI_GET-master\PangMenZhengDaoBiaoTiTi-1.ttf" #添加字体，否则中文字体会乱码

)

wc.generate(text)

wc.to_file(r"D:\Tablefile\POI_GET\POI_GET-master\1.png")

​沙县小吃果然傲视群雄啊，哈哈。

​这里还介绍一下jieba库，这个库可以针对文本进行词义判断，从而进行划分，常常和wordcloud配合使用。

import jieba

seg_list = jieba.cut("他来到上海交通大学", cut_all=False)

print("【精确模式】：" + "/ ".join(seg_list))

​除了上述这些以外，我们还可以用百度地图api爬取感兴趣POI附近的POI数据。主要是获取感兴趣POI后，获取其位置，如按radius=500搜索该POI附近的其他POI。详细代码见博客https://www.cnblogs.com/IvyWong/p/11812412.html。

​另外说一句，本期博客是markdown编写的，格式确实相当不错呢！