Python3 爬虫抓取中国天气网的城市编号写入mysql数据库
原文我就不介绍了,可查看原文,https://blog.csdn.net/noob_sufan/article/details/88412547代码:#!/usr/bin/env python3# -*- coding: utf-8 -*-# @Date: 2019/9/2import reimport requestsimport pymysql# 定制请求头hea...
·
原文我就不介绍了,可查看原文,https://blog.csdn.net/noob_sufan/article/details/88412547
代码:
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# @Date : 2019/9/2
import re
import requests
import pymysql
# 定制请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 用列表存储爬取下来编码和城市名
cites_codes = []
# 爬取解析一个网页的函数
def parse_url(url):
response = requests.get(url, headers=headers)
text = response.content.decode('utf-8')
# 先滤去后面六个,只留下第一个
info = re.findall(
r'<div class="conMidtab">.*?<div class="conMidtab" style="display:none;">',text,re.DOTALL)[0]
# 获得我们要的信息
infos = re.findall(
r'<td width="83" height="23".*?<a .*?weather/(.*?)\.s.*?>(.*?)</a>', info, re.DOTALL)
# 获取的信息遍历存入列表
for i in infos:
city_code = [i[1],i[0]]
cites_codes.append(city_code)
# 存储到数据库函数
def store_2_mysql():
# 连接数据库改成自己的新建一个数据库加表
conn = pymysql.connect(host='127.0.0.1', user='root',
password='', database='test_tianqi', port=3306)
cursor = conn.cursor()
# 遍历列表存入数据库
for i in cites_codes:
sql = '''
insert into city_code values(0,'%s','%s')''' % (i[0], i[1])
cursor.execute(sql)
# 提交
conn.commit()
conn.close()
# 主函数遍历全部八个地区
def main():
base_url = 'http://www.weather.com.cn/textFC/{}.shtml'
cites = ['hb', 'db', 'hd', 'hz', 'hn', 'xb', 'xn', 'gat']
# 获得每个地区的url
for i in cites:
url = base_url.format(i)
# 开始爬取一个地区的信息
parse_url(url)
# 存储到数据库中
store_2_mysql()
if __name__ == '__main__':
main()
数据库表结构,库名自定义:
CREATE TABLE `city_code` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT,
`city` varchar(50) DEFAULT NULL,
`code` bigint(20) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
爬取结果:
测试一下是否正常:
更多推荐
已为社区贡献1条内容
所有评论(0)