
通过python获取谷歌学术搜索结果
用Python批量获取谷歌学术搜索结果
·
谷歌学术是重要的科研利器,搜索结果通常上千个,每次只能看几个,通过开源的接口,可以批量获取搜索结果,方便快速综合分析。
这里用到的库是scholary,可以指定获取多少个结果,每个结果是个dict,可以把多个dict结果写出到json文件保存。
'scholarly
是一个Python库,用于从Google Scholar获取学术文章的信息。它可以查询论文、作者信息、引用情况等,而无需直接与Google Scholar的网页界面交互。scholarly
通过模拟浏览器请求来抓取网页数据,解析这些数据,并提供一个简单的Python接口来访问信息。"
# pip install scholarly
from scholarly import scholarly
import time
import json
search_query = scholarly.search_pubs('multiple point geostatistics')
print(search_query.total_results)
paper_list=[]
for i in range(100):
try:
paper = next(search_query)
print("---------------------{}-------------------".format(i))
paper_list.append(paper)
except:
time.sleep(30)
with open('mps.json','w') as file:
json.dump(paper_list, file, indent=4)
下面是获取过程的跟踪
结果最后写出到mps.json文件,截取的部分内容如下
更多推荐
所有评论(0)