本文章是在Scrapy入门-CSDN博客的基础上改写的代码。

1.声明采集目标

打开mySpider/mySpider1/items.py文件，修改MyspiderItem类为AIspiderItem：

class AIspiderItem(scrapy.Item):

    title = scrapy.Field()

    url = scrapy.Field()

    date = scrapy.Field()

2.修改dgcuAI.py 文件

引入AIspiderItem：

from mySpider.items import AIspiderItem

在parse函数结尾加上创建AIspiderItem类的代码：

from scrapy.selector import Selector

from mySpider1.items import AIspiderItem

class DgcuaiSpider(scrapy.Spider):

    name = 'dgcuAI'

    allowed_domains = ['ai.dgcu.edu.cn']

    start_urls = ['http://ai.dgcu.edu.cn/front/category/2.html']

    def parse(self, response):

        print(response.url)

        selector = Selector(response)

        node_list = selector.xpath("//div[@class='pageList']/ul/li")

        for node in node_list:

            # 文章标题

            title = node.xpath('./a[1]/div[@class="major-content1"]/text()').extract_first()

            # 文章链接

            url = node.xpath('./a[1]/@href').extract_first()

            # 日期

            date = node.xpath('./a[1]/div[@class="major-content2"]/text()').extract_first()

            # 创建AIspiderItem类

            item = AIspiderItem()

            item['title'] = title

            item['url'] = url

            item['date'] = date

            yield item

3.修改pipelines.py文件：

from itemadapter import ItemAdapter

from pymongo import MongoClient

from bson import ObjectId, json_util  

class AIPipeline:

    def open_spider(self, spider):

        # MongoDB 连接设置  

        self.MONGO_URI = 'mongodb://localhost:27017/'  

        self.DB_NAME = 'news'  # 数据库名称  

        self.COLLECTION_NAME = 'DGCU_AI'  # 集合名称

        self.client = MongoClient(self.MONGO_URI)

        self.db = self.client[self.DB_NAME]

        self.collection = self.db[self.COLLECTION_NAME]

        # 如果集合中已有数据，清空集合

        self.collection.delete_many({})

        print('爬取开始')

    def process_item(self, item, spider):

        title = item['title']

        url = item['url']

        date = item['date']

        # 将item转换为字典

        item_dict = {

            'title': title,

            'url': url,

            'date': date

        }

        # 插入数据

        self.collection.insert_one(item_dict)

        return item

   

    def close_spider(self, spider):

        print('爬取结束，显示数据库中所有元素')

        cursor = self.collection.find()

        for document in cursor:

            print(document)

        self.client.close()

4.修改settings.py 文件：

ITEM_PIPELINES = {

   'mySpider.pipelines.AIPipeline': 300,

}

5.运行run.py文件：

 from scrapy import cmdline

cmdline.execute("scrapy crawl dgcuAI -s LOG_ENABLED=False".split())

若遇到pymongo.errors.ServerSelectionTimeoutError，则参考该解决方法mongoDB 报错 MongoNetworkError: connect ECONNREFUSED 127.0.0.1:27017 ： 一个可行的解决方案 - pwindy - 博客园 (cnblogs.com) 运行结果：

6.在MongoDB数据库中验证 

# 在cmd中输入以下命令，查看数据库中的数据：
 > mongosh      # 启动mongoDB
 > show dbs      # 查看所有数据库
 > use news      # 使用news数据库
 > show collections        # 查看当前数据库的所有集合
 > db.DGCU_AI.find()        # 查看DGCU_AI集合中的所有文档