使用 Python 爬取 CSDN 的博客文章需要谨慎处理，因为涉及到版权和法律问题。根据相关法律和平台规定，未经授权爬取他人博客内容可能构成侵权。因此，以下内容仅用于学习和研究目的，且建议在合法合规的前提下进行操作。

爬取 CSDN 博客文章的步骤

1. 分析目标页面

CSDN 博客页面的结构通常包含文章列表、分页链接和文章内容。可以通过浏览器开发者工具查看页面的 HTML 结构，确定文章标题、链接和内容的标签。

2. 使用 requests 获取页面内容

使用 requests 库发送 HTTP 请求，获取博客页面的 HTML 内容。

Python复制

import requests

url = "https://blog.csdn.net/your_blog_username"  # 替换为博主的用户名
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.190 Safari/537.36"
}
response = requests.get(url, headers=headers)
html_content = response.text

3. 使用 BeautifulSoup 解析页面

使用 BeautifulSoup 解析 HTML 内容，提取文章的标题、链接和分页链接。

Python复制

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

# 提取文章链接
articles = soup.find_all('h4', class_='title')
article_links = [a.find('a')['href'] for a in articles]

# 提取分页链接
pagination = soup.find_all('a', class_='pagination-item')
page_links = [p['href'] for p in pagination]

4. 遍历分页并提取文章内容

通过分页链接逐页获取文章列表，并提取每篇文章的内容。

Python复制

def get_article_content(article_url):
    response = requests.get(article_url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    title = soup.find('h1', class_='title-article').text.strip()
    content = soup.find('div', class_='article_content').text.strip()
    return title, content

for link in article_links:
    title, content = get_article_content(link)
    print(f"Title: {title}\nContent: {content[:100]}...")  # 打印部分内容

5. 保存文章内容

将提取的文章内容保存到本地文件中。

Python复制

import os

def save_article(title, content):
    dir = "articles"
    if not os.path.exists(dir):
        os.makedirs(dir)
    file_path = os.path.join(dir, f"{title}.txt")
    with open(file_path, 'w', encoding='utf-8') as file:
        file.write(content)

for link in article_links:
    title, content = get_article_content(link)
    save_article(title, content)

注意事项

1. 遵守法律法规：未经授权爬取他人博客内容可能构成侵权。请确保您的行为符合相关法律法规。

2. 尊重版权：CSDN 博客内容受版权保护，未经授权不得用于商业用途。

3. 避免频繁请求：频繁请求可能导致 IP 被封禁，建议合理控制请求频率。

4. 使用代理：如果需要频繁爬取，建议使用代理服务器。

希望以上内容对您有所帮助！