爬虫技术进阶：第二天实战与核心技巧

理解HTTP请求与响应

HTTP协议是爬虫的基础，掌握GET/POST请求的区别至关重要。GET请求参数暴露在URL中，适用于简单数据获取；POST请求将数据放在请求体中，适合提交表单或敏感信息。使用Chrome开发者工具分析Network面板，观察请求头（Headers）和响应体（Response）结构，重点关注User-Agent、Cookie等关键字段。

动态页面处理技巧

传统爬虫难以处理JavaScript渲染的内容。可通过Selenium或Playwright等工具模拟浏览器操作，等待元素加载完成后再提取数据。例如使用Selenium的显式等待：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
element = WebDriverWait(driver, 10).until(
    lambda x: x.find_element(By.ID, "dynamic-content"))

数据存储方案对比

临时数据可用JSON或CSV存储，结构化数据建议使用SQLite或MySQL。MongoDB适合非结构化数据存储。SQLite示例：

import sqlite3
conn = sqlite3.connect('data.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS articles (title TEXT, url TEXT)')

反爬策略应对

设置合理请求间隔（如3-5秒），使用随机User-Agent和代理IP池。Requests库配合fake-useragent实现：

from fake_useragent import UserAgent
headers = {'User-Agent': UserAgent().random}
proxies = {'http': 'http://proxy.example.com:8080'}
response = requests.get(url, headers=headers, proxies=proxies)

XPath与CSS选择器精要

XPath的//div[@class="content"]/a/@href可提取特定属性，CSS选择器的div.content > a::text适合文本提取。BeautifulSoup结合lxml解析效率更高：

soup = BeautifulSoup(html, 'lxml')
titles = soup.select('h1.article-title')
links = [a['href'] for a in soup.find_all('a', class_='external')]

异常处理机制

网络请求需包含超时和重试逻辑，使用retrying库自动化处理：

from retrying import retry
@retry(stop_max_attempt_number=3, wait_fixed=2000)
def safe_request(url):
    return requests.get(url, timeout=5)

调试与日志记录

配置日志系统记录运行状态，方便排查问题：

import logging
logging.basicConfig(
    filename='spider.log',
    level=logging.INFO,
    format='%(asctime)s - %(levelname)s - %(message)s')

性能优化要点

异步请求可显著提升效率，aiohttp示例：

import aiohttp
async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

法律与伦理边界

遵守robots.txt协议，尊重网站版权声明。设置爬虫速率不超过人类浏览速度，避免对目标服务器造成负担。商业用途前务必确认数据使用权限。