使用 Python 实现一个简单的 web 爬虫（一文讲透）

Web爬虫入门：从零开始构建数据抓取工具

在当今信息爆炸的时代，Web爬虫技术已成为数据获取的重要手段。通过本文的实践教程，你将掌握使用 Python 实现一个简单的 web 爬虫的核心技巧。这种技术不仅能帮你快速收集互联网公开数据，还能为数据分析、信息监控等场景提供基础支持。

理解爬虫的基本工作原理

数据流动的三个阶段

Web爬虫的工作过程可以类比为图书馆的检索流程。首先，你需要找到目标书架（发送请求），然后浏览书架上的书籍（解析响应），最后将需要的内容记录在借阅卡上（数据存储）。这三个阶段构成了爬虫的完整生命周期。

HTTP请求与响应

当浏览器访问网页时，本质上是在发送HTTP请求并接收HTML响应。Python的requests库可以模拟这个过程，通过GET/POST等方法获取网页内容。响应数据通常包含我们需要的文本、图片等资源。

环境准备与基础库安装

必备开发工具

在开始编码前，需要安装 Python 3.8 及以上版本。建议使用PyCharm或VS Code作为开发环境，这些IDE能提供代码提示和调试功能，大幅提升开发效率。

pip install requests beautifulsoup4

安装依赖库

使用pip安装两个核心库：

  1. requests：用于发送网络请求
  2. beautifulsoup4：用于解析HTML结构

这两个库的组合如同汽车的引擎和导航系统，前者负责获取网页数据，后者帮助我们在数据海洋中找到目标。

构建第一个简单爬虫

发送GET请求获取网页

import requests

url = "https://example.com"
response = requests.get(url)  # 向目标网站发送GET请求

if response.status_code == 200:
    print("成功获取网页内容")
    print(response.text[:500])  # 打印前500字符
else:
    print(f"请求失败，状态码：{response.status_code}")

解析HTML结构

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'html.parser')  # 创建BeautifulSoup对象

for link in soup.find_all('a'):
    print(link.get('href'))  # 输出每个超链接的地址

title = soup.find('h1').text  # 找到第一个h1标签
print("页面主标题：", title)

数据存储方案

import json

data = {
    "title": title,
    "links": [link.get('href') for link in soup.find_all('a')]
}

with open('example_data.json', 'w', encoding='utf-8') as f:
    json.dump(data, f, ensure_ascii=False, indent=2)

增强爬虫功能与异常处理

设置请求头伪装浏览器

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

response = requests.get(url, headers=headers)

处理常见网络错误

try:
    response = requests.get(url, timeout=10)  # 设置10秒超时
    response.raise_for_status()  # 自动抛出HTTP错误
except requests.exceptions.HTTPError as errh:
    print(f"HTTP错误：{errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"连接错误：{errc}")
except requests.exceptions.Timeout as errt:
    print(f"请求超时：{errt}")
except requests.exceptions.RequestException as err:
    print(f"其他错误：{err}")

添加延迟避免服务器压力

import time

time.sleep(2)  # 每次请求间隔2秒

数据提取的进阶技巧

定位特定元素

news_titles = soup.find_all('div', class_='news-title')

for title in news_titles:
    print(title.text.strip())  # 去除前后空格并输出文本

结构化数据提取案例

以抓取新闻网站为例，我们可以按以下步骤处理：

news_data = []

for item in soup.select('.news-item'):
    title = item.select_one('.title').text
    link = item.select_one('a')['href']
    news_data.append({
        "标题": title,
        "链接": link
    })

数据清洗与格式化

clean_links = [link for link in links if not link.startswith('javascript')]

date_str = soup.find('span', class_='date').text
import re
match = re.search(r'(\d{4}-\d{2}-\d{2})', date_str)
if match:
    print("标准日期格式：", match.group(1))

遵守网络爬虫的道德规范

识别robots.txt规则

每个网站的robots.txt文件都像一份"游客守则"，明确哪些区域允许爬虫进入。可以通过如下方式查看：

robots_url = url + "/robots.txt"
response = requests.get(robots_url)
print(response.text)

合理设置爬取频率

建议遵循"3秒原则"，即在两次请求之间至少等待3秒。这相当于在图书馆阅读时，给其他读者留出足够时间。

法律与伦理考量

  1. 不抓取用户隐私数据
  2. 避免影响网站正常运营
  3. 尊重版权信息
  4. 不进行恶意爬取行为

实战项目：构建天气数据爬虫

项目目标与结构设计

我们将创建一个爬虫，从某天气网站抓取未来7天的温度数据。项目结构包含：

  • 请求模块：获取网页内容
  • 解析模块：提取天气信息
  • 存储模块：保存为CSV格式

完整代码实现

import requests
from bs4 import BeautifulSoup
import time
import csv

url = "https://weather.example.com/beijing"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}
output_file = "beijing_weather.csv"

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()
except Exception as e:
    print("请求失败：", e)
    exit()

soup = BeautifulSoup(response.text, 'html.parser')
weather_cards = soup.select('.weather-card')

with open(output_file, 'w', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(['日期', '最高温度', '最低温度', '天气状况'])
    
    for card in weather_cards:
        date = card.select_one('.date').text
        high = card.select_one('.high').text.replace('℃', '')
        low = card.select_one('.low').text.replace('℃', '')
        condition = card.select_one('.condition').text
        
        writer.writerow([date, high, low, condition])
        time.sleep(1)  # 每次循环间隔1秒

代码调试技巧

  1. 使用print(response.text)检查响应内容
  2. 在浏览器开发者工具中查看元素结构
  3. 通过soup.prettify()查看格式化HTML
  4. 添加日志输出记录爬取进度

结语

通过本文的学习，你应该已经掌握了使用 Python 实现一个简单的 web 爬虫的基本流程。从发送请求到解析数据，再到存储和异常处理，这些技能构成了爬虫开发的完整知识链。记住，优秀的爬虫开发者不仅要技术过硬，更要遵守网络规范，做一个负责任的数据采集者。

建议读者继续探索更高级的爬虫技术，如使用Scrapy框架、处理JavaScript渲染页面（Selenium）、构建分布式爬虫等。在实际开发中，还可以通过添加代理IP、模拟登录等方式应对更复杂的场景。记住，技术的价值在于创造，而非破坏，愿你用Python爬虫技术发掘互联网中的有用信息。