Python selenium 库（完整教程）

什么是 Python selenium 库？它能帮你做什么？

你有没有遇到过这样的场景：想从某个网站批量获取数据，但网站没有开放 API，或者数据需要登录后才能查看？这时候，手动复制粘贴显然不现实。这时候，Python selenium 库就是你的“自动化助手”。

简单来说，Python selenium 库是一个用于自动化浏览器操作的工具。它能像真人一样打开浏览器、点击按钮、输入文字、滑动页面，甚至处理弹窗和验证码（虽然验证码部分需要额外技术配合）。它特别适合那些“界面复杂、需要交互”的网页自动化任务。

想象一下，你有一个任务需要每天登录某个系统，填写表单，下载报表。如果手动操作，每天花 30 分钟；但用 Python selenium 库，写个脚本，一键执行，10 秒搞定。这就是它最强大的地方。

Python selenium 库的核心是 WebDriver，它通过与浏览器通信（比如 Chrome、Firefox）来实现自动化。它不是“爬虫”那么简单，而是“模拟用户行为”的高级工具。所以，如果你的网站依赖 JavaScript 动态加载内容，或者需要登录状态，Python selenium 库往往比 requests 更有效。

安装与环境配置：迈出第一步

在开始之前，你需要准备好运行环境。首先确保你的电脑上安装了 Python 3.7 或更高版本。然后通过 pip 安装 selenium：

pip install selenium

安装完成后，别忘了下载浏览器驱动。比如你打算用 Chrome 浏览器，就需要下载 ChromeDriver。你可以访问 https://sites.google.com/chromium.org/driver/ 下载对应版本。

注意：ChromeDriver 的版本必须与你安装的 Chrome 浏览器版本匹配。否则会报错，比如 session not created: This version of ChromeDriver only supports Chrome version XXX。

下载后，将 chromedriver 文件放到系统路径中，或者放在你的项目目录下，方便调用。

下面是一个最基础的测试代码，用来验证是否配置成功：

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()

driver.get("https://www.baidu.com")

print("页面标题是：", driver.title)

import time
time.sleep(3)

driver.quit()

✅ 注释说明：

• webdriver.Chrome()：启动 Chrome 浏览器实例。
• driver.get("https://www.baidu.com")：打开指定 URL。
• driver.title：获取当前页面的标题。
• time.sleep(3)：暂停 3 秒，让你能看清浏览器打开的过程。
• driver.quit()：关闭浏览器并释放资源。

运行这段代码，你会看到浏览器自动打开百度首页，打印出标题，然后关闭。如果成功，恭喜你，环境配置完成！

定位元素：找到你想操作的“目标”

在网页上做自动化操作，第一步就是“找到”你要点击或填写的元素。Python selenium 库提供了多种定位方式，就像地图上的坐标，帮你精准找到目标。

常见的定位方式有：

下面以百度搜索框为例，展示如何用不同方式定位：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()

driver.get("https://www.baidu.com")

search_box = driver.find_element(By.ID, "kw")
search_box.send_keys("Python selenium 库")

search_button = driver.find_element(By.CSS_SELECTOR, "input#su")
search_button.click()

wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.ID, "content_left")))

print("搜索结果加载完成，当前页面标题为：", driver.title)

driver.quit()

✅ 注释说明：

• find_element(By.ID, "kw")：通过 ID 找到搜索框。
• send_keys("Python selenium 库")：向输入框输入文字。
• click()：模拟点击按钮。
• WebDriverWait(driver, 10)：等待最多 10 秒，直到指定条件满足。
• EC.presence_of_element_located((By.ID, "content_left"))：等待“content_left”元素出现，表示搜索结果已加载。

📌 小贴士：推荐优先使用 CSS Selector 和 XPath，它们支持更复杂的定位逻辑，比如“第 3 个 div 下的 a 标签”。

模拟用户行为：点击、输入、滚动

掌握了元素定位，接下来就是模拟真实用户的操作了。Python selenium 库支持几乎所有常见的用户交互行为。

输入与清空

input_field = driver.find_element(By.ID, "kw")
input_field.clear()  # 清空已有内容
input_field.send_keys("自动化测试")

点击与提交

button = driver.find_element(By.ID, "su")
button.click()

form = driver.find_element(By.TAG_NAME, "form")
form.submit()  # 会提交整个表单

滚动页面

有时页面内容很长，需要滚动到某个位置才能看到元素。Python selenium 库提供了 execute_script 方法执行 JavaScript，实现滚动。

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

driver.execute_script("window.scrollTo(0, 500);")

element = driver.find_element(By.ID, "some_id")
driver.execute_script("arguments[0].scrollIntoView();", element)

✅ 注释说明：

• clear()：清空输入框内容。
• execute_script()：执行 JavaScript 代码，是操作页面的“万能钥匙”。

等待机制：避免“过早操作”的陷阱

在自动化过程中，最常见也最头疼的问题是“页面还没加载完，脚本就继续执行了”。这会导致 NoSuchElementException 错误。

比如你写代码点击“提交”按钮，但页面还在加载，按钮还没出现，程序就会报错。

解决方法就是使用显式等待（Explicit Wait）。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver, 10)

element = wait.until(
    EC.presence_of_element_located((By.ID, "content_left"))
)

print("搜索结果已成功加载")

✅ 注释说明：

• WebDriverWait(driver, 10)：设置最长等待时间 10 秒。
• until(...)：等待条件满足为止。
• EC.presence_of_element_located：等待元素在 DOM 中存在。
• 其他常见条件：visibility_of_element_located（可见）、element_to_be_clickable（可点击）等。

显式等待比 time.sleep() 更智能，它不会无意义地等待，而是“一旦条件满足就继续”，大大提升脚本效率。

实战案例：自动登录并抓取数据

下面是一个完整的实战案例：模拟登录某个测试网站，并抓取登录后才能看到的数据。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

driver = webdriver.Chrome()

try:
    # 打开登录页面
    driver.get("https://example-login.com")

    # 等待用户名输入框出现
    username = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.NAME, "username"))
    )
    username.send_keys("testuser")

    # 输入密码
    password = driver.find_element(By.NAME, "password")
    password.send_keys("testpass")

    # 点击登录按钮
    login_button = driver.find_element(By.ID, "login-btn")
    login_button.click()

    # 等待登录成功，跳转到主页
    WebDriverWait(driver, 10).until(
        EC.title_contains("欢迎")
    )
    print("登录成功！当前页面标题：", driver.title)

    # 抓取用户信息
    info = driver.find_element(By.ID, "user-info")
    print("用户信息：", info.text)

finally:
    # 无论如何都关闭浏览器
    driver.quit()

✅ 注释说明：

• try...finally：确保即使出错，也能关闭浏览器，避免资源泄露。
• title_contains("欢迎")：等待页面标题包含“欢迎”，表示登录成功。
• info.text：获取元素的文本内容。

这个案例完整展示了从打开页面、输入信息、点击按钮，到等待、抓取数据的全过程，是 Python selenium 库在实际项目中的典型应用。

总结：Python selenium 库的使用建议

Python selenium 库是一个功能强大、灵活可靠的浏览器自动化工具。它特别适合处理那些依赖 JavaScript、需要登录、或有复杂交互的网页任务。

但也要注意几点：

• 不要滥用，避免对目标网站造成过大压力。
• 尽量使用显式等待，避免硬编码 time.sleep()。
• 定位元素时，优先选择稳定、唯一的属性（如 ID 或 CSS Selector）。
• 建议在测试环境先验证脚本，再用于生产。

掌握 Python selenium 库，不仅能提升工作效率，还能让你在自动化、测试、数据采集等领域拥有更强的竞争力。希望这篇文章能帮你迈出第一步，真正用起来。