Python爬虫入门关键在于掌握requests+BeautifulSoup处理静态页面，动态内容则用Ajax分析或Selenium；需注意反爬策略、请求规范及编码问题。

Python爬虫并不难上手，关键在于理解请求-响应机制、HTML结构和数据提取逻辑。掌握 requests + BeautifulSoup 组合，再配合少量正则或 re 模块，就能应对大多数静态页面抓取需求；遇到动态加载内容时，再引入 Selenium 或分析 Ajax 接口即可。

一、环境准备与第一个爬虫

安装核心库只需两条命令：

• pip install requests beautifulsoup4（基础抓取+解析）
• pip install lxml（可选，提升 BeautifulSoup 解析速度）

写一个获取网页标题的小例子：

import requests
from bs4 import BeautifulSoup
url = "https://www./link/1536687004241eb9faeee0e227b58c60"
res = requests.get(url)
res.raise_for_status()  # 检查请求是否成功
soup = BeautifulSoup(res.text, "lxml")
title = soup.title.string.strip()
print(title)  # 输出：Herman Melville - Moby-Dick

二、精准提取网页数据的常用方法

网页中真正需要的数据往往藏在特定标签、属性或层级里。掌握以下技巧能大幅提高提取准确率：

• 用 soup.find("tag", {"attr": "value"}) 定位唯一元素，比如 soup.find("div", class_="content")
• 用 soup.select("css_selector") 批量提取，如 soup.select("a[href^='https']") 获取所有外链
• 对文本内容做清洗：用 .get_text(strip=True) 去空格换行，避免 \n\t 干扰
• 提取属性值用 elem.get("href") 或 elem["href"]（后者要求属性一定存在）

三、绕过简单反爬与规范请求行为

很多网站会检查 User-Agent 或拒绝无头请求。添加基础 headers 就能解决大部分 403 问题：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
res = requests.get(url, headers=headers)

其他实用建议：

• 加 time.sleep(1) 控制请求频率，尊重 robots.txt 和网站运营规则
• 用 session = requests.Session() 复用连接，适合多页登录或带 Cookie 场景
• 遇到编码乱码，先看 res.encoding，再手动设为 res.encoding = "utf-8" 或用 res.content.decode("gbk")

四、处理动态渲染页面的两种思路

当页面内容由 JavaScript 渲染（如滚动加载、点击展开），requests 拿不到真实数据，这时有两个主流方案：

• 分析 Ajax 接口：打开浏览器开发者工具（F12）→ Network → 切到 XHR，刷新页面，找返回 JSON 的请求地址，直接 requests 调用它
• 用 Selenium 模拟浏览器：适合复杂交互，但启动慢、资源占用高。简单示例：
  

  from selenium import webdriver
  
    driver = webdriver.Chrome()
  
    driver.get(url)
  
    title = driver.title
  
    driver.quit()

优先尝试接口分析，效率高、稳定性好；Selenium 留作兜底手段。