1. 项目缘起与整体思路拆解
1.1 为什么选择西瓜视频作为练手目标
做爬虫练手，选目标站点是第一步，也是最关键的一步。我试过不少视频平台，最后发现西瓜视频对新手相对友好——它的网页端视频加载机制比较透明，m3u8 索引文件没有做太复杂的加密，请求头校验也不算严苛。对于想学习 Python 爬虫 和 m3u8 视频流解析 的人来说，这是一个很好的入门级实战场景。
先说清楚这个项目到底在做什么：我们通过 Python 的 requests 库向西瓜视频的网页接口发起请求，从返回的 HTML 或 JSON 数据中提取出 m3u8 索引文件的地址，然后解析这个索引文件，拿到所有 ts 分片视频的 URL，最后用 FFmpeg 把这些分片批量下载并合并成一个完整的 mp4 文件。整个链路涉及三个核心技术点： 网络请求与数据提取 、 m3u8 索引解析 、 FFmpeg 批量处理 。
适合谁来参考？如果你已经装好了 Python，懂一点 requests 库的基本用法，知道 HTML 是什么东西，那就可以直接跟着操作。完全零基础也能看，但建议先把 Python 环境配好，不然卡在安装环节会很痛苦。
1.2 整体技术方案的设计逻辑
整个方案我拆成了四层，每一层各司其职：
- 第一层：请求层 。用 requests 模拟浏览器向西瓜视频页面发起 GET 请求，拿到页面源码。这里核心要解决的是请求头伪装问题，User-Agent、Referer 这些字段必须带对，否则服务器直接返回 403。
- 第二层：解析层 。从页面源码中定位 m3u8 地址。西瓜视频通常会把播放地址放在页面的 JavaScript 变量里，或者通过 XHR 请求单独返回 JSON 数据。我实测下来，直接抓页面源码然后用正则匹配
m3u8关键字是最快的方式。 - 第三层：下载层 。拿到 m3u8 文件后，解析出所有 ts 分片的 URL 列表。这里有两种做法：一是用 Python 逐个下载 ts 文件再合并，二是直接交给 FFmpeg 处理。我强烈推荐第二种，原因后面会详细说。
- 第四层：合并层 。FFmpeg 读取 m3u8 索引文件，自动按顺序下载所有 ts 分片并合并为 mp4。一条命令搞定，省去了手动拼接的麻烦。
为什么这么设计？因为 Python 擅长做请求和解析，FFmpeg 擅长做视频流处理，各用各的长处。如果你非要用 Python 从头到尾自己下载 ts 再合并，也不是不行，但代码量大、容易出错，而且下载速度远不如 FFmpeg 内置的多线程机制。
注意：整个项目仅用于个人学习和技术研究，请勿用于任何商业用途或大规模批量抓取，尊重内容创作者的劳动成果。
2. 环境准备与核心工具选型
2.1 Python 环境搭建与必备库安装
Python 安装本身没什么好说的，官网下载安装包，勾选“Add to PATH”，一路下一步就行。我建议用 Python 3.8 以上的版本，太老的版本在某些库的兼容性上会出问题。安装完之后，打开终端验证一下：
python --version
pip --version
两个命令都能正常输出版本号，说明环境没问题。接下来安装必备库：
pip install requests
requests 是整个项目唯一必须的第三方库。有人可能会问要不要装 lxml 或 BeautifulSoup，我的经验是：对于西瓜视频这个场景，正则表达式足够了，没必要引入额外的解析库。当然，如果你后续想扩展到其他站点，装一个 BeautifulSoup 备用也无妨。
关于 IDE 的选择，VS Code 和 PyCharm 都行。我个人习惯用 VS Code，轻量、启动快，装个 Python 插件就能跑。如果你用 VS Code，记得在设置里把 Python 解释器路径选对，不然会出现“模块找不到”的问题。
2.2 FFmpeg 的下载与配置要点
FFmpeg 是这个项目的核心工具，没有它，你拿到 m3u8 地址也只能干瞪眼。下载渠道方面，Windows 用户直接去官网找 essentials build 版本就行，下载下来是个 7z 压缩包，解压到一个固定目录，比如 C:\ffmpeg 。
解压完之后，关键一步是把 bin 目录加到系统环境变量 PATH 里。具体操作：右键“此电脑” → 属性 → 高级系统设置 → 环境变量 → 在“系统变量”里找到 Path → 编辑 → 新建 → 填入 C:\ffmpeg\bin → 确定。
验证安装是否成功：
ffmpeg -version
能输出版本信息就说明配置好了。如果提示“不是内部或外部命令”，那就是 PATH 没配对，回去检查一下路径有没有写错。
Linux 用户更简单，直接用包管理器：
sudo apt install ffmpeg
macOS 用户用 Homebrew：
brew install ffmpeg
实操心得：FFmpeg 的版本不需要追求最新，4.x 系列就很稳定。我试过 4.4 和 6.0 两个版本，对于 m3u8 下载合并这个场景，表现没有明显差异。反而是一些太新的版本在某些老系统上会有兼容性问题，所以没必要追新。
2.3 请求头伪装的关键参数说明
西瓜视频的服务器会检查请求头，如果发现你是脚本直接发起的请求，大概率返回 403 或者空数据。所以请求头必须伪装到位。以下是我实测有效的请求头配置：
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://www.ixigua.com/",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
}
转载自 CSDN-专业IT技术社区
原文链接：https://blog.csdn.net/weixin_31856057/article/details/166049623
