第三章 Python 数据操作基础
3.1 Python 基础数据结构操作
Python 最常用用来临时存放采集数据的结构:列表(list)、字典(dict)。
- 列表:有序,可以存多条数据,用下标取值,适合存放一组同类数据
- 字典:键值对形式,适合保存一条结构化数据(标题、链接、时间这类一一对应的信息)
-
# ========== 列表 list 演示 ========== # 定义列表,存放多条新闻标题 news_list = ["人工智能发展报告", "高考政策解读", "考研通知"] print("第一个新闻:", news_list[0]) # 添加一条新数据到列表末尾 news_list.append("中小学新课标通知") print("添加后列表:", news_list) # 遍历列表,把全部内容打印出来 for title in news_list: print(title) # ========== 字典 dict 演示 ========== # 一条新闻,多个属性,用字典存储 news_info = { "title": "人工智能发展报告", "url": "https://edu.sina.cn/xxx", "publish_time": "2026-10-22", "source": "新浪教育" } # 根据键取出对应的值 print("新闻标题:", news_info["title"]) print("新闻链接:", news_info["url"])
知识点小结: 爬虫抓取到多条新闻时,一般一条新闻用字典,多条字典放进列表,方便后续统一保存到文件或者数据库。
3.2 文件读写与异常处理
我们可以把内存里的数据保存到本地文件(txt、csv),断电、关闭程序之后数据不会消失。
with open()写法会自动关闭文件,不用手动写 close (),推荐使用。
try...except异常处理:防止文件不存在、权限不足、编码错误导致程序直接崩溃。
# 【案例1】写入文本文件
try:
# w 模式:写入,会覆盖原有内容;encoding=utf-8防止中文乱码
with open("news.txt", "w", encoding="utf-8") as f:
f.write("新浪教育新闻采集记录\n")
f.write("第一条:人工智能发展报告\n")
print("txt文件写入成功!")
except Exception as err:
print("写入文件出错,原因:", err)
# 【案例2】读取文本文件
try:
with open("news.txt", "r", encoding="utf-8") as f:
content = f.read() # 一次性读取全部内容
print("读取到的内容:\n", content)
except Exception as err:
print("读取文件出错,原因:", err)
补充模式说明:
r:只读,文件不存在就报错w:只写,文件不存在就新建,存在就清空重写a:追加写入,不会清空旧内容,在文件末尾继续加内容
3.3 常用的数据处理库的使用 —— csv 库
csv 是表格文件,可以用 Excel 直接打开,是爬虫最常用的轻量存储方式,不需要安装数据库。 newline=""作用:Windows 系统下防止表格出现多余空行;utf-8-sig解决 Excel 打开中文乱码。
import csv
# 准备数据:列表里面套字典,多条新闻数据
news_data = [
{"title":"人工智能发展报告", "link":"https://edu.sina.cn/1"},
{"title":"高考政策解读", "link":"https://edu.sina.cn/2"},
{"title":"考研通知", "link":"https://edu.sina.cn/3"}
]
# 写入csv表格
with open("news_table.csv", "w", encoding="utf-8-sig", newline="") as csvfile:
# 定义表头(列名)
fieldnames = ["title", "link"]
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader() # 写入表头行
for row in news_data:
writer.writerow(row)
print("csv表格写入完成!")
# 读取csv表格
with open("news_table.csv", "r", encoding="utf-8-sig") as csvfile:
reader = csv.DictReader(csvfile)
for row in reader:
print(row["title"], " -- ", row["link"])
小结
第三章是爬虫的底层基础:
- 列表、字典:临时承载抓取回来的数据
- 文件读写:把数据落地保存到本地
- 异常捕获:提升代码容错能力,工程里必不可少
- csv 库:轻量化表格存储方案第四章 数据采集及存储
四章 数据采集及存储
本章核心:网络爬虫,通过代码请求网页,拿到网页 HTML,解析提取我们想要的新闻标题、链接,然后存储(csv / MySQL)。
⚠️爬虫规范重点:
- 先看网站 robots.txt 协议,遵守网站规定,不爬禁止访问的路径
- 设置 User-Agent 伪装成浏览器,不然服务器会拒绝访问
- 不要疯狂高频请求网站,给网站造成压力,必要的时候 time.sleep 延时
4.3.1 数据的存储
两种主流存储方案对比:
- CSV 文件:简单、开箱即用、Excel 直接打开,适合小批量数据;缺点:不适合百万级海量数据,查询不方便
- MySQL 数据库:适合大量数据,支持条件查询、修改、删除;需要安装数据库服务,稍微复杂一点
4.3.2 数据库的连接和使用
使用pymysql库连接 MySQL,实现建表、插入数据。
前置:提前在本地装好 MySQL,创建数据库,修改代码里的账号密码为你自己的
import pymysql
# 1.连接数据库
conn = pymysql.connect(
host="127.0.0.1", # 本地数据库地址
user="root", # mysql用户名
password="123456", # 你的mysql密码
database="data_collect",# 提前建好的数据库名字
charset="utf8mb4" # 支持完整中文和表情
)
# 获取游标,用来执行sql语句
cur = conn.cursor()
# 2.建表SQL:如果news表不存在就创建
create_sql = """
CREATE TABLE IF NOT EXISTS news (
id INT PRIMARY KEY AUTO_INCREMENT COMMENT '主键自增id',
title VARCHAR(255) COMMENT '新闻标题',
link VARCHAR(255) COMMENT '新闻链接'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
"""
cur.execute(create_sql)
# 3.插入一条新闻数据
insert_sql = "INSERT INTO news(title,link) VALUES (%s, %s)"
cur.execute(insert_sql, ("人工智能发展报告", "https://edu.sina.cn/1"))
# 提交事务,数据才真正写入数据库
conn.commit()
print("数据插入mysql成功!")
# 关闭游标、关闭连接
cur.close()
conn.close()
4.3.3 网络爬虫和数据采集技术(本章重点)
依赖库安装命令(在 Miniconda 终端运行):
import requests
import csv
from bs4 import BeautifulSoup
# 伪装浏览器标识,很多网站会校验UA,没有UA直接拦截
HEADERS = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
# 目标网址:新浪教育频道
url = "https://edu.sina.cn/"
try:
# get请求访问网页,超时10秒,防止卡死
resp = requests.get(url, headers=HEADERS, timeout=10)
# 自动判断网页编码,解决中文乱码
resp.encoding = resp.apparent_encoding
print(f"网页响应状态码:{resp.status_code}")
# 状态码200代表访问成功
if resp.status_code != 200:
print("网页访问失败!")
else:
# 用lxml解析器把html文本变成可查找的soup对象
soup = BeautifulSoup(resp.text, "lxml")
# 查找所有新闻li标签(根据网页结构定位元素)
li_list = soup.find_all("li")
news_result = []
for li in li_list:
a_tag = li.find("a")
# 过滤掉没有a链接的无效标签
if a_tag is None:
continue
# strip=True 去掉标题前后多余空格、换行
news_title = a_tag.get_text(strip=True)
news_href = a_tag["href"]
# 过滤空标题
if news_title != "":
news_result.append([news_title, news_href])
# 把采集到的全部新闻保存进csv
with open("sina_news_spider.csv", "w", encoding="utf-8-sig", newline="") as f:
writer = csv.writer(f)
writer.writerow(["新闻标题", "新闻链接"])
writer.writerows(news_result)
print(f"采集完成,一共抓取 {len(news_result)} 条新闻,已经保存到sina_news_spider.csv")
except Exception as e:
print("爬虫运行异常:", e)
代码分步解释
requests.get():向网站服务器发送请求,拿回网页源代码 HTMLBeautifulSoup:解析杂乱的 HTML,提取我们想要的标签内容find_all():批量查找一类标签;find()只查找匹配到的第一个标签a_tag.get_text():取出标签里面的文字;a_tag["href"]取出链接属性
4.4 项目实践(项目开发流程)
一个完整数据采集项目的标准步骤:
- 项目需求分析:明确我们要采集什么数据(本次:新浪教育新闻标题 + 链接)、采集多少、存储在哪里
- 项目开发环境:Python + Miniconda,安装 requests、bs4、pymysql
- 项目实施过程:
- 分析网页结构,定位数据所在标签
- 编写请求代码,测试能否正常访问网页
- 编写解析代码,提取目标数据,做去空、去重清洗
- 编写存储代码,保存到 CSV 或者 MySQL
- 增加异常捕获,调试 bug
第四章小结
第四章学会了数据采集全链路:网络请求 → HTML 解析 → 数据提取 → 持久化存储。 CSV 适合快速开发、小量数据;MySQL 适合后期做数据管理、查询。爬虫一定要遵守网站规则,不能恶意爬取。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/2603_95722922/article/details/168758357



