♡̶҉坠海꧔ꦿ℘564头像

《Python 数据操作基础与数据采集及存储》第三章、第四章学习笔记

第三章 Python 数据操作基础

3.1 Python 基础数据结构操作

Python 最常用用来临时存放采集数据的结构:列表(list)、字典(dict)。

  • 列表:有序,可以存多条数据,用下标取值,适合存放一组同类数据
  • 字典:键值对形式,适合保存一条结构化数据(标题、链接、时间这类一一对应的信息)
  • # ========== 列表 list 演示 ==========
    # 定义列表,存放多条新闻标题
    news_list = ["人工智能发展报告", "高考政策解读", "考研通知"]
    print("第一个新闻:", news_list[0])
    
    # 添加一条新数据到列表末尾
    news_list.append("中小学新课标通知")
    print("添加后列表:", news_list)
    
    # 遍历列表,把全部内容打印出来
    for title in news_list:
        print(title)
    
    # ========== 字典 dict 演示 ==========
    # 一条新闻,多个属性,用字典存储
    news_info = {
        "title": "人工智能发展报告",
        "url": "https://edu.sina.cn/xxx",
        "publish_time": "2026-10-22",
        "source": "新浪教育"
    }
    # 根据键取出对应的值
    print("新闻标题:", news_info["title"])
    print("新闻链接:", news_info["url"])
    

知识点小结: 爬虫抓取到多条新闻时,一般一条新闻用字典,多条字典放进列表,方便后续统一保存到文件或者数据库。

3.2 文件读写与异常处理

我们可以把内存里的数据保存到本地文件(txt、csv),断电、关闭程序之后数据不会消失。

with open()写法会自动关闭文件,不用手动写 close (),推荐使用。

try...except异常处理:防止文件不存在、权限不足、编码错误导致程序直接崩溃。

# 【案例1】写入文本文件
try:
    # w 模式:写入,会覆盖原有内容;encoding=utf-8防止中文乱码
    with open("news.txt", "w", encoding="utf-8") as f:
        f.write("新浪教育新闻采集记录\n")
        f.write("第一条:人工智能发展报告\n")
    print("txt文件写入成功!")
except Exception as err:
    print("写入文件出错,原因:", err)

# 【案例2】读取文本文件
try:
    with open("news.txt", "r", encoding="utf-8") as f:
        content = f.read()  # 一次性读取全部内容
    print("读取到的内容:\n", content)
except Exception as err:
    print("读取文件出错,原因:", err)

补充模式说明:

  • r:只读,文件不存在就报错
  • w:只写,文件不存在就新建,存在就清空重写
  • a:追加写入,不会清空旧内容,在文件末尾继续加内容

3.3 常用的数据处理库的使用 —— csv 库

csv 是表格文件,可以用 Excel 直接打开,是爬虫最常用的轻量存储方式,不需要安装数据库。 newline=""作用:Windows 系统下防止表格出现多余空行;utf-8-sig解决 Excel 打开中文乱码。

import csv

# 准备数据:列表里面套字典,多条新闻数据
news_data = [
    {"title":"人工智能发展报告", "link":"https://edu.sina.cn/1"},
    {"title":"高考政策解读", "link":"https://edu.sina.cn/2"},
    {"title":"考研通知", "link":"https://edu.sina.cn/3"}
]

# 写入csv表格
with open("news_table.csv", "w", encoding="utf-8-sig", newline="") as csvfile:
    # 定义表头(列名)
    fieldnames = ["title", "link"]
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()  # 写入表头行
    for row in news_data:
        writer.writerow(row)
print("csv表格写入完成!")

# 读取csv表格
with open("news_table.csv", "r", encoding="utf-8-sig") as csvfile:
    reader = csv.DictReader(csvfile)
    for row in reader:
        print(row["title"], " -- ", row["link"])

小结

第三章是爬虫的底层基础:

  1. 列表、字典:临时承载抓取回来的数据
  2. 文件读写:把数据落地保存到本地
  3. 异常捕获:提升代码容错能力,工程里必不可少
  4. csv 库:轻量化表格存储方案第四章 数据采集及存储

四章 数据采集及存储

本章核心:网络爬虫,通过代码请求网页,拿到网页 HTML,解析提取我们想要的新闻标题、链接,然后存储(csv / MySQL)。

⚠️爬虫规范重点:

  1. 先看网站 robots.txt 协议,遵守网站规定,不爬禁止访问的路径
  2. 设置 User-Agent 伪装成浏览器,不然服务器会拒绝访问
  3. 不要疯狂高频请求网站,给网站造成压力,必要的时候 time.sleep 延时

4.3.1 数据的存储

两种主流存储方案对比:

  1. CSV 文件:简单、开箱即用、Excel 直接打开,适合小批量数据;缺点:不适合百万级海量数据,查询不方便
  2. MySQL 数据库:适合大量数据,支持条件查询、修改、删除;需要安装数据库服务,稍微复杂一点

4.3.2 数据库的连接和使用

使用pymysql库连接 MySQL,实现建表、插入数据。

前置:提前在本地装好 MySQL,创建数据库,修改代码里的账号密码为你自己的

import pymysql

# 1.连接数据库
conn = pymysql.connect(
    host="127.0.0.1",       # 本地数据库地址
    user="root",            # mysql用户名
    password="123456",      # 你的mysql密码
    database="data_collect",# 提前建好的数据库名字
    charset="utf8mb4"       # 支持完整中文和表情
)
# 获取游标,用来执行sql语句
cur = conn.cursor()

# 2.建表SQL:如果news表不存在就创建
create_sql = """
CREATE TABLE IF NOT EXISTS news (
    id INT PRIMARY KEY AUTO_INCREMENT COMMENT '主键自增id',
    title VARCHAR(255) COMMENT '新闻标题',
    link VARCHAR(255) COMMENT '新闻链接'
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
"""
cur.execute(create_sql)

# 3.插入一条新闻数据
insert_sql = "INSERT INTO news(title,link) VALUES (%s, %s)"
cur.execute(insert_sql, ("人工智能发展报告", "https://edu.sina.cn/1"))

# 提交事务,数据才真正写入数据库
conn.commit()
print("数据插入mysql成功!")

# 关闭游标、关闭连接
cur.close()
conn.close()

4.3.3 网络爬虫和数据采集技术(本章重点)

依赖库安装命令(在 Miniconda 终端运行):

import requests
import csv
from bs4 import BeautifulSoup

# 伪装浏览器标识,很多网站会校验UA,没有UA直接拦截
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

# 目标网址:新浪教育频道
url = "https://edu.sina.cn/"

try:
    # get请求访问网页,超时10秒,防止卡死
    resp = requests.get(url, headers=HEADERS, timeout=10)
    # 自动判断网页编码,解决中文乱码
    resp.encoding = resp.apparent_encoding
    print(f"网页响应状态码:{resp.status_code}")
    # 状态码200代表访问成功
    if resp.status_code != 200:
        print("网页访问失败!")
    else:
        # 用lxml解析器把html文本变成可查找的soup对象
        soup = BeautifulSoup(resp.text, "lxml")
        # 查找所有新闻li标签(根据网页结构定位元素)
        li_list = soup.find_all("li")
        news_result = []
        for li in li_list:
            a_tag = li.find("a")
            # 过滤掉没有a链接的无效标签
            if a_tag is None:
                continue
            # strip=True 去掉标题前后多余空格、换行
            news_title = a_tag.get_text(strip=True)
            news_href = a_tag["href"]
            # 过滤空标题
            if news_title != "":
                news_result.append([news_title, news_href])

        # 把采集到的全部新闻保存进csv
        with open("sina_news_spider.csv", "w", encoding="utf-8-sig", newline="") as f:
            writer = csv.writer(f)
            writer.writerow(["新闻标题", "新闻链接"])
            writer.writerows(news_result)
        print(f"采集完成,一共抓取 {len(news_result)} 条新闻,已经保存到sina_news_spider.csv")

except Exception as e:
    print("爬虫运行异常:", e)

代码分步解释

  1. requests.get():向网站服务器发送请求,拿回网页源代码 HTML
  2. BeautifulSoup:解析杂乱的 HTML,提取我们想要的标签内容
  3. find_all():批量查找一类标签;find()只查找匹配到的第一个标签
  4. a_tag.get_text():取出标签里面的文字;a_tag["href"]取出链接属性

4.4 项目实践(项目开发流程)

一个完整数据采集项目的标准步骤:

  1. 项目需求分析:明确我们要采集什么数据(本次:新浪教育新闻标题 + 链接)、采集多少、存储在哪里
  2. 项目开发环境:Python + Miniconda,安装 requests、bs4、pymysql
  3. 项目实施过程:
    • 分析网页结构,定位数据所在标签
    • 编写请求代码,测试能否正常访问网页
    • 编写解析代码,提取目标数据,做去空、去重清洗
    • 编写存储代码,保存到 CSV 或者 MySQL
    • 增加异常捕获,调试 bug

第四章小结

第四章学会了数据采集全链路:网络请求 → HTML 解析 → 数据提取 → 持久化存储。 CSV 适合快速开发、小量数据;MySQL 适合后期做数据管理、查询。爬虫一定要遵守网站规则,不能恶意爬取。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/2603_95722922/article/details/168758357

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--