Crawlee入门指南：JavaScript爬虫框架快速上手

1. 为什么选择Crawlee作为你的第一个爬虫工具

作为一个从零开始接触网络爬虫的新手，你可能已经被Python的Scrapy、BeautifulSoup这些名词绕晕了。三年前我第一次接触爬虫时，花了两周时间才让第一个爬虫跑起来。直到发现了Crawlee这个神器，才明白原来爬虫可以如此简单。

Crawlee是基于JavaScript/TypeScript的现代爬虫框架，它最大的特点就是"开箱即用"。不需要配置复杂的开发环境，不需要处理繁琐的代理设置，甚至不需要了解HTTP协议细节。就像它的名字一样（Crawl+Easy），让爬取变得轻而易举。

我最近帮一个完全没编程基础的朋友用Crawlee抓取电商数据，从安装到运行第一个爬虫只用了不到20分钟。这让我意识到，是时候写一份真正面向小白的教程了。

2. 环境准备与基本配置

2.1 安装Node.js运行环境

Crawlee基于Node.js，所以首先需要安装Node环境：

# Windows用户可以直接从官网下载安装包
# Mac用户推荐使用Homebrew安装
brew install node

# 安装完成后检查版本
node -v
npm -v

注意：建议安装Node.js 16.x或以上版本，避免兼容性问题。如果已经安装过旧版本，可以使用nvm工具管理多版本。

2.2 创建项目目录并初始化

mkdir my-first-crawler
cd my-first-crawler
npm init -y
npm install crawlee

这会在当前目录创建一个package.json文件，并安装Crawlee及其所有依赖。

2.3 配置基础爬虫脚本

创建一个名为 basic-crawler.js 的文件：

import { PlaywrightCrawler } from 'crawlee';

const crawler = new PlaywrightCrawler({
    async requestHandler({ request, page }) {
        console.log(`Processing: ${request.url}`);
        const title = await page.title();
        console.log(`Title: ${title}`);
    }
});

await crawler.run(['https://example.com']);

这个最简单的爬虫会：

1. 访问example.com
2. 获取页面标题
3. 打印到控制台

运行它：

node basic-crawler.js

3. 核心功能深度解析

3.1 四种爬虫类型对比

Crawlee提供了四种爬虫类型，适应不同场景：

类型	适用场景	特点

转载自 CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/weixin_33416697/article/details/166196211