🌺The Begin🌺点点关注，收藏不迷路🌺

一、前言

倒排索引（Inverted Index） 是 Lucene 的灵魂，也是 Elasticsearch、Solr 能实现毫秒级搜索的核心基石。

绝大多数开发者都知道 Lucene 是搜索引擎内核，但很少有人能讲清楚：倒排索引到底是什么？数据如何存储？怎么实现快速检索？底层结构长什么样？

本文从倒排索引定义、核心结构、构建全流程、存储原理、检索逻辑、代码实现全方位深度解析，搭配流程图+结构图，带你彻底吃透 Lucene 倒排索引的底层实现。

---

二、什么是倒排索引？（正向 vs 倒排）

1. 正向索引（正排索引）

文档 → 关键词
适合查询文档内容，不适合搜索关键词。
比如：

• 文档1：我爱Java
• 文档2：我爱Lucene

查询包含Java的文档需要遍历所有文档，效率极低。

2. 倒排索引（核心）

关键词 → 文档列表
这是搜索引擎的核心结构：

• Java → [文档1]
• Lucene → [文档2]
• 我 → [文档1, 文档2]

输入关键词，直接定位文档，时间复杂度 O(1)。

3. 倒排索引标准结构

Lucene 倒排索引并非简单映射，而是由词典（Term Dictionary）+ 倒排表（Posting List） 组成：

关键词(Term)  →  文档ID列表(Posting List) + 频率 + 位置

---

三、Lucene 倒排索引核心组成部分

Lucene 倒排索引由 3 个核心模块构成，缺一不可：

1. Term（单词/词项）

分词后的最小单位，比如“我爱Lucene”分词为：我、爱、Lucene。

2. Term Dictionary（单词词典）

• 存储所有关键词；
• 采用 Trie 树/跳表/Block 结构；
• 支持快速查找（前缀搜索、模糊搜索）。

3. Posting List（倒排表）

记录每个关键词出现在哪些文档中，包含：

1. 文档ID (DocId)
2. 词频 (TF)
3. 位置 (Position)
4. 偏移量 (Offset)

---

四、Lucene 倒排索引构建完整流程（底层步骤 + 流程图）

倒排索引构建是 Lucene 写入数据的核心流程，分为 6 个标准步骤。

完整构建步骤

1. 文档采集：获取原始文档（文本、标题、内容等）。
2. 文本分词：使用 Analyzer 对文本分词，生成 Term 列表。
3. Term 处理：大小写转换、去停用词、词根还原。
4. 建立映射：建立 Term → DocId、频率、位置映射。
5. 写入内存缓冲区：生成倒排表结构。
6. 生成段文件（Segment）：刷入磁盘，生成 .tip、.doc、.pos 等索引文件。

倒排索引构建流程图

---

五、Lucene 倒排索引底层存储结构

Lucene 会把倒排索引存储为磁盘文件，这是真正的物理结构：

1. 核心索引文件

文件后缀	作用
.tip	单词词典索引（Term Index）
.tim	单词词典（Term Dictionary）
.doc	文档编号映射
.pos	词项位置信息
.pay	偏移量、有效载荷
.fdt	原始文档存储

2. 逻辑存储结构（最直观）

Term: Java
├── Posting List
│   ├── DocId: 1, TF: 2, Position: [3,5]
│   ├── DocId: 3, TF: 1, Position: [2]
└── Term Info: DocFreq=2

---

六、Lucene 倒排索引检索流程

构建完索引后，搜索流程如下：

检索步骤

1. 用户输入搜索关键词；
2. 关键词分词生成 Term；
3. 在 Term Dictionary 中查找 Term；
4. 获取 Posting List（文档ID列表）；
5. 根据 DocID 取出原始文档；
6. 相关性排序后返回结果。

检索流程图

---

七、手写实现：Lucene 倒排索引核心代码（极简版）

下面用 Java 实现极简版倒排索引，帮助你理解底层原理。

1. 核心思路

• 使用 Map<String, List> 模拟倒排表
• String = Term
• List = DocId 列表

2. 代码实现

import java.util.*;

/**
 * 简易版 Lucene 倒排索引实现
 */
public class SimpleInvertedIndex {
    // 倒排索引核心存储：Term -> DocId列表
    private final Map<String, List<Integer>> invertedIndex = new HashMap<>();

    /**
     * 添加文档，构建索引
     * @param docId 文档ID
     * @param content 文档内容
     */
    public void addDocument(int docId, String content) {
        // 1. 分词（简单按空格分词）
        String[] terms = content.split(" ");

        // 2. 构建倒排索引
        for (String term : terms) {
            invertedIndex.computeIfAbsent(term, k -> new ArrayList<>());
            List<Integer> docIds = invertedIndex.get(term);
            if (!docIds.contains(docId)) {
                docIds.add(docId);
            }
        }
    }

    /**
     * 搜索关键词
     */
    public List<Integer> search(String term) {
        return invertedIndex.getOrDefault(term, Collections.emptyList());
    }

    // 测试
    public static void main(String[] args) {
        SimpleInvertedIndex index = new SimpleInvertedIndex();

        // 添加文档
        index.addDocument(1, "我爱 Java 编程");
        index.addDocument(2, "Lucene 是搜索引擎");
        index.addDocument(3, "Java 是世界上最好的语言");

        // 搜索
        System.out.println(index.search("Java"));  // 输出 [1,3]
    }
}

3. 运行结果

[1, 3]

这就是倒排索引最本质的实现。

---

八、Lucene 倒排索引的高级优化机制

Lucene 真正的倒排索引做了大量底层优化：

1. 单词索引（Term Index）

• 用 FST 有限状态转换器 存储；
• 内存占用极小，查询速度极快；
• 支持前缀、模糊、正则快速匹配。

2. 倒排表压缩（Posting Encoding）

• 使用 FOR、PFOR 压缩算法；
• 大大减少磁盘占用；
• 提升 IO 效率。

3. 跳跃表（Skip List）

• 加快多个 Term 交集查询；
• 提高 AND / OR 查询速度。

4. 段（Segment）存储

• 索引分段存储，不可变；
• 支持高并发读写；
• 后台段合并提升性能。

---

九、倒排索引为什么这么快？（核心原因）

1. 空间换时间：提前构建索引，避免全表扫描；
2. FST 高效词典：内存占用低、查找速度 O(1)；
3. 倒排表直接映射：关键词直接定位文档；
4. 分段不可变结构：无锁、高并发、缓存友好。

---

十、总结

Lucene 倒排索引是搜索引擎的核心地基，ES 高性能完全依赖它。

核心总结：

1. 倒排索引 = 单词词典（Term Dictionary）+ 倒排表（Posting List）；
2. 流程：文档 → 分词 → 构建映射 → 生成段文件 → 高速检索；
3. 存储：基于 FST + 压缩算法 + 分段不可变结构；
4. 优势：毫秒级检索、高并发、高压缩比、高效模糊匹配。

理解倒排索引，你就真正理解了搜索引擎的底层灵魂。

---

核心要点回顾

1. 倒排索引：关键词 → 文档列表，是搜索快的根本原因；
2. 构建流程：分词 → 生成Term → 构建倒排表 → 写入磁盘段；
3. 底层文件：.tip（词典索引）、.tim（词典）、.pos（位置）；
4. 高速原因：FST结构、数据压缩、分段存储、跳跃表加速。

如果你需要，我还可以为你写：

• Lucene 分词器原理
• Lucene 段合并机制
• Lucene FST 算法详解
• Lucene VS ES 底层关系

🌺The End🌺点点关注，收藏不迷路🌺

转载自CSDN-专业IT技术社区

原文链接：https://blog.csdn.net/qq_41840843/article/details/160829897