Chonkie

轻量级、高性能的文本分块库，专为 Retrieval-Augmented Generation（RAG）应用优化。

社区:

AI 开发者工具调研工具

访问官网

Atoms - 用 AI 构建网站与应用，无需编码

Atoms

Sponsor

无需编码，几分钟内验证创意、搭建网站和应用，获取首批客户。

概览
替代方案
数据分析

Atoms - 用 AI 构建网站与应用，无需编码

产品概览

什么是Chonkie？

Chonkie 是一个开源 Python 库，专为高效地将大型复杂文档切分为有意义、独立的片段，用于 Retrieval-Augmented Generation 工作流。支持多种分块策略，包括基于 token、单词、句子和语义的分块，开发者可根据具体 NLP 与机器学习需求自定义文本切分方式。Chonkie 安装体积小、速度快，有助于加速处理并优化大语言模型的上下文管理，帮助突破 token 限制并提升检索准确率。

主要功能

多种分块方法
支持多种分块器，如 TokenChunker、WordChunker、SentenceChunker、SemanticChunker 和 SDPMChunker，实现灵活的文本切分。
轻量且高效
默认安装体积小（约21MB），性能基准显示 Token 分块速度最高可达同类产品的33倍。
易于集成
通过 pip 安装，API 简单，兼容 GPT-2、Transformers、tiktoken 等主流分词器，便于集成。
为 RAG 优化
专为提升 Retrieval-Augmented Generation（RAG）设计，将文档分块为语境相关的单元，提升模型推理效果。
模块化依赖系统
只需安装所需分块器和依赖，减少冗余，提升部署效率。