之前团队在做合同审查和研报问答两个 RAG 项目，踩了不少分块（Chunk）相关的坑。今天把这块经验整理一下，希望对正在做类似事情的朋友有点帮助。先搞清楚 Token 这个概念做 Chunk 之前，得先理解 Token。很多人把 Token 简单等同于"字"或"词"，这不太准确。Token 是模型实际处理的最小单元，中文大约 1.5-2 个字对应一个 Token，英文则大约是 0.75 个单词一个 Token。这件事为什么重要？因为不同类型的文档，Token 密度差异很大。我们实测过：一份 20 页的中文合同，大约 8000-12000 个 Token；...

这是在向下兼容了吗，本以为牛客那些，30k侮辱价已经很装了，现在小红薯那边，都本科开始逐渐接受12k了😅😅😅

哈哈哈 从来没有动摇过 因为在当时 互联网是被誉为最吃香 最来钱的职业 所以一个劲的坚持这条路 倒是最近有点动摇了 感觉全部是大量重复性的工作缺乏了乐趣和新鲜感 每天CRUD 已经骂麻了