第 53 题：上下文压缩（Context Compression）在长文本场景的应用

题目

解释上下文压缩（Context Compression）技术在长文本场景的应用。

一、为什么需要上下文压缩？

长文档、多轮对话或大量检索结果会占满 context 窗口，导致：超出模型长度限制、重点信息被挤到边缘、成本与延迟上升。上下文压缩 指在保留关键信息的前提下缩短或摘要送入模型的文本，使更多内容“塞得进”且关键信息不丢。

二、常见做法

• 摘要：对长段做摘要（用模型或抽取式摘要），只把摘要放入 prompt；适合“只要大意”的问答与检索后阅读。
• 选择性保留：按相关性或重要性筛选句子/段落（如用检索分数、关键词、模型打分），只保留高分片段；常与 RAG 结合。
• 层次化：先送“目录/小节标题+短摘要”，需要时再按需展开某一段的全文；减少单次 token 量。