递归地对每个Chunk再进行更细粒度的切分
按优先级尝试多种分隔符(如\n\n→\n→空格→字符),当当前分隔符产生的Chunk过大时降级到下一种分隔符继续切分
递归地合并相邻的小Chunk直到达到目标大小
递归地遍历文档目录树进行切分
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题