rag已经死了吗?

大二玩了半年RAG,我发现最靠谱的解法,居然是百年图书馆逻辑

本人大二,接触Agent开发从RAG入门,摸过GraphRAG、RAGFlow这些热门项目,也啃过LlamaIndex、LangChain框架,踩了不少坑,也有了些不一样的想法,纯分享思路,不做落地。

先说说我看到的核心问题:
RAGFlow的溯源功能能标清信息出处,解决了模型胡编的问题,却缺了LangChain那样的隐私数据守卫——检索时只过滤正文,溯源链接还留着,等于给隐私泄露、外网信息跳转留了后门。
同时现在的RAG大多是文档乱塞一锅炖,海量数据根本管不住,开源框架要么太笨重新手难维护,要么功能太简陋撑不起场景。

想通这些的时候我正在学校图书馆,突然发现:我们卷破头的RAG问题,现代图书馆这套人类用了上百年的「信息管理系统」,早就完美解决了。

核心思路完全对标图书馆逻辑,分三点:

1. 先分级管控,从根源堵隐私漏洞
像图书馆分普通阅览区、内部资料室、涉密档案室一样,给文档做分级。敏感内容直接拦在库外,内部文档没权限连检索都搜不到,自然不会有溯源链接泄露的问题,只有合规公开内容才开放完整溯源。
2. 先分类入库,解决海量数据混乱
图书馆新书不会直接堆书架,会先验收、查重、按标准分类标引再上架。对应到RAG里,就是文档先自动清洗、去重、分类打标,再分到独立向量库物理隔离,再多文档也井井有条,不会越用越臃肿。
3. 统一规范做开源生态,解决「各玩各的」的痛点
图书馆能跨馆互通,核心是有统一的编目规则。我们也可以定一套极简统一的开源RAG库规范,实现两个核心:一是人人都能按规范分享自己的RAG库,开箱即用不用二次处理;二是符合规范的任意两个RAG库,都能无缝拼接,自动对齐分类、去重、更新索引,不用手动改配置。

现在RAG圈总在卷框架、卷算法,却忘了做RAG的初衷,是让普通人用最低成本让AI落地。这套图书馆逻辑的思路,不用高算力不堆复杂技术,刚好能让本地小模型配上标准化RAG库,真正变得可用。

纯思路分享,不打算自己落地做项目,玩RAG的朋友有想法,欢迎一起交流。

#RAG# 大模型 #AI开发# 开源思路 #大学生编程
全部评论
有的兄弟有的,rag有这些技术,第一点叫做二级权限校验,在用户输入,调向量库之前,先去用户数据库找找有没有这用户,如果没有就挡住,第二部就是调知识库之前再去用户数据库核对一下,他的读库权限和检索库名是否对应,不对应也挡住。第二点叫做分库管理+元数据过滤。核心就是用户问2024或者指定v0.1版本的文档,那检索的时候就筛选对应的文档标签。第三点我还没听说过倒是,毕竟rag这玩意做出来的主要目的就是赋能企业的知识库,而企业知识库一般都是私有的,比较讲究私有化部署,有啥需要共享内容的直接调用web search得了
4 回复 分享
发布于 昨天 13:38 广东
12早就实现了吧,早就分级分类了,3问题是没有一个统一的标准,因为针对不太类型的数据格式目前都是不一样的
1 回复 分享
发布于 今天 19:02 河南
问题不是RAG本身是工程化没跟上
1 回复 分享
发布于 今天 18:16 浙江
佬大二就玩这么深啊
1 回复 分享
发布于 今天 16:10 广东

相关推荐

头像
04-27 15:11
已编辑
华东师范大学 算法工程师
暑期实习从2月开始投,面了两个月,流程该挂的都挂完了,腾讯字节一共号称是1.7w个hc,不知道都发给谁了,估计今年秋招要难顶。Timeline米哈游、美团、蚂蚁、微软等公司直接简历挂穿,没进面。携程:3.3 投递、测评3.12 笔试3.18 一面3.25 二面4.13 ai面(hr面)4.14 英语测评4.23 offer(已拒)腾讯:2.6 测评2.28 wxg一面3.5 wxg二面(挂)3.11 teg一面3.21 teg二面(取消)3.31 teg一面4.10 teg二面(挂)4.21 wxg一面4.24 wxg二面(挂)字节:1.28 aml约面(取消)3.17 火山一面(挂)4.8 aml一面(挂)4.20 抖音data一面(挂)阿里:3.23 投递、测评3.28 笔试3.31 淘天一面4.8 钉钉一面4.9 淘天二面4.10 阿里控股一面4.12 钉钉二面(取消)4.15 淘天hr面4.16 淘天offer(已接)4.21 高德一面(取消)4.22 淘宝闪购一面(取消)面试最大的感触是,现在撞上ai转型,一堆老业务急着转向,新业务非常不成熟,研究型的组bar非常高根本进不去,业务侧挂着算法的岗位干的都是工程活,面试却又要问算法,另外agent的落地也远没有那么广,绝大多数还是那套写死的系统调一下llm api或者做做rag,其余少部分真的在搭agent的,基本不能在线上服务用什么很智能的模型,现阶段成本太高,进去大概率就是给垃圾模型从工程方面兜底,除了业务场景的应用和数据经验以外,技术方面很难有什么提升。算法岗做不了基模的还是去搜广推好,之前判断失误了完全没投,秋招不知道还进不进得去。
绿糖滑稽:携程这什么雷霆流程时长
我的求职进度条
点赞 评论 收藏
分享
评论
6
15
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务