C++项目:分布式大模型基础架构

1、底层通信组件方案
通信模式封装
支持兼容多种通信模式
普通消息模式:PUB/SUB(发布订阅)、PUSH/PULL(点对点通信)
RPC 模式:通过ZMQ_REP、ZMQ_REQ 封装 RPC 功能
RPC功能
支持 RPC 方法的动态注册
提供默认的 RPC 方法列表查询
支持 RPC 调用
2、Master模块(实现思路:类似ROS1 Master功能, 更轻量化)
背景:分布式大模型系统中,多个节点(如llm/vlm, asr,tts, camera,yolo)需要动态发现彼此并高效通信,外部用户可以动态管理节点内任务调度
​​节点注册与发现​
实现轻量化内存kv缓存数据库:存储节点元信息;并提高sql查询接口,供节点动态通信
节点启动时向Master模块注册,上报自身元信息;节点通信时自动匹配
动态任务调度分配
设计用户请求-任务匹配机制:外部用户仅封装简易数据包请求,可实现动态控制各个模块(启停/llm推理等)
3、Channel模块
封装上层发布-订阅(PUB/SUB)和点对点通信(PUSH/PULL)混合通信模式
设计闭包,通过闭包将​​网络层​​(ZeroMQ)与​​业务层​​(用户回调)解耦,同时隐式维护了通信上下文状态。
4、Infra基础架构模块
rpc分布式控制指令下发+异步​事件驱动架构​
​注册rpc_setup/rpc_pause等分布式控制接口->注册eventpp事件监听->上层触发rpc调用 -> 添加eventpp事件队列中-> 异步事件驱动->各子类Setup/Pause等功能接口
标准化控制协议​​
基于抽象接口(Setup/Pause等)实现跨模块统一管控,支持LLM/ASR/TTS等异构节点无缝集成
5、TASK模块
与Infra模块关系:类似与进程和线程之间关系,Infra模块负责资源分配和流程管控,TASK模块是真正干活的,干的活如下:
各模块中模型生命周期管理(加载/卸载)
infra推理
包装回调输出
等等
#C++要学到什么程度#  #实习#  #项目#  #c++方向#  #c++项目#
全部评论
多个项目评价都不错
点赞 回复 分享
发布于 2025-06-15 10:47 江苏
项目设计方案
点赞 回复 分享
发布于 2025-06-15 10:42 江苏
C++分布式大模型基础架构项目-初版 代码仓库地址:https://github.com/superxiaobai-1/Edge-LLM-Infra/tree/master 后续会完善代码,更新详细视频文档解析
点赞 回复 分享
发布于 2025-06-15 10:39 江苏

相关推荐

求个付费实习岗位:这种就是吃满时代红利又没啥技术水平,只能靠压力学生彰显优越感的老登,别太在意了
点赞 评论 收藏
分享
老粉都知道小猪猪我很久没更新了,因为秋招非常非常不顺利,emo了三个月了,接下来说一下我的情况吧本人是双非本 专业是完全不着计算机边的非科班,比较有优势的是有两段大厂实习,美团和字节。秋招面了50+场泡池子泡死的:滴滴 快手 去哪儿 小鹏汽车 不知名的一两个小厂其中字节13场 两次3面挂 两次2面挂 一次一面挂其中有2场面试题没写出来,其他的都是全a,但该挂还是挂,第三次三面才面进去字节,秋招加暑期总共面了22次字节,在字节的面评可以出成书了快手面了8场,2次实习的,通过了但没去,一次2面挂 最后一次到录用评估 至今无消息滴滴三面完 没几天挂了 所有技术面找不出2个问题是我回答不上来的,三面还来说我去过字节,应该不会考虑滴滴吧,直接给我干傻了去哪儿一天速通 至今无消息小鹏汽车hr 至今无消息美团2面挂 然后不捞我了,三个志愿全部结束,估计被卡学历了虾皮二面挂 这个是我菜,面试官太牛逼了拼多多二面挂 3道题也全写了 也没问题是回答不出来的 泡一周后挂腾讯面了5次 一次2面挂 三次一面挂,我宣布腾讯是世界上最难进的互联网公司然后还有一些零零散散的中小厂,但是数量比较少,约面大多数都是大厂。整体的战况非常惨烈,面试机会少,就算面过了也需要和各路神仙横向对比,很多次我都是那个被比下去的人,不过这也正常,毕竟谁会放着一个985的硕士不招,反而去招一个双非读化学的小子感觉现在互联网对学历的要求越来越高了,不仅仅要985还要硕士了,双非几乎没啥生存空间了,我感觉未来几年双非想要进大厂开发的难度应该直线上升了,唯一的打法还是从大二刷实习,然后苟个转正,不然要是去秋招大概率是炮灰。而且就我面字节这么多次,已经开始问很多ai的东西了,你一破本科生要是没实习没科研懂什么ai啊,纯纯白给了
不知名牛友_:爸爸
秋招你被哪家公司挂了?
点赞 评论 收藏
分享
评论
2
13
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务