首页 / 项目
#

项目

#
475417次浏览 7955人互动
此刻你想和大家分享什么
热门 最新
包装项目与场景题提升
Deng-123:mark
点赞 评论 收藏
分享
C++项目|分布式大模型基础架构
1. 项目背景:针对端侧设备(树莓派、昇腾、RK系列)的低资源环境,设计一套轻量化分布式框架,实现大模型(LLM/ASR/TTS等)的高效协同推理,解决端侧设备算力分散、通信受限、动态扩展难等问题。技术栈:Linux、C++、ZMQ、设计模式、分布式架构、主从Reactor模式、docker、cmake、shell3. 项目设计方案1. 双模式部署设计:设计Docker与裸机双部署方案,通过自动化镜像部署和容器操作脚本,环境部署效率提升70%2. 底层混合通信组件:- 设计基于ZMQ的多模式通信中间件,通过工厂模式统一创建PUB/SUB、PUSH/PULL、RPC等6种通信策略,结合策略模式实现动态通信方式切换,降低业务层网络代码复杂度70%;- 构建高可用RPC框架,支持方法动态注册与服务发现,通过设置双端超时控制与自动重连机制提高通信可靠性;- 设计ZMQ消息封装模块,开发轻量级序列化协议,采用长度前缀+紧凑存储结构设计实现多参数打包/解包3. channel模块设计:- 统一管理底层多模式通信中间件的ZMQ连接,支持动态URL绑定,信道注册- 设计观察者模式和闭包方案,实现网络层与业务逻辑的解耦- 通过动态work_id路由和连接池技术,实现多unit单元通信隔离- JSON协议设计,用于节点间/外部用户消息交互4. 分布式任务调度框架设计-与业务节点关系(继承)- 采用 Reactor模式,设计异步事件驱动的任务调度框架,通过eventpp实现毫秒级事件响应- 动态RPC服务注册,支持跨业务节点 setup/exit 等指令的远程调用- 统一管理 work_id-channel 连接池,对上层业务节点屏蔽底层通信复杂性- 提供标准化setup等虚函数接口,支持业务节点自定义任务处理逻辑5. unit-manager模块- 设计RPC服务注册,实现信道自动注册/释放,SQL处理;并解析 action 实现动态分发请求- 实现轻量化内存kv缓存数据库 存储 unit 元信息;并提供线程安全SQL查询接口,供节点动态通信- 设计多协议网关,实现TCP/ZMQ协议转换,支持外部用户-内部业务节点通信交互- 设计主从多Reactor TCP通信框架,实现压测10000+TCP并发连接6. Node业务层接口设计- TASK任务管理:实现单任务实例管理,模型加载/推理/流式输出回调机制等- 服务层控制:自定义实现setup等接口,对业务节点进行生命周期管理,实现节点间相互订阅
点赞 评论 收藏
分享
c++ / cpp 项目分享
Google开源代码规范https://link.zhihu.com/?target=https%3A//github.com/zh-google-styleguide/zh-google-styleguide数据库cpp_redishttps://github.com/Cylix/cpp_redis/LevelDbhttps://github.com/google/leveldb文件解析器C++ JSON 解析器https://github.com/hjiang/jsonxx迷你的C++11 JSON库https://github.com/dropbox/json11TinyXMLhttps://sourceforge.net/projects/tinyxml/yaml-cpphttps://github.com/jbeder/yaml-cpp网络库Muduohttps://github.com/chenshuo/muduoHandyhttps://github.com/yedf/handyOatpphttps://github.com/oatpp/oatpp消息队列Libzmqhttps://github.com/zeromq/libzmqZeroMQhttps://zeromq.org/get-started/序列化Protobufhttps://github.com/protocolbuffers/protobuf远程过程调用(RPC)rest_rpchttps://github.com/qicosmos/rest_rpc谷歌gRPChttps://github.com/grpc/grpc百度brpchttps://github.com/apache/incubator-brpc腾讯tarshttps://github.com/TarsCloud/TarsCpp搜狗srpchttps://github.com/sogou/srpc测试Google Testhttps://github.com/google/googletest/Webbenchhttp://home.tiscali.cz/~cz210552/webbench.html学习型C++ 那些事https://github.com/Light-City/CPlusPlusThingshttps://light-city.club/sc/MyTinySTLhttps://github.com/Alinshans/MyTinySTLTinyhttpdhttps://github.com/EZLippi/Tinyhttpdmusikcubehttps://github.com/clangen/musikcubeLightweight Web Serverhttps://github.com/imarvinle/WebServerhttps://github.com/linyacool/WebServer零基础c++学习路线,带你从菜鸡,走向大厂收割机https://www.yuque.com/u41022237/xy0omf/khe1in5zuk02nq0a?singleDoc# 《零基础c++学习路线》
点赞 评论 收藏
分享
04-25 15:44
中山大学 C++
C++项目推荐
某公司一颗钉子:可以看看下面这几个项目 云存储项目:https://www.bilibili.com/video/BV1XPfTY8EGD/ 多线程任务队列系统:https://www.bilibili.com/video/BV1XS9dYsE9d/ RPC项目:https://www.bilibili.com/video/BV15ff4YsEPy/ web多人聊天:https://www.bilibili.com/video/BV1iYtrezEkA/ 仿写redis之Qedis:https://www.bilibili.com/video/BV1a4zzYKEAt/
点赞 评论 收藏
分享
两个月打磨:前端AI项目利器- RAG知识库助手(搜索推荐机制版)
从十月份开始确定项目方向,模型选择和技术栈搭配。 从 Ollama 开始配模型,加入 Langchain 处理链路,然后开始前后端联调,各种报错接踵而至。每天没有需求了就一个人在工位敲敲敲,耳机一带就是肝,睁眼就是九点半十一月开始基础功能完成,开始处理文件检索,对中英文引用不同库处理。又在司内看见一些分享方案,又尝试加入搜索召回。拿公司mac跑的模型,一开终端风扇就疯狂转,搞得同事都来问我你小子又不学前端是吧,谁家运行前端电脑这么吵?后面快离职的时候又开始搞搜索推荐,把部门搜推的文章看了,发现技术门槛太高了,只能自己慢慢琢磨方案。没逝的,自己慢慢啃呗。又还想加入热搜排行榜的功能,因为在腾讯也做了一个多月排行榜的业务,前端这个还是熟练的。离职后又完善了一部分,自己还是喜欢用的,后面设备跑起来会更快。等明年去实习了,直接就是一整套方案放到司内,做点技术分享技术栈:前端: Next.js + Ts后端:Python(Flask)模型相关:LangChain 工具链:处理 Prompt、上下文检索和输出解析。NLP 工具(Jieba、TF-IDF):用于中文语料分析和推荐。文档加载与处理(PyPDFLoader):支持用户内容输入。LLM 模型(Ollama,Lama3):实现核心问答和扩展功能。
前端求职圈
点赞 评论 收藏
分享
C++项目:分布式大模型基础架构
1、底层通信组件方案通信模式封装支持兼容多种通信模式普通消息模式:PUB/SUB(发布订阅)、PUSH/PULL(点对点通信)RPC 模式:通过ZMQ_REP、ZMQ_REQ 封装 RPC 功能RPC功能支持 RPC 方法的动态注册提供默认的 RPC 方法列表查询支持 RPC 调用2、Master模块(实现思路:类似ROS1 Master功能, 更轻量化)背景:分布式大模型系统中,多个节点(如llm/vlm, asr,tts, camera,yolo)需要动态发现彼此并高效通信,外部用户可以动态管理节点内任务调度​​节点注册与发现​实现轻量化内存kv缓存数据库:存储节点元信息;并提高sql查询接口,供节点动态通信节点启动时向Master模块注册,上报自身元信息;节点通信时自动匹配动态任务调度分配设计用户请求-任务匹配机制:外部用户仅封装简易数据包请求,可实现动态控制各个模块(启停/llm推理等)3、Channel模块封装上层发布-订阅(PUB/SUB)和点对点通信(PUSH/PULL)混合通信模式设计闭包,通过闭包将​​网络层​​(ZeroMQ)与​​业务层​​(用户回调)解耦,同时隐式维护了通信上下文状态。4、Infra基础架构模块rpc分布式控制指令下发+异步​事件驱动架构​​注册rpc_setup/rpc_pause等分布式控制接口->注册eventpp事件监听->上层触发rpc调用 -> 添加eventpp事件队列中-> 异步事件驱动->各子类Setup/Pause等功能接口标准化控制协议​​基于抽象接口(Setup/Pause等)实现跨模块统一管控,支持LLM/ASR/TTS等异构节点无缝集成5、TASK模块与Infra模块关系:类似与进程和线程之间关系,Infra模块负责资源分配和流程管控,TASK模块是真正干活的,干的活如下:各模块中模型生命周期管理(加载/卸载)infra推理包装回调输出等等
点赞 评论 收藏
分享
2023-07-12 13:59
北京师范大学 Java
1本以上7月还在投实习的同学可以停停了
现在投暑假实习的学生是越来越多了,特别是一些24届的学生,甚至还出来一些 25届的学生,投得也非常的多。如果说到7月初或者7月上旬,你的简历依然是在等待中或者投递中的话,那么建议就不要再去投暑假实习了,那应该怎样准备秋招呢?现在最好的路子可能就不是实习了,那能不能在这个时候把秋招要考的东西好好地静下心来整理到位,比如说考点的部分,别人能达到100分,你至少得到九十七八分,那一定是高手过招,特别是秋招人数更多,比暑假实习的人多的多,这个时候就不要出任何乱子。其次如果你觉得项目还不行的话,实习这条路堵死了那你能怎么做呢?我们一般来说建议大家有几套方式,如果你有自己的实验室的项目,那就没有问题。如果你有自己的比赛项目,或者自己平时做的一些尝试的项目,你把它丰富一下,把考点扩展一下,让它亮点更丰富,一定要注意亮点,你要去加上它,这就是很好的项目。如果你实在没有项目,就从市面上找那种烂大街项目,社区、外卖、秒杀...但是呢写这种项目,它本身在秋招人那么多的时候,基本上简历通过率是接近于0的,这个时候哪怕你学校好点,可能通过率稍高,却也在10%以内。但是有一个解决方案,你不要做整个项目,你把其中的某一两个模块,比如说购物车、社团的发帖、秒杀的某一个细节,你把那个细节花上一个月或者半个月,将它真正地展开,你会发现,那个模块在公司里面,可能一两个月都做不完,但你把它抠出来,你的简历描述就跟别人不一样了,因为别人写的是一个比较完整的项目经验。但是如果将去公司实习作为实习项目,假如我们去美团外卖实习,做就算做半年,也不可能做完整个项目,所以一定关注的是亮点、难点,降低重复度。所以你就拿出它其中的比较有亮点的两三个模块,将其展开,你的简历描述就跟其他的人不一样,那你通过率就高,亮点你再把它丰富一下,基本上就没有什么问题。
0office彻底疯...:管他三七二十一,实习秋招一起投
投递美团等公司8个岗位
点赞 评论 收藏
分享
进大厂靠的是什么项目
兄弟们你们进大厂靠的是什么项目啊
DOTPHTP:课设改。其实项目什么的如果不是实习里面的生产项目的话,建议✍️那种自己想要做的。突出个人自驱力,而不是为了找工作不得不随波逐流这种
点赞 评论 收藏
分享
06-09 14:55
门头沟学院 Java
点赞 评论 收藏
分享
玩命加载中
牛客网
牛客网在线编程
牛客网题解
牛客企业服务