大模型or量化

1. 项目背景：针对端侧设备（树莓派、昇腾、RK系列）的低资源环境，设计一套轻量化分布式框架，实现大模型（LLM/ASR/TTS等）的高效协同推理，解决端侧设备算力分散、通信受限、动态扩展难等问题。技术栈：Linux、C++、ZMQ、设计模式、分布式架构、主从Reactor模式、docker、cmake、shell3. 项目设计方案1. 双模式部署设计：设计Docker与裸机双部署方案，通过自动化镜像部署和容器操作脚本，环境部署效率提升70%2. 底层混合通信组件：- 设计基于ZMQ的多模式通信中间件，通过工厂模式统一创建PUB/SUB、PUSH/PULL、RPC等6种通信策略，结合策略模式实现动态通信方式切换，降低业务层网络代码复杂度70%；- 构建高可用RPC框架，支持方法动态注册与服务发现，通过设置双端超时控制与自动重连机制提高通信可靠性；- 设计ZMQ消息封装模块，开发轻量级序列化协议，采用长度前缀+紧凑存储结构设计实现多参数打包/解包3. channel模块设计：- 统一管理底层多模式通信中间件的ZMQ连接，支持动态URL绑定，信道注册- 设计观察者模式和闭包方案，实现网络层与业务逻辑的解耦- 通过动态work_id路由和连接池技术，实现多unit单元通信隔离- JSON协议设计，用于节点间/外部用户消息交互4. 分布式任务调度框架设计-与业务节点关系（继承）- 采用 Reactor模式，设计异步事件驱动的任务调度框架，通过eventpp实现毫秒级事件响应- 动态RPC服务注册，支持跨业务节点 setup/exit 等指令的远程调用- 统一管理 work_id-channel 连接池，对上层业务节点屏蔽底层通信复杂性- 提供标准化setup等虚函数接口，支持业务节点自定义任务处理逻辑5. unit-manager模块- 设计RPC服务注册，实现信道自动注册/释放，SQL处理；并解析 action 实现动态分发请求- 实现轻量化内存kv缓存数据库 存储 unit 元信息；并提供线程安全SQL查询接口，供节点动态通信- 设计多协议网关，实现TCP/ZMQ协议转换，支持外部用户-内部业务节点通信交互- 设计主从多Reactor TCP通信框架，实现压测10000+TCP并发连接6. Node业务层接口设计- TASK任务管理：实现单任务实例管理，模型加载/推理/流式输出回调机制等- 服务层控制：自定义实现setup等接口，对业务节点进行生命周期管理，实现节点间相互订阅

字节推荐架构后端，不知道具体是干什么的。字节iaas，主要是做ai infra的，担心去了是不是干杂活

bg： 双9，2024级硕，传统工科专业，算法知识范围仅限知道一些机器学习理论，了解基本的pytorch语法，打算砖码算法岗位，计划研1下找一段实习，从今年3月初已经开始在各大平台搜索实习经验了。转码时间线：2.28开始有实习想法，但是在岗位上纠结，在后端，大模型岗位纠结。最终决定大模型岗3.1-3.7吴恩达机器学习3.8-3.21李沐深度学习3.22开始刷leedcode3.24开始做简历3.24-3.25在github上跑开源项目：BERT部署+文本分类3.25-4.1在github上跑开源项目：ChatGLM-6B部署+LLaMA-Factory微调+Prompt模板3.27注册BOSS直聘3.28参加了第一场初创公司大模型的面试，感觉面试还可以，基本上能hold住但最后也都无疾而终了，盲猜可能是技术栈不太相符以及觉着我是低年级。3.29-4.5在github上跑开源项目：Llama3-8B+RAG4.7收到三家公司面试4.7下午面试一家中厂，问题太工程，而我是凑开源项目+偏算法理论性的科研，完全经不住拷打。4.8收到第一个offer，岗位感觉偏大模型调研，拒绝。4.10收到第二个offer，离学校路程半小时+大模型核心岗，但小厂，接收。回归整个实习准备，对我个人而言其实最难的是不断细化调整方向，以及在面试pass被无数次的心态调整，但总体来说是看着自己一步步的进步。记得第一次修改简历时，我对着空白文档发呆了两个小时，如今却能快速抓住岗位JD的关键词进行精准匹配；曾经在群面中紧张到声音发抖，现在面对压力面试已经能从容展现逻辑思维。

请问下🐮🉑的网友，在全网就只找到了个tinywebserver。想问问这个项目质量怎么样？目前还没有做过其他cpp项目。如果这个质量不行的话，有推荐的其他项目吗？