2025-12-28 06:48 北京动视元科技有限公司_产品中心_研发工程师 发布于北京
发布于北京 关注
lmdeploy v0.11.1 版本发布：全面支持DeepSeek V3.2与DPTP，多项性能优化与Bug修复
1. 监控与指标体系
对 metrics 进行了改进，使性能监控和运行状态统计更加完善，有助于生产环境中的观测与调优。
2. 调度与引擎优化
重构了调度器与 engine.py，优化了内部结构，提高了整体执行效率和可维护性。同时对 dp 超时时间进行了更新，使分布式场景下的任务调度更加稳定。
3. 模型与多模态支持增强
针对 Qwen3-VL 模型进行了多项改进，包括新增 vision id、增加多模态处理器参数，以及整体能力优化，显著提升了多模态推理的一致性与可扩展性。
4. 推理与请求处理能力
在请求被取消时，系统现在能够返回已路由的专家信息，提升了推理过程中的可解释性。
同时，v1/chat/completions 接口新增对 chat_template_kwargs 的支持，使对话模板配置更加灵活。
5. 内部结构与内存处理
为 dummy 输入预留 block，优化了内存使用策略；在预填充阶段构建 block trie 并增加命中率统计，提升了缓存与推理效率。
#大模型# #福大大架构师每日一题#
1. 监控与指标体系
对 metrics 进行了改进，使性能监控和运行状态统计更加完善，有助于生产环境中的观测与调优。
2. 调度与引擎优化
重构了调度器与 engine.py，优化了内部结构，提高了整体执行效率和可维护性。同时对 dp 超时时间进行了更新，使分布式场景下的任务调度更加稳定。
3. 模型与多模态支持增强
针对 Qwen3-VL 模型进行了多项改进，包括新增 vision id、增加多模态处理器参数，以及整体能力优化，显著提升了多模态推理的一致性与可扩展性。
4. 推理与请求处理能力
在请求被取消时，系统现在能够返回已路由的专家信息，提升了推理过程中的可解释性。
同时，v1/chat/completions 接口新增对 chat_template_kwargs 的支持，使对话模板配置更加灵活。
5. 内部结构与内存处理
为 dummy 输入预留 block，优化了内存使用策略；在预填充阶段构建 block trie 并增加命中率统计，提升了缓存与推理效率。
#大模型# #福大大架构师每日一题#
全部评论
相关推荐
点赞 评论 收藏
分享
码农索隆：投我投我，到时候我出一期拆箱帖，看看礼物是啥
点赞 评论 收藏
分享
查看8道真题和解析 2025-12-28 16:32
重庆邮电大学 Java 程序员花海：1.技能放最后，来面试默认你都会，技能没啥用
2.实习写的看起来没啥含金量，多读读部门文档，包装下 接LLM这个没含金量 也不要用重构这种 不会给实习生做的
3.抽奖这个还是Demo项目，实际在公司里面要考虑策略，满减，触发点，触发规则 库存 之类的，不是这个项目这么简单
4.教育背景提前，格式为 教育背景 实习 项目 技能 自我评价
点赞 评论 收藏
分享