lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic

lmdeploy v0.13.0 升级:支持新模型、新端点、TurboQuant、Anthropic兼容服务、Mixed Modality 与多项核心优化,推理服务能力全面进化

v0.13.0 首先最直观的变化,就是对更多模型和平台的支持进一步增强。

1. 支持 qwen3.5 35BA3B
这一版本新增了对 qwen3.5 35BA3B 的支持,面向 Ascend 场景进行了适配。这意味着在相关硬件平台上,可以更好地运行该模型版本,进一步扩展了 lmdeploy 的模型覆盖范围。

2. 支持 InternS2 Preview
v0.13.0 还增加了对 InternS2 Preview 的支持。这表明 lmdeploy 继续在新模型接入速度上保持推进,为后续更多模型版本落地打下基础。

3. Mixed modality
这一版本还带来了 Mixed modality 能力,说明 lmdeploy 在多模态输入处理方面继续增强。结合后面“支持更多 message item types”的更新,可以看到这一版对于复杂输入结构的适配更加完整。

4. 支持更多 message item types
v0.13.0 增加了对更多 message item types 的支持,这类更新对多轮对话、复杂消息结构以及多模态/混合模态输入非常关键。它让服务端对不同消息元素的理解更完整,减少兼容性问题。
#大模型# #福大大架构师每日一题#
全部评论

相关推荐

26 届末九院校后端选手,从去年秋招结束就开始全身心备战春招。每天固定刷算法、梳理 Java 核心知识点、整理分布式与中间件面试题,实习项目反复复盘推演,把所有高频面试问答逐一吃透,几乎把课余所有时间都砸在了备考上,一心想凭着实打实的功底拿到满意 offer。可近期对比身边人才真切感受到差距,同专业一位同学平日里很少见他埋头学习,刷题背书更是寥寥无几,投入的备考精力远不及我,面试场次不多却顺利斩获不错的 offer。私下交流后才清楚,他面试过程中会借助 ******,算法题能快速搭建解题框架,冷门技术知识点可以快速查阅梳理,面试官深挖项目细节时,也能精准调出相关内容完善回答,临场发挥格外顺畅。最开始我十分不认同这种方式,始终认定面试考验的是自身真实技术储备,踏实积累才是正道。可久而久之看着身边不少人都在这样做,忍不住开始自我否定,难道一直固执守着老一套备考思维的人,只有我吗?耗费大量时间死记硬背反复练习,在高效的即时信息调取方式面前,难道真的只是自我感动式的低效付出?合理运用这类工具提升临场表现,究竟算不算职场必备的应变能力?当这种方式逐渐成为普遍现象,面试筛选人才的初衷是否已经悄然改变?始终坚持纯靠自身实力稳步提升,是长久发展的正确选择,还是跟不上当下求职节奏的固执执念?真心想听听牛客各位大佬的真实看法。
点赞 评论 收藏
分享
05-19 16:41
复旦大学 Python
ynq2126:我一直觉得现在考算法题没啥意义 真要选拔人才不如把公司实际项目中遇到的问题当成一系列场景题抛给求职者答 这才是能检测能力的东西
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务