ollama v0.23.3 发布:MLX 性能优化、安全加固与传输并发控制 2.1 精细化模型推

ollama v0.23.3 发布:MLX 性能优化、安全加固与传输并发控制

2.1 精细化模型推送行为
本次更新对 MLX 后端的模型推送逻辑进行了细化。这次改进主要解决了在推送 safetensors 格式模型时的行为一致性问题,确保推送操作与拉取操作遵循相同的状态转换规则,减少了因状态不一致导致的部分上传失败场景。

2.2 图像生成 Runner 的线程亲和性优化
针对 MLX 在 macOS 上的图像生成功能,本次添加了线程亲和性设置。这是一项针对 Apple Silicon 异构核心架构(性能核心与能效核心)的性能优化措施。通过将计算密集型任务绑定到高性能核心,避免调度器将其误分配到效率核心,显著提升了图像生成任务的推理速度和响应一致性。对于使用 MLX 后端进行图像生成的用户,这一改进会带来可感知的生成速度提升。

2.3 推理过程中的状态超时规避
在长时间推理任务中,MLX runner 可能出现状态更新超时的问题,导致进程被错误终止。本次更新通过调整状态报告机制,确保在长时间生成任务中状态信号能够持续发送,避免了因静默期过长而触发的超时误判。这一修复对大上下文长度生成和多轮对话场景尤为关键。

2.4 macOS 26 部署目标泄漏修复
在构建 v3 metallib 时,MLX 编译过程会泄漏 macOS 26 的部署目标设置,导致生成的二进制库包含不受支持的平台标记。构建脚本中新增了重新链接 metallib 的步骤:首先收集所有 .air 文件,然后使用 xcrun -sdk macosx metallib 重新链接,最后覆盖原始的 mlx.metallib。这一修复确保了 MLX 库与 macOS 14.0 及以上版本的兼容性。
#大模型# #福大大架构师每日一题#
全部评论

相关推荐

04-16 10:27
已编辑
美团_Saas_后端开发
今天周一休息,突发奇想写一篇阶段总结。如题,我已经去了一个和Java彻底毫无关联的行业。曾经我以为自己能在计算机行业发光发热,拿到美团offer那会感觉自己天都亮了。没想到刚入行一年多就当了逃兵。从最开始的热爱到现在一看到代码就厌恶,不知道自己经历了什么。所以我去干什么了?答案是:在成都当了租房销售。上班那会压力大了就念叨着去干租房中介,但是一直下不去这个决心,想着自己学了四年多的计算机知识,终究还是不甘心。终于在某一天准备八股文的时候,看着无数篇和工作内容关系不大的理论知识,那一刻下定决心,决定尝试一下销售行业,也算是给自己一个交代。后面阴差阳错的投了成都自如去当租房管家,没想到面试很顺利,在当天一百多个面试的人里面,我成为了为数不多通过的几个幸运儿之一。目前已经培训通过,正式入职,也开了单,有压力但是每天过得很开心,真心喜欢那种和人交流的感觉,哪怕是最后没有选择找我租房。说这些也是想告诉那些大三,大四正在找Java实习而焦虑的同学:你们现在还年轻,选择很多,容错率也很高,可以尽情去尝试自己喜欢的行业和工作。不用因为某一次的面试没通过或者简历石沉大海而焦虑,更不用因为身边人都在挤编程的独木桥就强迫自己跟风。也算是自己的碎碎念吧,也希望自己能在新的领域取得一点小成就。也祝牛油工作顺利!
沉淀小子:干啥都不丢人啊,生存是必须要的,销售很考验一个人综合素质能力的,好的销售人脉和资源可不比写字楼的白领差啊
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务