ollama v0.22.0 发布:新增 NVIDIA Nemotron 3 Omni 与 Pool
ollama v0.22.0 发布:新增 NVIDIA Nemotron 3 Omni 与 Poolside Laguna 模型支持,推理能力再升级!
新模型支持:两大重量级模型登场
1.1 NVIDIA Nemotron 3 Omni
v0.22.0 引入了对 NVIDIA Nemotron 3 Omni 系列模型的原生支持。这是一个多模态模型家族,在代码中对应的架构标识为 nemotron_h_omni。该模型支持:
• 文本生成:基于 Nemotron-H 架构的 LLM 核心
• 视觉理解:集成了 Vision Transformer(ViT)模块,支持图像输入
• 音频处理:集成了 Parakeet 音频编码器,支持语音输入
在转换器(converter)层面,新增了 convert/convert_nemotron_h.go 和 convert/convert_nemotron_h_test.go 两个文件(共约 700 行代码),专门处理 Nemotron 系列模型的权重映射和参数转换。
关键配置参数包括:
• max_sequence_length: 131072(128K 上下文)
• vision.image_size: 512
• vision.patch_size: 16
• audio.sample_rate: 16000
1.2 Poolside Laguna XS.2
Poolside 的首个开源权重编码模型 Laguna XS.2 也获得了完整支持。这是一个专注于代码生成和软件工程任务的模型,架构标识为 LagunaForCausalLM。
新增的模型支持文件包括:
• model/models/laguna/model.go(约 440 行):Laguna 模型的 MLX 实现
• convert/convert_laguna.go(约 600 行):GGUF 转换逻辑
• model/parsers/laguna.go(约 500 行):专用的输出解析器
• model/renderers/laguna.go(约 110 行):模板渲染器
#大模型# #福大大架构师每日一题#
新模型支持:两大重量级模型登场
1.1 NVIDIA Nemotron 3 Omni
v0.22.0 引入了对 NVIDIA Nemotron 3 Omni 系列模型的原生支持。这是一个多模态模型家族,在代码中对应的架构标识为 nemotron_h_omni。该模型支持:
• 文本生成:基于 Nemotron-H 架构的 LLM 核心
• 视觉理解:集成了 Vision Transformer(ViT)模块,支持图像输入
• 音频处理:集成了 Parakeet 音频编码器,支持语音输入
在转换器(converter)层面,新增了 convert/convert_nemotron_h.go 和 convert/convert_nemotron_h_test.go 两个文件(共约 700 行代码),专门处理 Nemotron 系列模型的权重映射和参数转换。
关键配置参数包括:
• max_sequence_length: 131072(128K 上下文)
• vision.image_size: 512
• vision.patch_size: 16
• audio.sample_rate: 16000
1.2 Poolside Laguna XS.2
Poolside 的首个开源权重编码模型 Laguna XS.2 也获得了完整支持。这是一个专注于代码生成和软件工程任务的模型,架构标识为 LagunaForCausalLM。
新增的模型支持文件包括:
• model/models/laguna/model.go(约 440 行):Laguna 模型的 MLX 实现
• convert/convert_laguna.go(约 600 行):GGUF 转换逻辑
• model/parsers/laguna.go(约 500 行):专用的输出解析器
• model/renderers/laguna.go(约 110 行):模板渲染器
#大模型# #福大大架构师每日一题#
全部评论
相关推荐
查看16道真题和解析