首页 > 试题广场 >

在大语言模型的推理优化中，批处理推理(Batch Infer

[单选题]
在大语言模型的推理优化中，批处理推理(Batch Inference)的主要优势是什么？ 
  • 提高模型的准确率
  • 减少每个请求的延迟
  • 提高总体吞吐量
  • 降低模型的内存使用
查看正确选项
添加回答
爱跳的Mario头像 爱跳的Mario
批量推理 吞吐量
发表于 2026-04-10 23:48:57 回复(0)
提交观点

问题信息

大模型开发
难度：
1条回答 212浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号