推理延迟(Latency)和吞吐量(Throughput)
模型版本管理和灰度发布策略
模型的训练数据必须与服务一起部署
服务的自动扩缩容和故障容错
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题