关于模型即服务的真实问题求解

maas是今后的一个非常重要的,发展非常好的一个平台,比如说API市场啊,模型中转站,相关的业务啊。不管是大公司还是小公司,可能都会有相关的API的中转的平台
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
全部评论
自己搞一个缓存可行吗,凌晨这段时间没人用的时候写一个定时任务,把第二天工作中可能问的问题先载入😂
点赞 回复 分享
发布于 04-29 23:59 江苏

相关推荐

评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务