关于模型即服务的真实问题求解
maas是今后的一个非常重要的,发展非常好的一个平台,比如说API市场啊,模型中转站,相关的业务啊。不管是大公司还是小公司,可能都会有相关的API的中转的平台
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
我现在有个场景问题,就比如说公司的成本和预算是有限的,服务器,然后支出的模型费用,这块都有个预定的限额,但是却要满足。AI时代非常多开发人员,去调用相关的模型,会出现这样的。资源排队配额不足,然后输出慢的问题,这样要如何解决呢?
全部评论
自己搞一个缓存可行吗,凌晨这段时间没人用的时候写一个定时任务,把第二天工作中可能问的问题先载入😂
相关推荐
04-30 16:32
中国第一拖拖拉机集团有限公司拖拉机学院 C++ 点赞 评论 收藏
分享
