一、背景 推荐和广告领域已经大规模应用DNN模型,但大规模稀疏性仍然是该领域模型的本质特点,为了增强模型的拟合能力,模型稀疏参数会达到万亿规模,单模型的物理大小超过1TB,需要分布式的服务来承载;另外模型在线预估场景每秒的参数获取量由每秒用户请求量(大于1000),每个用户请求计算的item数量(大于1000),每个item获取的参数量(大于200)的三者乘积组成,其对应每秒的参数获取量KPS(Keys Per Second)在2亿的级别,即使用20个副本来分摊流量单机KPS也超过1000万,行业内还没有一个通用key-value存储引擎(Redis/RocksDB/Pika[1])能满足...