小红书3.27笔试

首先声明不搞infra的不用看，我现在看底层了，本篇内容基于Efficient Memory Management for Large Language Model Serving with PagedAttention》 (SOSP 2023)出处： 加州大学伯克利分校（UC Berkeley）这篇里面讲了vllm，那么我们就先讲vllm。LLM 模型在推理阶段的显存有三部份组成：模型权重、KVCache 显存占用以及激活值显存占用。而今天我们是速成教程，所以又要体现深度，那么就先讲KVCache，这个本质上是一种通用的思路就是减少k，v的计算，采用缓存的机制去减少中间值，而这个的问题是kv...

一个应届生，给鸡毛蒜皮的工资，还要求会造原子弹。呜呜🥺给我一个offer吧

兄弟们 谁能刷1000道题让我看看

对于清澈的大学生来说，跨越大半个中国到一个完全陌生的地方工作，多少有点慌。幸好同部门小姐姐人都超级温暖。为了入职方便，我提前到公司，是星期天。本以为大家都休息，想着要“自力更生”时，同部门的姐姐主动联系我，在公司接我，陪我入住，拖行李，带我熟悉周边环境，吃了好吃的糖水。入职前，姐姐们就开始关心我，会问我“有没有去吃饭呀，食堂今天的排骨好吃。”感觉并不是完全上下属，前后辈的关系，更像朋友和家人一样。 园区环境更不用说了，免费单人宿舍，干净宽敞，独卫，空调，热水器还有小阳台一应俱全。食堂超好吃，作为一个没在南方生活过的东北人，口味完全可以适应。 工作方面，现在岗位是我的梦岗，但疫情实习机会少，没接...