让 AI 梳理的录音，部分可能会不太准确Q1: 百度这边推理优化用的什么框架,主要做了什么?使用框架: SGLang主要工作:FP8量化: 显存降低50%,吞吐量提升40-50%,困惑度变化<2%Chunked Prefill调优: 升级SGLang到0.5.4版本，默认开启chunked prefill, P999延迟从150ms降到120msCUDA Graph优化: 解决FP8量化模型无法启用Piecewise的问题,通过注册自定义kernel到FakeTensor。P999延迟降到53ms(降低55%),QPS从30提升到60并发稳定性: 修复TokenizerManager高并...

夯：小红书。  小红书今年绝对的一厂之下，万厂之上，绝绝对对的王者，一夜登顶！！顶级：百度，字节。 字节还是一如既往的稳，但是拿的是健康和命去换啊，出了字节确实找不到这么待遇好的岗位。百度还挺意外的……人上人：京东。东哥今年给了挺多白菜的，但是听说部分给的还行，也算差强人意吧。NPC：鹅厂。鹅厂今年真的，失去了往日的光彩，感觉已经成为路人了，曾今的有鹅选鹅还可行吗。拉：美团。 今年这的被恶心坏了，如果说小红书今年给大家吃了一顿满汉全席，美团今年给大家吃了一坨shi。简直是无语，比白菜还白菜，美团一生黑！！

好一个“此实习非彼实习”烂做派是学透了的，工资是一分钱没有的