tp普联座谈会

最近读了腾讯写的文章，简单自己做了下总结和理解，又有了新的输入，不愧是腾讯👍 一、学到的核心知识 1. 大模型推理的两大基石  Continuous Batching（连续批处理）：传统批处理要求一个 batch 内所有请求"同时开始、同时结束"，但 LLM 输出长度不可预测，会浪费 GPU。vLLM 把调度粒度从 request level 下沉到 token level——每一步看哪些请求"差几个 token"，就调度几个 token，把短请求填进 batch 的空隙里。 Paged Attention：传统做法一次为请求申请全部显存，碎片严重；P...

29届学院本，想找暑假实习。java真的不能去搞agent吗

bg双非28，今天开启了生涯的第一次正式投递。Boss150次的沟通额度用完了,只有一家小厂向我要了简历,还有一家深圳的小厂给的太少了,只有100一天，我感觉很难在深圳存活就给拒了。整体是1/3已读不回，另外的好像没注意到我似的。我还是太菜了🥲🥲🥲敢问路在何方?

大家好，我是专注Agent方向的老面试官，也是带过团队的技术人。最近面了不少同学，发现一个普遍问题：一提Embedding就背概念，一问原理就卡壳。尤其是Agent方向，Embedding是连接大模型和外部知识的关键环节，面试官稍微挖深一点，很多人就露怯了。今天我就用最白话的方式，把Agent面试里Embedding相关的常考点拆开揉碎，不讲虚的，直接上干货。Q1：Embedding到底是什么？用大白话解释给产品经理听面试官最爱开头来这么一句。很多同学脱口而出“高维向量映射到低维空间”——面试官脸一黑，因为你在背定义。我建议的回答思路：你把Embedding想象成“给万物编代号”。每个词、每句...