字节筋斗云大模型算法一面面经

一面 1.项目介绍2.简历拷打3.双塔可以用于哪些环节?你觉得目前对双塔模型的研究还存在哪些问题?怎么优化?设计一个电商的商品召粗精链路?4.手推-下MSE的梯度回传?为啥01分类问题不能用MSE?5.长序列建模除了sim还了解哪些?6.场景迁移学习的思路有哪些?7.实习项目的收益点主要来自哪里?后续怎么继续迭代?8.代码:分发糖果9.买卖股票的最佳时机10.反问11.业务二面1.挑一个项目介绍2.项目拷打3.讲一下你对rankmixer的理解?4.对lm4rec的后续迭代方向有什么见解?5.讲一下最近很火的onerec?你认为onerec对你工作最大的启发是啥?6.attention为什么要除以根号dk?7.如果你这个项目资源足够的话，有没有考虑过直接端到端训练?8.手撕多头注意力机制9.代码10.反问

作为传奇耐面王，已经是被字节第三个部门面试了，之前两个后端的都挂了，无奈只能另谋出路，本想直接到测开，但这一旦测试开始，估计后续就无缘后端了，所以再挣扎一下试试客户端，实在不行再去测开。首先是自我介绍以及对项目的简单问答，下面记录关于八股的内容以及参考答案1、线程与进程是什么有什么区别？线程比进程更高效的原因是什么？名称定义举例进程（Process）操作系统中资源分配的最小单位。每个运行的程序就是一个进程。打开“微信.exe”就是一个进程线程（Thread）操作系统中CPU调度的最小单位。线程是进程内部的“执行流”。微信的一个线程负责接收消息，另一个线程负责播放语音区别定义操作系统分配资源的基...

1.如果训练出来的模型在某一类任务上表现比较差，如何解决这个问题？2.如果DPO训练的过程中发现loss不降，如何定位原因？从数据构造和训练参数两个角度分析。3.有没有尝试过动态prompt，训练数据如何构造，如何保证policy正确？4.如果想把判别式任务转化成生成式任务，学术界有哪些常用方法，哪一种效果比较好有对比过吗？5.数据的难度分层是如何做的，为什么没使用困惑度？6.如何确保分层的准确性，用大模型进行分层为什么没有尝试更大的模型？7.做CPT时的数据量级，数据处理的pipeline？8.CPT的数据配比是什么样的，有没有考虑CPT后通用能力的退化问题？如何检验CPT后模型的通用能力？手撕：1、寻找重复数（转化成环形链表找入口来求解）2、手撕对比学习的loss计算3、手撕多头注意力

10月底会开吗二面完要等多久呀