字节校招ai infra一面(攒人品

发一下问题给大家参考,攒攒人品!
1.llama.cpp了解吗?详细说说它的特点
2.对DeepSekk 671B模型进行推理时,是如何做算力分配和负载均衡的?
3.大模型推理中的量化技术了解吗?常见的量化方法有哪些?
4.对称量化和非对称量化的区别?
5.KV cache的原理是什么?在推理中起什么作用?
6.用过vLLM吗?它相比传统推理框架有什么优势?
7.vLLM中的PagedAttention机制是怎么工作的?解决了什么问题?

语言基础
C++协程(Coroutine)的特点?
C++协程有栈和无栈的区别?cpp20协程是有栈还是无栈?Vector emplace_back和push_back的区别?常量指针和指针常量的区别?

算法题(easy)
LeetCode经典题:走迷宫问题(DFS/BFS)
全部评论

相关推荐

评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务