网易互联网4.16笔试

Q1：大模型是怎么让生成的文本丰富而不单调的呢？答案：从训练角度来看：基于Transformer的模型参数量巨大，有助于模型学习到多样化的语言模式与结构；各种模型微调技术的出现，例如P-Tuning、Lora，让大模型微调成本更低，也可以让模型在垂直领域有更强的生成能力；在训练过程中加入一些设计好的loss，也可以更好地抑制模型生成单调内容；从推理角度来看：基于Transformer的模型可以通过引入各种参数与策略，例如temperature，nucleus samlper来改变每次生成的内容。Q2：什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？答案：Bert 的...

1. 自我介绍2. 如何在工程上实现兜底机制？具体到代码层面怎么做？答案：兜底机制不能只写一句“失败后重试”，要按失败类型分层。模型层可能超时、限流、返回格式错误；检索层可能无结果、召回低相关；工具层可能参数错误、权限失败、下游服务不可用；生成层可能答案无引用或不符合 schema。不同错误要有不同兜底，不能统一重跑。工程上我一般会做三层兜底：第一层是重试，比如超时、临时网络错误可以指数退避重试；第二层是降级，比如大模型失败就切小模型，rerank 失败就用召回分数排序；第三层是安全返回，比如证据不足就拒答，工具失败就返回部分结果和失败原因。对于有副作用的工具，不能盲目重试，必须加幂等 key...