第 20 题：SwiGLU 激活函数相比 ReLU / GELU 的优势 题目 解释 SwiGLU 激活函数相比 ReLU 和 GELU 的优势。 一、ReLU 与 GELU 简述  ReLU：；简单、稀疏，但死神经元、非零处恒为 1 的梯度。 GELU：（与正态 CDF 相关）；平滑、在负半轴非零，被 BERT、GPT-2 等采用。  二、门控与 GLU 族 GLU（Gated Linear Unit） 形式：，即一路做门控（sigmoid），一路做线性变换，再逐元素乘。门控可让模型学会“选通”信息，提升表达能力。 SwiGLU：把门控的 sigmoid 换成 Swish（即 ，又称 SiL...

求各位路过的大佬锐评！      

自我介绍实习遇到的难点，是如何克服的有在线上排查的经验吗B 平台 策略模式、工厂模式和模版方法模式是如何运用的，有什么区别阶梯退避轮询中，base 和上限是如何确定的峰值或高频请求时，如何保证 SLAC 系统 Checkpoint 回溯机制是如何实现的；取 Checkpoint 发生在哪些时机A 系统 如何保证事务下，数据库与缓存的一致性详细讲一下分布式随机分片锁八股了解缓存击穿和雪崩吗了解 JVM 内存吗垃圾回收了解过吗AI了解 AI Agent 吗了解 Agent 的上下文窗口吗；上下文超过模型窗口限制，如何处理了解过 Agent 的短期记忆和长期记忆吗算法二叉树的层序遍历 &&a...