AI-Agent 面试题汇总 - 自然语言处理篇 (项目)

1. 了解哪些激活函数？重点说 GeLU

常见激活函数有ReLU、LeakyReLU、Sigmoid、Tanh、GeLU。GeLU是平滑非线性，近似“按概率保留输入”，在Transformer/BERT中常优于ReLU。

import torch.nn as nn
act = nn.GELU()

2. 项目的构建过程

完整流程通常包括：业务定义 → 数据采集与标注 → 数据清洗与EDA → 建模实验 → 指标评估 → 误差分析 → 部署上线 → 监控迭代。面试回答要突出你负责模块、优化动作和量化收益。

3. BERT 模型的构建

包括：分词器选择、预训练模型加载、任务头设计（分类/序列标注）、损失函数、优化器、训练策略（warmup、lr decay、early stop）与评估。

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2)

4. 模型压缩方法，详细讲量化

模型压缩常见：剪枝、量化、蒸馏、低秩分解。量化是把FP32参数映射到INT8/INT4，减少内存与推理延迟。有训练后量化（PTQ）和量化感知训练（QAT）；QAT精度通常更好但训练成本更高。

5. 用到的机器学习算法，举例随机森林原理

随机森林是Bagging集成：对样本做bootstrap抽样、对特征做随机子集选择，训练多棵决策树并投票/平均。优点是抗过拟合、鲁棒性强、对特征尺度不敏感。

from sklearn.ensemble import RandomForestClassifier
clf = Rand