AI-Agent 面试题汇总 - 自然语言处理篇 (项目)

1. 了解哪些激活函数？重点说 GeLU

常见激活函数有ReLU、LeakyReLU、Sigmoid、Tanh、GeLU。GeLU是平滑非线性，近似“按概率保留输入”，在Transformer/BERT中常优于ReLU。

import torch.nn as nn
act = nn.GELU()

2. 项目的构建过程

完整流程通常包括：业务定义 → 数据采集与标注 → 数据清洗与EDA → 建模实验 → 指标评估 → 误差分析 → 部署上线 → 监控迭代。面试回答要突出你负责模块、优化动作和量化收益。

3. BERT 模型的构建

包括：分词器选择、预训练模型加载、任务头设计（分类/序列标注）、损失函数、优化器、训练策略（warmup、lr decay、early stop）与评估。

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModelForSequenceClassification.from_pretrained("bert-base-chinese", num_labels=2)

4. 模型压缩方法，详细讲量化

模型压缩常见：剪枝、量化、蒸馏、低秩分解。量化是把FP32参数映射到INT8/INT4，减少内存与推理延迟。有训练后量化（PTQ）和量化感知训练（QAT）；QAT精度通常更好但训练成本更高。

5. 用到的机器学习算法，举例随机森林原理

随机森林是Bagging集成：对样本做bootstrap抽样、对特征做随机子集选择，训练多棵决策树并投票/平均。优点是抗过拟合、鲁棒性强、对特征尺度不敏感。

from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier(n_estimators=300, max_features="sqrt", random_state=42)
clf.fit(X_train, y_train)

6. 讲一个最体现能力的项目，重点是优化思路

回答结构建议：业务目标 → 基线模型 → 问题定位（数据/模型/推理） → 优化动作（清洗、重采样、损失函数、阈值） → 指标提升 → 线上收益（QPS/延迟/成本）。关键是“可量化”和“可复现”。

7. 模型部署用什么框架，部署过程

常见是 Flask/FastAPI + Gunicorn/Uvicorn + Docker + Nginx。流程：模型导出 → 服务封装 → 压测 → 灰度发布 → 监控告警 → 回滚策略。

# FastAPI 最小服务示例
from fastapi import FastAPI
app = FastAPI()

@app.get("/health")
def health():
    return {"status": "ok"}

8. 数据来源与数据内容

要说明来源合法合规（业务日志、公开数据、人工标注、爬虫合规采集）、字段结构、样本规模、类别分布、脱敏处理与质量控制。

9. 项目损失函数与优化器

分类常用交叉熵，序列标注可用CRF负对数似然，回归用MSE/MAE。优化器常用AdamW，配合学习率调度与权重衰减。

import torch.optim as optim
optimizer = optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01)

10. 项目评估指标及计算

分类：Accuracy/Precision/Recall/F1/AUC；序列标注：实体级P/R/F1；检索：MRR、Recall@K；生成：ROUGE/BLEU。要说明“离线指标”和“线上业务指标”如何映射。

11. 模型服务封装框架与过程

封装关注：请求协议、批处理、超时重试、限流、日志追踪、监控（延迟、成功率、漂移）。可补充A/B测试与灰度机制。

12. KL散度损失与交叉熵损失区别

KL用于衡量两个分布差异，交叉熵可视为“熵 + KL”。蒸馏场景常用KL对齐教师与学生分布；监督分类常用交叉熵对齐标签分布。

13. fit / transform / fit_transform 区别

fit 学习数据统计量；transform 用已学统计量转换；fit_transform 等于先fit再transform，常用于训练集预处理。

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)