涂鸦智能软测凉经

📍面试公司：涂鸦智能

🕐面试时间：3.18

💻面试岗位：软件测试

❓面试问题：

• 自我介绍
• 举实习的具体内容，怎么落地的
• 怎么去控制跑跳操作的
• 通过gui模拟键盘指令pyautogui.keyDown('w')
• 【推荐】通过lua调用游戏底层接口，这种方式稳定性高，不受UI变化环境影响，还可以控制参数

详细来说就是python（自动化测试脚本）-> socket发给游戏内lua服务 ->lua（客户端脚本层解析指令+找到对应接口） -> tolua（桥阶层 把C#函数暴露给lua，让lua可以调用）-> C#（游戏核心逻辑层） -> 角色的跑跳动作

• 跑跳这些操作怎么做自动化断言的
• 数据层断言（通过调用游戏底层接口，读取核心状态数据），比如跳跃状态，位置变化的差值在合理范围
• 图像识别断言+重试，比如 Airtest 的exists（template（角色跳跃帧的模板图））
• 日志断言+录屏截图，比如看跳跃成功的日志，看是否存在关键词
• 对AI小助手（语言控制设备）设计用例
• 功能：唤醒（自定义、不同音量、不同环境、发音）、语音识别（方言、长短句、中英文、大小声、背景干扰）、交互响应（哪些场景可以正常执行、超时或者无法执行有反馈、可以打断助手说话）
• 异常：无效指令、模糊指令、指令冲突、场景异常（网络断开/设备没电）、边界值（超长语音，违禁词）
• 性能：响应速度、识别率、连续下达多指令无卡顿、语速/音量适配
• 安全：隐私信息加密、权限控制（定位/支付等场景）、
• 兼容：设备端适配、网络/系统版本适配、第三方设备适配（不同品牌的灯/空调等）
• 触发维度除了关键字还有哪些场景
• 基于上下文场景（历史对话等）、按钮触发、定时触发、环境感应触发（比如低电量自动提醒）
• AI助手没有触发，怎么确认是哪个环节出问题，怎么确认是客户端、云端、还是设备问题？
• 先验证麦克风是否正常录音（检查设备问题）
• 再验证客户端本地能力（eg离线的方式验证是否可以设置本地闹钟）
• 最后区分是客户端交互处理出问题还是云端识别解析出问题（看客户端日志，是否显示“成功上传云端”，如果未上传，那就是交互问题，成功上传但是没触发，云端识别问题
• 针对设备控制接口做接口自动化，考虑哪些关键点
• 正常异常、参数（必传、非法、空值）、安全（token、越权）、幂等性（执行一次）、并发
• AI在测试中的应用或实践
• 使用过的AI工具，帮你解决了哪个具体的场景
• coze用过哪些能力，是通过单agent还是工作流实现的
• 有没有用过tools、mcp、或者skills
• 测试AI和测试传统APP不同点
• 输出是否确定：一个是概率性输出、一个是确定性输出
• 测试重点：一个是测效果、准确性、相关性、安全、幻觉；一个是测功能、逻辑、流程、界面
• 判断对不对方式：一个是主观+客观结合（看准确率、相似度、人工评估）；一个是明确断言
• 缺陷定位不同：一个是模型、提示词、数据、意图理解问题；一个是代码、接口、字段问题
• 怎么评测AI的结果对不对
• 准确性：是否出现错误信息、编造信息、幻觉，看结果是否符合知识库、逻辑数值等是否正确
• 相关性：是否切题，没有偏离用户意图
• 完整性：是否覆盖用户的所有提问点
• 安全：是否涉及暴力、泄漏隐私、是否拒绝不当请求
• 可用性（体验）：格式、语言是否通俗、条理是否清晰
• 反问

🙌面试感想：本人确实太菜了，公司70%业务都在跟ai打交道，所以面试问的大多数都是ai