具身智能VLA面经分享

攒人品中~
1.VLA的输入和输出分别是什么?
2.为什么机器人领域需要VLA而不是传统控制算法?
3.VLA模型解决的核心问题是什么?
4.VLA微调的数据量一般是多少?
5.遥操作数据采集原理?
6.VLA的actionhead有哪些常见设计?
7.分别阐述一下pi0,pi0.5,p0.6的区别。
8.简单说下rtc原理,
9.什么是action chunk?
10.一个典型的VLA模型架构包含哪些模块?
11.为什么RL在VLA中越来越重要?
12.阐述一下流匹配flowmatch原理?
13.现在VLA有哪些主流的研究方向,分别是什么?
14.VLA如何和低层控制器结合?
15.场景:VLA推理速度太慢
场景:你的VLA模型推理频率只有3Hz,但机械臂控制需要50Hz控制频率。
问题:如何解决VLAinferencelatency?
16.场景:机器人动作很卡顿
场景:VLA预测动作执行时机械臂运动,非常抖动。
问题:如何让动作更加平滑
全部评论
想问下大佬是哪家公司的鸭~
点赞 回复 分享
发布于 03-30 10:42 广东

相关推荐

攒攒人品! 1.项目拷打2.vision-language 对齐是 joint embedding 的?,那做了哪种对齐?有做 hard negative mining 吗3.所有视角共享 encoder 吗?如何防止view collapse?4.semantic space是如何保证cross-modal consistency的5.用diffusion model做动作策略,是怎么建模action space的6.如果多个diffusion模型组合,用了 gating 机制还是 uncertainty-aware ensemble?那 uncertainty 是怎么量化的?有对比过 epistemic 和 aleatoric 吗?7.怎么防止action drift?有没有引入 consistency regularization或者temporal smoothness loss?8.在surgical robotics里policy failure cost 很高,是怎么做risk-aware training 的?有没有加入 CVaR loss10.模型泛化能力是靠数据多样性还是结构归纳偏置?能列出你设计中的 inductive bias 吗?对 unseen 手术任务怎么泛化11.surgical scene 变化很大,怎么办12.你说MAE 是做关键帧 reconstruction,那帧选择怎么做?具体打分逻辑是怎么样的13.有没有做 token-level saliency analysis?你怎么知道模型真的关注了 surgical tool 而不是 background?部署是在 ARM 上还是 X86?有没有模型并行?多线程和多进程各负责什么14.做多模态感知融合时,视觉、语言、触觉(如果有)延迟不同,怎么对齐的15.整个pipeline的E2E latency是多少?瓶颈在哪你说中间用了 LQR,你 gain matrix 是 constant 吗?有没有做 gain scheduling?基于什么指标调的16.控制系统稳定性你怎么保证?有没有做过 Lyapunov 函数证明17.做过 trajectory optimization 吗?是基于 collocation 还是 direct shooting18.假设你有个 policy 输出波动很大,你会考虑在 policy 层加高通滤波器还是在 loss 层加 penalty?为什么?19.diffusion policy 是连续动作空间,那你是建模 joint distribution 还是 marginal20.语言指令不是 deterministic 的,你们是直接用 language embedding 吗?有没有考虑language-conditioned latent variable model?
查看21道真题和解析
点赞 评论 收藏
分享
评论
1
11
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务