荔枝科技 AI应用开发实习一面

给我面没招了，强度也太大了....1.实习拷打2.项目拷打3.处理查询文档里的异构数据(如图片)时，具体的处理流程是什么?解析成纯文字后如何进一步加工?这样只返回文字给用户，图片信息不会丢失吗?4.你们是通过人工打标建立图片和文本的对应关系吗?文档量很大的情况下，打标工作能完成吗?5.如何保证大部分图片异构数据解析后回答的正确性?若回答错误，怎么识别问题?后续要验证回答准确性，你有什么方案?6.用于评测的另一个大模型，如何构造问题、分析文字并进行对比?这个大模型的正确率以及模型自我一致性怎么确定?7.你们的模型基于哪些异构图像做增强?模型会不会产生幻觉，生成文档外的内容?8.若用户的问题不在文档里，你们会怎么处理?是调用其他模型吗?大模型回答不了时，会提示用户补充问题吗?用户补充后仍无法解决该怎么办?模型如何判断何时需要让用户补充提问?9.你们有框架编排这些流程吗?用的是什么框架?10.怎么理解检索召回率?这些指标具体包含哪些评价项?什么是忠实度?召回率的分子分母是怎么定义的?11.你之前那段实习的具体工作内容是什么?针对设备故障叙述报告这类复杂文本，模型如何理解?是做了相关检测吗?大模型是怎么实现术语解释的?12.请讲一下LoRA技术，除了减少参数量，它还有什么优点?你做的LoRA相关工作，后续有落地应用吗?13.你写代码主要用Python吗?会不会用Java?了解Java的多线程、双亲委派模型以及消息中间件吗?有没有做过Java相关项目?14.你用过LangChain吗?如何用它解决大模型的幻觉问题?若不熟悉LangChain，还能通过什么方法做AI能力增强?