淘天暑期数据研发2面

       当时还比较稚嫩，而且本身专业是后端开发，但是去面数分。岗位描述要求懂pytest、requests用来爬取竞争对手官网数据，存入已有数仓。还要会简单的前后端全栈开发，支持公司内部b端数据应用。最后就是要熟悉Power BI搭建可视化看板，熟悉Excel，并参与公司内部数字化工具的后期维护。一面是主管和组长一起上，给我按在地上鞭尸。1. 自我介绍，第一段实习在法国灯泡公司做质量管理，那具体负责了哪些？跟客户交流遇到什么问题2. 提到有想过开发一个Spring Boot项目，达到验货报告中的相关数据能够及时传输给进出口部门，优化链路。但是当时时间太紧，只是个设想。主管反问，为什么下班时间不去做呢？很多事情空想没用。3. 用Python的sys库完成了一些简单的功能，如邮件自动发送，文件批量复制。然后被嘲讽一年级小孩都能做。4. 介绍第一个玩具项目，Java控制台小游戏，对战流程，架构思路。UML图是自己画的吗，编码过程中是否有过调整？遇到分歧与无法实现的功能，如何与组员交流？5. 这个游戏有联网吗？能不能远程交互？不能的话，有没有想过做成在线小游戏，比如说用C++或Golang写游戏服务器，然后可在浏览器中打开，开始游戏。没有的话，当时为什么不去做？了解过Unity吗？6. 明明是做Java后端，连个Spring Boot都不知道，还搞个控制台课设作业和swing这种清朝编程，有个屁用。7. 然后介绍第二个R语言课设项目，两个CBD的数据分析，预测未来商业趋势。被喷，没必要介绍了，完全没有任何意义。完全是为了做而做，体现不出任何商业思维。8. 明明是软件和前后端的那套技术栈，为什么来数分？完全不对口，来了以后，认为最大的挑战是什么？9. 主管问题：为什么选择我们公司？出于什么动机？组里哪一点吸引了你？是否想创新，实现个人理想。还是仅仅做个实习，应付学校学分要求？10. 介绍第三个机器学习课设项目。关于numpy和pandas，认为用得太简单了，只不过是读一下数据，然后传给python那几个臭名昭著的机器学习库，如skLearn。随便设几个参数，本地玩一玩，然后传到云计算平台上去xjb跑，跑出来也是一坨。最后喷，就是玩具项目，demo，下去吧你。11. 说一下课上做的灰度图像压缩，然后具体介绍对应的细节。12. 监督与非监督学习的区别？聚类和分类的区别。常用算法，各有什么优劣？13. 有了解过自动化测试和爬虫吗？具体用什么库，有没有比selenium更好的办法？14. pandas和numpy常用方法，基本数据类型。怎么做数据清洗？比如说空值和极值。了解过mongoDB吗？15. 用PCA进行降维，分析出了主成分，但是损失了什么？skLearn可以直接跑，不用降维。降维除了方便画图，还有什么其他好处？16. 推荐我课设作业使用逻辑回归和线性回归，画个阈值，不要先用k均值聚类再硬凑两类，最后svm瞎搞。17. 有考虑过模型评估吗？有哪些公式和指标？训练集验证集测试集。这个比例如何确定？17. 有了解过数据开发吗？比如静态数仓，实时数据流。Hadoop、Hive、Spark、Flink听过吗？和数分和后端的联系。提出大数据需要经验，相比数分来说更偏技术，编码。属于后端开发的延申。最后提出互联网中大厂比较多，传统企业少。18. Excel和Power BI掌握情况，不是简单在Excel里面拖拖玩玩，要求会宏编程，Python操作，还有Power BI搭建demo级数据看板的经验。19. 介绍公司业务，是拿业务产生的数据去做一些分析。做一个数据报表，搭建数据看板。更看重商业思维和数学能力，相对来说不怎么要求编程能力。所以更像mkt职位，不是程序员。20. 主管：职业规划。到底想做后端开发还是数据分析？21. 反问：竞品部门，那相关业务基于什么分析？       总结，当时我还没背Java相关八股，也没有小厂实习经验，同时也没在自己电脑上跑过几个烂大街项目。而且去面数分，确实有点跨行了。整体来说印象挺深，也是一段难忘的经历。总的来说，不能用Java的技术栈去面，但当时没办法了，找不到实习就会肄业，所以只能硬上。最后结果也同样惨淡，但是也锻炼了我的心理素质。

主要问了项目 代码沙箱的基本原理是什么？为什么能保护系统安全？ Flink是不是本身就有任务调度的能力？为什么要自己实现一个？ 有没有了解别的产品化的数据分析工具？ 做数据分析的话，里面的挑战是什么？ 血缘分析中提到的影响分析是指什么？ CDC技术介绍一下具体的原理 有没有其他的组件有类似的功能？ 为什么要使用一个调度框架，而不是自己定义定时任务？ Quartz的调度是在单实例上面的吗？还是可以是分布式的调度？ Quartz是怎么进行调度的？是将表达式写在表里面然后去扫表吗？如何平衡性能和可靠性呢？ 在限制用户多次提交的场景中，有了解用Redis实现分布式锁来实现控制要怎么做吗？ 通用大模型缺...

1.分享一个有成就感的项目，解决的问题，最终拿到的价值，同时数据架构的方案，遇到的困难点。2.用的技术栈，怎么优化hive sql。3.怎么判断脚本有没有倾斜。4.MR运行中，map数和reduce数怎么确定的5.Storm，实时和python了解程度6.怎么理解数仓架构7.英语水平

26数学鼠鼠，一段美团日常商分，至今0offer，被剪映一面挂了后突然被抖音的数据分析部给捞了又给了一面，记录一下：5.21 剪映一面实习深挖对剪映的业务有没有了解SQL次日留存自己的优点和自己的缺点反问一周后感谢信6.6 抖音数据分析部门一面 实习项目拷问ABtest提问，如果一个实验第一周显著后面不显著，为什么（考察新奇效应，当时没答上来，回答是拆分维度分析）SQL窗口函数，给职工ID，部门，工资，选出每个部门第三高的。分别给出所有第三高和任意一个第三高两种方法，dense_rank()如果抖音的DAU下降人均时长上升，你怎么判断是不是边缘用户流失导致的还是核心用户也流失导致的，怎么补救（...