Spark 3.x AQE 与 DPP题目一：AQE 的三大能力与适用场景场景：你们的离线数仓从 Spark 2.x 升级到 Spark 3.x 之后，发现同一份 TPC-DS 报表整体性能提升了不少，但有些 SQL 在数据倾斜场景下表现差异更明显。Leader 让你梳理并落地 Spark 3.x 的 AQE（Adaptive Query Execution，自适应查询执行）能力，用来统一优化 SQL。要求：说明 Spark 3.x AQE 相比 Spark 2.x 的核心目标是什么，解决了 Spark 2.x 哪些「静态优化」的痛点？结合实际查询场景，分别举例说明 AQE 的 三大能力： 动...

25年刚开年DeepSeek横空出世，集团下发红头文件，全面拥抱AI，楼主毅然从一个JavaBoy通过内部考试转成了AI开发工程师，到目前为止算是整整一年了。今天来聊一下所谓AI开发工程师都在干什么？首先我们内部有一个共识，现在看到的大部分的AI应用，在公司层面完全是探索阶段，就是说大部分的AI应用都是一个华丽的demo，根本没法保证用户的大量使用了。强如千问，该崩还是得崩。所以我今年一半的工作内容都是在调研新技术，调研新交互模式，开各种会，这个时候你就会感慨为什么乔布斯、张小龙他们是产品而不是研发，很多时候我们精心设计，经过用户调研、项目立项、产品原型设计、技术调研、评审等等等环节，设计出来...