2024-12-09 10:24 门头沟学院 大数据开发工程师 发布于北京
关注
秋招面试题 Flink
投票
辉哥，面试的时候问了一个问题，不知道怎么更好回答，flink如何做到高效数据交换
并行度
Flink可以通过增大并行度和slot操作来扩展程序整体的处理数据能力。
分区策略
Flink通过分区策略（如按键分区）将数据高效分配到不同算子，减少跨节点的数据交换。
流水线（管道）传输：
采用管道式数据传输（每个节点都会有阶段性计算和过滤 剔除无关数据），每个算子按需处理数据，减少网络开销，能自动调整数据流速，避免慢算子成为瓶颈。
动态资源分配
Flink 具有动态资源分配的功能，能根据使用情况自动调整计算和存储资源的分配。可以确保资源的有效使用，提高整体性能，降低内存瓶颈。
Shuffle优化：
Pipelined Shuffle：使得数据在交换过程中可以持续流动，避免了等待整个数据集收集完成。
容错机制：
使用Savepoint\Checkpoint确保数据一致性和恢复时高效的数据交换。
#校招# #数据仓库# #数据人的面试交流地# #面试时最害怕被问到的问题#
并行度
Flink可以通过增大并行度和slot操作来扩展程序整体的处理数据能力。
分区策略
Flink通过分区策略（如按键分区）将数据高效分配到不同算子，减少跨节点的数据交换。
流水线（管道）传输：
采用管道式数据传输（每个节点都会有阶段性计算和过滤 剔除无关数据），每个算子按需处理数据，减少网络开销，能自动调整数据流速，避免慢算子成为瓶颈。
动态资源分配
Flink 具有动态资源分配的功能，能根据使用情况自动调整计算和存储资源的分配。可以确保资源的有效使用，提高整体性能，降低内存瓶颈。
Shuffle优化：
Pipelined Shuffle：使得数据在交换过程中可以持续流动，避免了等待整个数据集收集完成。
容错机制：
使用Savepoint\Checkpoint确保数据一致性和恢复时高效的数据交换。
#校招# #数据仓库# #数据人的面试交流地# #面试时最害怕被问到的问题#
全部评论
相关推荐
04-25 22:24
武汉理工大学 大数据开发工程师 
牛客861513826号：A场景题：数量统计不说了；退货平均时间：先沟通清楚，月平均退货时间算不算上不退货的用户，不算的话，就只计算退货用户；一个用户的退货时间减去到货时间拿到这件商品的退货时间，然后计算每个退货用户的退货时间，AVG开窗partition by月份，计算出每个月的平均退货时间。如果要算上不退货的用户，也就是让这个用户的退货时间是0，然后对所有用户计算AVG同上。
B场景题：结合下面他提示你再想想数据倾斜，其实这道题是想靠你数据倾斜怎么解决；本来是一个商品购买信息表，记录商品信息和购买者信息，如果给购买者信息加上性别，要求算出每个商品不同性别的购买人数。百分之八十女性用户，所以如果单纯对表进行分组聚合，会产生数据倾斜问题，由分组聚合产生。五种办法可以解决，两种hive参数，三种SQL，往SQL方向聊，以防他追问参数底层，参数这种东西最难聊了，别给自己挖坑 点赞 评论 收藏
分享
查看8道真题和解析 点赞 评论 收藏
分享
04-10 14:26
吉林大学 Java 
投递蔚来等公司6个岗位 点赞 评论 收藏
分享
点赞 评论 收藏
分享