flink代码重构

今天主要对系统一期的代码进行重构优化,重构思路主要是根据ETL整个过程,分成三部分,E(抽取)、T(转换)、L(加载)。
对应每部分分别将链式编程中的匿名内部类抽取统一去做管理;此外,flink的作业中涉及大量的配置,包括kafka、mysql、mongodb等等,将配置信息也进行统一管理,对于flink环境的初始化,使用工具类进行包装,这样弄下来对于每个flink的job作业,就显得非常清晰;
flink的测试也有门道,本地单机测试和线上集群的结果不一定一致(这里涉及到flink的组件),这里我建议本地通过minicluster就可以快速构建测试。
上线就遇到一个问题,在本地通过静态方式初始化配置表,但是线上部署发现获取失败,发现是集群部署时,只能在一个taskManager初始化,其他taskManager无法获取,task如果不在初始化的taskManager执行,就会无法获取。通俗来说多个Jvm只初始化一个Jvm🤗

#牛客AI配图神器#  #校招#  #校招入职后的感受#
全部评论

相关推荐

刚刷到字节跳动官方发的消息,确实被这波阵仗吓了一跳。在大家还在纠结今年行情是不是又“寒冬”的时候,字节直接甩出了史上规模最大的转正实习计划——ByteIntern。咱们直接看几个最硬的数,别被花里胡哨的宣传词绕晕了。首先是“量大”。全球招7000多人是什么概念?这几乎是把很多中型互联网公司的总人数都给招进来了。最关键的是,这次的资源分配非常精准:研发岗给了4800多个Offer,占比直接超过六成。说白了,字节今年还是要死磕技术,尤其是产品和AI领域,这对于咱们写代码的同学来说,绝对是今年最厚的一块肥肉。其次是大家最关心的“转正率”。官方直接白纸黑字写了:整体转正率超过50%。这意味着只要你进去了,不划水、正常干,每两个人里就有一个能直接拿校招Offer。对于2027届(2026年9月到2027年8月毕业)的同学来说,这不仅是实习,这简直就是通往大厂的快捷通道。不过,我也得泼盆冷水。坑位多,不代表门槛低。字节的实习面试出了名的爱考算法和工程实操,尤其是今年重点倾斜AI方向,如果你简历里有和AI相关的项目,优势还是有的。而且,转正率50%也意味着剩下那50%的人是陪跑的,进去之后的考核压力肯定不小。一句话总结: 27届的兄弟们,别犹豫了。今年字节这是铁了心要抢提前批的人才,现在投递就是占坑。与其等到明年秋招去千军万马挤独木桥,不如现在进去先占个工位,把转正名额攥在手里。
喵_coding:别逗了 50%转正率 仔细想想 就是转正与不转正
字节7000实习来了,你...
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务