终于开始内测阶段了，准备好bug处理😁今天把过滤条件修改一下，不仅需要针对入库时间，也要针对日志本身的时间😂

今天的flink聚合处理了一天也解决不了聚合器重复的问题，只能在数据库作联合索引唯一处理了，虽然感觉有更好的，但是也要先完成，才能做得更好

下班前给我看到竟然出现消息丢失和重复 天塌了😁

今天弄的bug纯恶心 明天弄 fuck🤮

今天主要对系统进行上线前的测试，对窗口的聚合计算时间增大，避免频繁发送相同的日志；对flink cdc的source读取认识更加深刻整理了几篇文档放在公司😁

今天主要对系统一期的代码进行重构优化，重构思路主要是根据ETL整个过程，分成三部分，E（抽取）、T（转换）、L（加载）。对应每部分分别将链式编程中的匿名内部类抽取统一去做管理；此外，flink的作业中涉及大量的配置，包括kafka、mysql、mongodb等等，将配置信息也进行统一管理，对于flink环境的初始化，使用工具类进行包装，这样弄下来对于每个flink的job作业，就显得非常清晰；flink的测试也有门道，本地单机测试和线上集群的结果不一定一致（这里涉及到flink的组件），这里我建议本地通过minicluster就可以快速构建测试。上线就遇到一个问题，在本地通过静态方式初始化配置表，但是线上部署发现获取失败，发现是集群部署时，只能在一个taskManager初始化，其他taskManager无法获取，task如果不在初始化的taskManager执行，就会无法获取。通俗来说多个Jvm只初始化一个Jvm🤗

今天上线本来一切正常，突然有个job处理结果与本地开发不符合，找了贼久的问题发现是jar包引用错误了，好在还是成功完成了😁😁

今天开了一下午大会，啥事没干，轻松🤪

今天主要两件事1、flink作业部署线上有bug，找不到先不干了😡😡2、集成飞书的SSO，使用的是开源的justAuth去做，已经调通没问题🤪leader另外给了两个长期研究1、脚手架研究2、AI集成以后再慢慢弄😁😁

今天啥都没干，有新的flink任务指导组员完成了，顺便让她也熟悉熟悉；下午一直在弄streamPark部署flink，本地没问题，部署而且出现了新的问题，明天要排查一下

今天主要针对日志做转义，才发现sys-code和sys-name有config表，直接根据日志中的sys-code去config表中找sys-name就好。考虑到在flink实时消费计算，不能重复做查询工作，于是就在flink启动的同时做config表初始化，放在本地缓存中，针对缓存没有的情况，去config表查询后再put进去；这里由于只有flink相关的依赖，没有spring的依赖，所以不能依赖于spring的bean启动初始化，就还有两种，分别是类加载过程中在static做初始化以及手动调用init方法。这两种都可以去做初始化的工作，主要看自己的选择。今天没有加班，准时下班😇😇

今天把流程的一些潜在bug处理了，但是下午切分支代码全没了😞，靠着ai的历史记录和记忆复原，好在没有什么影响，第一周非常充实😁

今天顺利把Flink消费日志入库完成了😇😇对接飞书发送卡片也没有问题明天把飞书回调的逻辑和组员再过一下希望明天能完美结束🤪🤪

今天把架构的一期需求都基本拆分完成。突然觉得难度好像也没有自己想象的那么高，压力那么大。就是下午开会leader竟然说原有的代码不是包对的，你得自己再重新过一下，我以为拿来就用，天塌了。好在一起的组员很给力，技术能力很棒，希望自己作为组长能带好头，重在提升