阿里云实时数仓

项目背景[Situation]:

项目架构:Flume+RDS+DTS+DataHub+阿里云实时计算服务+DataWorks+AnalyticDB+DataV

项目职责[Task]:

1.实时采集埋点日志数据; 2.实时采集业务数据库中数据; 3.对数据进行简单清洗和处理; 4.保存数据到分析型数据库; 5.统计每个地区销售金额和订单数,对结果进行可视化展示; 6.统计每个商品的订单数和订单金额,对结果进行可视化展示。

优化操作:防止由于数据量过大导致数据倾斜,在DataWorks中对数据源表进行处理时,可使用FlinkSQL中的mod函数,将数据打散。 注意:如果是维度表参与 join 操作,都要加上 FOR SYSTEM_TIME AS OF PROCTIME()

全部评论

相关推荐

屌丝逆袭咸鱼计划:心态摆好,man,晚点找早点找到最后都是为了提升自己好进正职,努力提升自己才是最关键的😤难道说现在找不到找的太晚了就炸了可以鸡鸡了吗😤早实习晚实习不都是为了以后多积累,大四学长有的秋招进的也不妨碍有的春招进,人生就这样
点赞 评论 收藏
分享
嗨害嗨我来了:感谢我吧,上次我在食堂敲打了一个姓雷的,他说马上给大学生们准备hc
不卡学历的大厂有哪些?
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务