大数据岗位介绍

我感觉牛客对于大数据似乎比较少，我给大家介绍一下大数据吧，目前对于各大公司其实都是需要看数据，但数据比较分散对于各个业务和数据研发来说比较松散，而且数据在各个平台不好管理，同时如果要进行联邦查询就比较麻烦，所以大数据就来了，将公司各个业务的数据都接入大数据平台，通过专业的数据开发工程师来管理和建设数据资产，同时对于数据来说专业的人也更清晰，只提供给需求方需要的数据，同时对于一些很大的数据需要大数据部门解决问题，还是一句话专业的事情还是要专业的人来解决，下面我来说一下大数据需要怎么学和怎么入门
1 学习的话需要学习基础开始，比如hive，spark，flink，还有kafka基础开发，然后scala，sqlPython都要会点，如果是玩flink开发的话需要会JAVA一些基础，同时对于数据工程师还要熟练用数据平台和数仓建模，对于数据模型数据域主题域建设都需要会，同时对于数据倾斜都要会，这些是大数据入门要会的
2 大数据进阶，对于大数据这一套会了之后就要开始学习大数据的湖仓这一套了，比如paimon,hudi,iceberg，对于OLAP引擎需要会StarRocks和doris这些吧，还有就是性能调优，flink实时开发

对于我上面说的大数据都可以开始先学习起来，对于大数据的简历和技术难题和技术指导大家都可以找我私聊，我干这一块都3年多了，感觉干的还算是比较久了#牛客AI配图神器#