为什么要给数据分域 方便整体数据管理、查找、使用、使得业务环节模块独立化，既方便了数据仓库/数据分析同学划分自己负责的域，也让下游业务侧使用更清晰。   数据域 从数据视角自下而上搭建，对每个业务环节进行切割划分，形成不同环节的数据集，组装为完整的业务流程，例如常见的下单、支付、退款等环节。   举个例子🌰，小红书中用户从注册账号到发布动态、私信、评论、交互（点赞、收藏）、商品、直播等全生命周期中的每一个环节都可以定义为数据域。   主题域 从业务视角自上而下分析，从整体业务环节中升华出来大的专项分析模块，结合对接的业务范围和行业形态从更高的视角去洞察整个业务流程。   举个例子🌰，在小红...

这期内容我们不讲技术，单独聊聊互联网中常见黑话，目的是让大家能够快速get到日常工作中别人在说啥，同时也可用于汇报中炼字（当时在阿里周周练习这个，就是把能让人看懂的变的别人看不懂，但这里语兴还是提倡大家少说黑话）我们这里把黑话拆分为几种类型日常及汇报黑话、产品黑话、研发黑话，这里黑话存在缺失，大家可以把自己常说的黑话放到评论区一起沟通1.汇报黑话（1）对齐/拉齐：与其他人保持进度、口径、思想的认知统一，在互联网通常用于对齐进度，对齐业务口径等。（2）抓手：抓手本意是人手能抓住地方，例如做饭时候锅的把手，在互联网通常用于做事方向。（3）赋能：赋能也是常见的词，本意为把能量传递给xxx，在互联网通...

在写本期内容之前，语兴应网易 easy data 以及 aloudata 的邀请，同时基于后台同学对指标体系建设的反馈要求，我们在这节课中将从指标体系建设延伸至指标平台建设或选型，为大家进行详细介绍。1.指标介绍1.1 什么是指标指标是用来衡量、评估和描述数据的特征、性能或关系的度量标准，换句话说，指标是对不同维度（包括粒度）进行事务的描述，同时指标在生活中也与大家息息相关，就拿减肥这件事来说，粒度到用户，用户最近30天减肥斤数即指标，同时亦可通过指标来量化事实的好坏，来进行评判，例如某用户最近30天减肥斤数如果=0斤，平均线为5斤，即为指标不达标。1.2 指标分类指标包括原子指标（概念指标、...

新著作《数据星河》样品到了，后续会在各大平台上架（这书怎么越看越像得物出版的）

背景 目前有这样一张表ods_cs_json表（算法模型返回客服舆情数据）有2个字段user_id、message，后续会将数据传输到后端kafka,message消息如下：[ { "criteriaOfJudgment": "该用户在客诉工单中有1条语兴好物圈需净化内容", "matchingDegree": "100%", "profilingTag": "语兴好物客诉舆情用户", "tagType": "modelTag", "datasource":"社区" }, { "criteriaOfJudgment": "该用户在客诉工单中有1条语兴好物圈需净化内容", "matchingDe...

1.数据表存储优化 背景 当前有这样一张网关日志表，30+字段，每天存储515tb，每小时全量5tb，要花费近600块/天，需要去进行存储优化，全量714亿。   思路 第一步评估影响  看看下游有谁在用（血缘），怎么用（下游脚本读了多少天的数据），有没有报表等服务在用，如果出了问题能不能复现回滚，业务方查询分区最多多少天，元数据表则从之前做好的dwd去取，如果没有则需要问平台侧要元数据信息自己加工。CREATE TABLE `xx`.`dwd_meta_table_detail_df`( `cata_log` string COMMENT '集群or数据源', `db_name` strin...

Flink SQL开发链路全流程先确定源，一般都是Mysql到kafka/mq，通过读binlog获取，也可以直接读后端提供kafka/mq，其次是流表，流表大多数都在中间件中存放，最后落地结果时可落starrocks/doris中。流程如下：流表创建首先需要先创建流表的库就是流表kafka、olap的ods、dwd、dws、ads方便后续操作，再创建配置流表。实时开发存在3版块内容，1flink sql实现实时sql方式查询，2.实时jar包上传，3.flink cdc来接入来源库数据源CDC接入方法1：Binlog获取，DTS配置，生成ODS流表这里任务名和ODS任务保持一致即可，配置好M...

报表治理背景大家在开发中会遇到这样一种情况，我们的日常任务/数据表都是不断上线的，但持续上线会导致存储、计算资源飙升，导致部门每年资源预算都不充足，因此每年给大老板报预算时候预算都在增长，同时内部数据表、报表想下线时，由于不清楚有没有被使用，都被阻拦，因此产生恶心循环，目前线上报表大多数都是一次性的，可能是为了某个项目的业务侧阶段汇报、大老板想简单看个数据分布从而制定决策，因此对于无效报表、无效任务、无效数据表都可以进行治理优化，同时也需要对报表进行加速查询从而提效。报表治理思考（治理前）由于线上报表过多，同时很多报表业务方都在使用，如果直接上手则会导致业务投诉，因此需要先排查哪些报表还有存在...

最近群里有同学找实习被某大厂问到数据基线和sla提效的问题， 在我的简历中，说到了数据基线和sla提效的问题，被问到了是怎么提效的？ （1）基线排查问题：首先点开基线，基线有个甘特图，点开后会展示每一个任务的运行时间，知道末尾的节点，及运行时长，因此可以定位它每一段到底哪个任务运行时间最长，在哪个任务卡住，甚至还能发现，部分任务中间有间隔（例如任务定时7点执行，但上游5点执行结束，导致2小时浪费），先定位各任务样貌。   （2）同步任务运行时间过长：在梳理完基线后，由于数据表是全量同步，因此发现同步数据花了近3小时，同时dwd也保持全量读取，因此都会导致数据变慢，可以对任务进行全量改增量处理。...

ID的生成 在我们熟知的各种数据中，一般主键ID都是一个全局无重复的整数类型(long),比如数据库的主键id，是递增增长的，在订单中,订单id的生成就比较有讲究，需要兼顾效率和唯一性:订单ID的要求：全局唯一性高性能:并发要高、延迟低、在一些大型公司,很重要高可用:稳定、不容易挂掉简单易用:目前,在订单ID生成的选择上大致有如下几种方式选择：自增的id:一般对于要求不高，量级和并发都不大的情况下使用时间戳+随机数分布式算法UUID生成雪花算法等订单序号+其他信息（时间、日期、序号、...）例如淘宝id号：就是序号+买方信息等拼接而成一般订单id是作为数据库主键存在，而订单号则并非数据库主键。...

前言 这次还是想聊聊数据价值这个话题，最近群友问的比较多，同时呢在上周五我参加阿里云meet up，台下台上问的最多的问题也是数据价值，甚至cto也在苦于如何展现价值，如何向老板汇报，我们这一期还是谈一下数据价值，搞清楚它，以及我在总结时，面试时如何说数据价值。 价值概念 价值可以理解为你对团队创造贡献或你能为团队创造的贡献，例如阿里p7加入某小厂可以带来技术思路带来价值，同理之前参与过某个核心项目也具备对应的价值。 价值考评 价值考评在于你直接的主管（老板），因此主管是什么样的，他自己也会定义哪些是高价值，哪些是低价值，因此价值考评可以分为两种（1）专业老板晋升上去的或者之前从事这块工作的（...

HIVESQL解析流程之前讲过,hivesql最终会被翻译成对应的MR程序最终执行（sparksql翻译到底层的RDDtask执行）等等，SQL只是一个抽象的语言。SQL的的执行流程主要的流程：1.词法/句法解析：有的是用的Antrl语言规则，有的用的是Calcite语法规则，通过该规则完成对sql语言的解析生成对应的抽象语法树（AST Tree）ANTLR（Another Tool for Language Recognition），一个通过语法描述来自动构造自定义语言的识别器（recognizer），编译器（parser）和解释器（translator）的框架。。antlr是指可以根据输入...

什么是数据倾斜？并行处理的数据集中，某一部分（如Spark的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。造成数据倾斜的原因有很多，其中一个常见场景是一张表中少量key的记录条数特别多，导致在做Join的时候，同一key的大量数据被一个task执行，导致这个task执行耗时过长。数据倾斜不仅可以由join导致，也会有group by，partition by，count(distinct)等需要对数据进行重分区的场景导致。数据倾斜的表现任务运行几个小时甚至数十个小时任务OOM需要进一步定位数据倾斜排查思路Join数据倾斜解决思路无效Key J...