大数据之路：阿里巴巴大数据实践——离线数据开发

数据开发平台

统一计算平台

MaxCompute：主要服务于海量数据的存储和计算，提供完善的数据导入方案，以及多种经典的分布式计算模型，提供海量数据仓库的解决方案，能够更快速地解决用户的海量数据计算问题，有效降低企业成本，并保障数据安全。
MaxCompute客户端：包括Web、SDK、CLT、IDE等形式完成 Project 管理、数据同步、任务调度、报表生成等常见操作。
MaxCompute接入层：提供HTTP服务、Cache、负载均衡，实现用户认证和服务层面的访问控制。
MaxCompute控制层：实现用户空间和对象的管理、命令的解析与执行逻辑、数据对象的访问控制与授权等功能。

Worker：处理所有的RESTful 请求，包括用户空间（ Project ）管理操作、资源（ Resource）管理操作、作业管理等；对于 SQL DML、MR 等需要启动 MapReduce 的作业，会生成 MaxCompute Instance 提交给 Scheduler 一步处理。

Scheduler：负责MaxCompute Instance的调度和拆解，并向计算层的计算集群询问资源占用情况以进行流控。

Executor：负责 MaxCompute Instance 的执行，向计算层的计算集群提交真正的计算任务。
MaxCompute计算层：包括分布式文件系统（Pangu）、资源调度系统（Fuxi）、NameSpace服务、监控模块。
MaxCompute元数据：主要包括用户空间元数据、 Table Partition Schema、ACL、Job 元数据、安全体系等。
MaxCompute架构

统一开放平台

D2：集成任务开发、调试及发布，生产任务调度及大数据运维，数据权限申请及管理等功能的一站式数据开发平台。
Dataworks：核心功能与D2一致，D2服务与阿里集团内部业务，Dataworks则为阿里云对外商业化大数据开发治理平台。
SQLSCAN：在任务开发中用户编写的SQL质量差、性能低、不遵守规范等问题，总结成规范，通过系统及研发流程保障。

代码规范类规则：表命名规范、生命周期设置、表注释等。

代码质量类规则：调度参数使用检查、分母为提醒、 NULL 值参与计算影响结果提醒、插入字段顺序错误等。

代码性能类规则：分区裁剪失效、扫描大表提醒、重复计算检测等。
DQC：主要关注数据质量，通过配置数据质量校验规则，自动在数据处理任务过程中进行数据质量方面的监控。

数据监控：监控数据质量并报警，其本身不对数据产出进行处理，需要报警接收人判断并决定如何处理。

数据清洗：将不符合既定规则的数据清洗掉，以保证最终数据产出不含“脏数据”，数据清洗不会触发报警。

监控规则：主键监控、表数据量及波动监控、重要字段的非空监控、重要枚举宇段的离散值监控、指标值波动监控等。