etl处理的五大模块

问题描述

精选答案

ETL处理的五大模块分别是：数据抽取、数据清洗、库内转换、规则检查、数据加载。各模块可灵活进行组合，形成ETL处理流程。数据抽取

确定数据源，需要确定从哪些源系统进行数据抽取

定义数据接口，对每个源文件及系统的每个字段进行详细说明

确定数据抽取的方法：是主动抽取还是由源系统推送？是增量抽取还是全量抽取？是按照每日抽取还是按照每月抽取？

数据清洗与转换

数据清洗:主要将不完整数据、错误数据、重复数据进行处

数据转换

空值处理：可捕获字段空值，进行加载或替换为其他含义数据，或数据分流问题库

数据标准：统一元数据、统一标准字段、统一字段类型定义

数据拆分：依据业务需求做数据拆分，如身份证号，拆分区划、出生日期、性别等

数据验证：时间规则、业务规则、自定义规则

数据替换：对于因业务因素，可实现无效数据、缺失数据的替换

数据关联：关联其他数据或数学，保障数据完整性

数据加载

将数据缓冲区的数据直接加载到数据库对应表中，如果是全量方式则采用LOAD方式，如果是增量则根据业务规则MERGE进数据库