semaphore提示您:看后求收藏(新笔趣阁www.xbqg5200.com),接着再看更方便。
业务表数据表中增
加增量字段Y增量字段可以是时间字段Y同时也可以是自增长字段Y当
源业务系统中数据新增或者被修改时Y增量字段就会产生变化Y时间戳
字段就会被修改为相应的系统时间Y自增长字段就会增加
每当ETL工具进行增量数据获取时Y只需比对最近一次数据抽取的增量
字段值Y就能判断出来哪些是新增数据Y哪些是修改数据。
这种数据抽取方式的优点是抽取性能比较高Y判断过程比较简单YETL
系统设计清晰Y源数据抽取相对清楚简单Y可以实现数据的递增加载
最大的局限性就是由于某些数据库在进行设计的时候Y未考虑到增量字
段Y需要对业务系统进行改造Y基于数据库其他方面的原因Y还有可能
出现漏数据的情况。
3. 全量同步
全量同步又叫 全表删除**方式
Y是指每次抽取前先删除目标表
数据Y抽取时全新加载数据该方式实际上将增量抽取等同于全量
抽取对于数据量不大Y全量抽取的时间代价小于执行增量抽取的
算法和条件代价时Y可以采用该方式。
这种方式的优点是对已有系统表结构不产生影响Y不需要修改业务
操作程序Y所有抽取规则由ETL完成Y管理维护统一Y可以实现数
据的递增加载Y没有风险
缺点