semaphore提示您:看后求收藏(新笔趣阁www.xbqg5200.com),接着再看更方便。

业务表数据表中增

加增量字段Y增量字段可以是时间字段Y同时也可以是自增长字段Y当

源业务系统中数据新增或者被修改时Y增量字段就会产生变化Y时间戳

字段就会被修改为相应的系统时间Y自增长字段就会增加

每当ETL工具进行增量数据获取时Y只需比对最近一次数据抽取的增量

字段值Y就能判断出来哪些是新增数据Y哪些是修改数据。

这种数据抽取方式的优点是抽取性能比较高Y判断过程比较简单YETL

系统设计清晰Y源数据抽取相对清楚简单Y可以实现数据的递增加载

最大的局限性就是由于某些数据库在进行设计的时候Y未考虑到增量字

段Y需要对业务系统进行改造Y基于数据库其他方面的原因Y还有可能

出现漏数据的情况。

3. 全量同步

全量同步又叫 全表删除**方式

Y是指每次抽取前先删除目标表

数据Y抽取时全新加载数据该方式实际上将增量抽取等同于全量

抽取对于数据量不大Y全量抽取的时间代价小于执行增量抽取的

算法和条件代价时Y可以采用该方式。

这种方式的优点是对已有系统表结构不产生影响Y不需要修改业务

操作程序Y所有抽取规则由ETL完成Y管理维护统一Y可以实现数

据的递增加载Y没有风险

缺点

科幻灵异推荐阅读 More+
重生90之漫漫寻子路

重生90之漫漫寻子路

明珠之城
怀了二胎的袁洁因一场事故而陷入昏迷,在爱人孙爱民竭尽全力挽救她的生命时,她进入了一场漫长而奇怪的梦境之中。在梦里,她的家庭在二十年后发生了重大变故,用家破人亡来形容也不为过。等她醒来时,从梦境回到现实,梦中的一切却如电影画面一样,一帧一帧在脑海中重现。她精心呵护教育却一再让人失望的孩子,真如梦中一样,不是自己的亲生子。这个孩子到底如何进入了他们的家庭,她自己生的孩子又去了哪里?1997年的那个夏
科幻 连载 69万字
陷入我们的热恋

陷入我们的热恋

耳东兔子
更新通知:每天晚上六点五十更,不更会在文案请假。高考结束,徐栀成了睿军中学最大的黑马,却没想到,因此她却快要失去一段爱情。也是在那个夏天,她遇上了陈路周,一个恃帅行凶的混球。徐栀觉得陈路周很亲切,朋友震惊,他明明是个拽王啊。陈路周以为徐栀想追自己,朋友也震惊,她明明有男朋友啊。徐栀:我觉得他可能是我失散多年的哥哥。陈路周:我怎么知道,我他妈也很烦,明明有男朋友。文案二:陈路周算是个大少爷,
科幻 连载 57万字