semaphore提示您:看后求收藏(新笔趣阁www.xbqg5200.com),接着再看更方便。
是ETL比对较复杂Y设计较为复杂Y速度较慢与触发器和时
间戳方式中的主动通知不同Y全表比对方式是被动的进行全表数据
的比对Y性能较差当表中没有主键或唯一列且含有重复记录时Y
全表比对方式的准确性较差。
日志比对的方式是通过获取数据库层面的日志来捕获到变化的数据Y
不需要改变源业务系统数据库相关表结构Y数据同步的效率比较高Y
同步的及时性也比较快Y最大的问题就是不同数据库的日志文件结
构存在较大的差异性Y实施分析起来难度比较大Y同时Y需要具备
访问源业务库日志表文件的权限Y存在一定的风险性Y所以这种方
式有很大的局限性。
日志比对方式中比较成熟的技术是CDC(Change Data Capture)技术Y
作用同样是能够捕获到上一次抽取之后产生的相关变化数据Y当
CDC对源业务表进行新增更新和删除等相关操作的时就可以捕获
到相关变化的数据Y相对于增量字段方式YCDC方式能够较好地捕
获到删除数据Y并写入相关数据库日志表Y然后再通过视图或者别
的某种可操作的方式将捕获到的变化同步到数据仓库当中去。
这种方式的优点是ETL同步效率较高Y不需要修改业务系统表结构Y
可以实现数据的递增加载缺点是业务系统数据库版