基于数据水平分割的ETL执行优化

应用科学学报 ›› 2005, Vol. 23 ›› Issue (3): 300-304.

基于数据水平分割的ETL执行优化

韩京宇, 徐立臻, 董逸生

东南大学计算机科学与工程系, 江苏南京 210096

收稿日期:2004-01-06 修回日期:2004-05-18 出版日期:2005-05-31 发布日期:2005-05-31
作者简介:韩京宇(1976-),男,吉林白山人,博士生,E-mail:hjy3789759@163.com;董逸生(1940-),男,江苏启东人,教授,博导,E-mail:ysdong@seu.edu.cn
基金资助:
江苏省十五高科技项目(BG2001013)

Optimization of ETL Execution by the Horizontal Partitioning Method

HAN Jing-yu, XU Li-zhen, DONG Yi-sheng

Department of Computer Science and Engineering, Southeast University, Nanjing 210096, China

Received:2004-01-06 Revised:2004-05-18 Online:2005-05-31 Published:2005-05-31

摘要/Abstract

摘要： 提出了一个ETL优化框架,并指出"单视图单衍生"、"多视图单衍生"、"单视图多衍生"和"多视图多衍生"4种模式在加载和增量维护时都可以采用数据水平分割的方法来加快ETL过程的响应时间,理论分析和实验表明其具有良好的效果.

关键词: ETL, 增量维护, 水平分割

Abstract: ETL is a tool suite for data loading and maintaining of data warehouse.How to efficiently shorten the ETL process execution time is a big challenge because the volume of data to be processed is very large. Four types of view horizontal patition approaches such as " single fact derived by one view", " single fact derived by many views", "many facts derived by one view" and "many facts derived by many views" are proposed to shorten the execution time.The theory and experiment result prove it to be efficient.

Key words: ETL, horizontal partition, incremental maintenance

中图分类号:

TP311

韩京宇, 徐立臻, 董逸生. 基于数据水平分割的ETL执行优化[J]. 应用科学学报, 2005, 23(3): 300-304.

HAN Jing-yu, XU Li-zhen, DONG Yi-sheng. Optimization of ETL Execution by the Horizontal Partitioning Method[J]. Journal of Applied Sciences, 2005, 23(3): 300-304.

[1]	何正源, 段田田, 张颖, 张瀚文, 孙毅. 物联网中区块链技术的应用与挑战[J]. 应用科学学报, 2020, 38(1): 22-33.
[2]	包振山, 王凯旋, 张文博. 基于树形拓扑网络的实用拜占庭容错共识算法[J]. 应用科学学报, 2020, 38(1): 34-50.
[3]	邹秀清, 罗得寸, 林平, 沈世平, 谢振平, 王玉珏, 丁勇. 基于区块链的河长制水质信息存证系统[J]. 应用科学学报, 2020, 38(1): 65-80.
[4]	苑陈娟, 孙国梓, 李华康, 王纪涛. 牌类游戏可信存证链系统[J]. 应用科学学报, 2020, 38(1): 81-92.
[5]	江云超, 何小卫, 崔一举. 区块链节点存储优化方案[J]. 应用科学学报, 2020, 38(1): 119-126.
[6]	张逸飞, 曹少中, 祁德力, 王亮, 杨彦红. 基于区块链的图书侵权记录存证平台[J]. 应用科学学报, 2020, 38(1): 184-196.
[7]	胡本固, 戴牡红. 多中心点增量式模糊聚类算法[J]. 应用科学学报, 2019, 37(6): 806-814.
[8]	王佃来, 宿爱霞, 刘文萍. 基于Spearman等级系数的植被变化趋势分析[J]. 应用科学学报, 2019, 37(4): 519-528.
[9]	王聚全, 王伟, 马慧民, 杨博, 杜渂. 基于主成分回归算法的城市客流聚集风险预测[J]. 应用科学学报, 2019, 37(4): 529-540.
[10]	冯勇, 屈渤浩, 徐红艳, 王嵘冰, 张永刚. 融合TF-IDF和LDA的中文FastText短文本分类方法[J]. 应用科学学报, 2019, 37(3): 378-388.
[11]	李博, 郑博, 郭子阳, 王宏志. 区块链技术在金融方向应用的发展及展望[J]. 应用科学学报, 2019, 37(2): 151-163.
[12]	宾晟, 孙更新, 周双. 基于区块链技术的社交网络中舆情传播模型[J]. 应用科学学报, 2019, 37(2): 191-202.
[13]	周启惠, 邓祖强, 邹萍, 王秋生, 李艳东, 姜海森. 基于区块链的防护物联网设备DDoS攻击方法[J]. 应用科学学报, 2019, 37(2): 213-223.
[14]	赵灵奇, 宋宇波, 张克落, 胡爱群, 罗坚. 基于区块链和分层加密的物流隐私保护机制[J]. 应用科学学报, 2019, 37(2): 224-234.
[15]	杨敏, 张仕斌, 张航, 刘宁, 甘波. 异构联盟系统中基于二层区块链的用户信任协商模型[J]. 应用科学学报, 2019, 37(2): 244-252.