-
题名基于ESB的实时ETL系统的设计与实现
被引量：5
- 1
-
-
作者
高彬
谷建华
符宁
张海辉
-
机构
西北工业大学计算机学院
-
出处
《计算机应用》
CSCD
北大核心
2008年第4期860-862,共3页
-
基金
国家发改委高技术产业化基金资助项目(20052139)
国家863计划项目(2006AA0121626)
十一五国防预研项目(06004089)
-
文摘
随着数据仓库技术的应用发展,企业对数据的处理要求更短的延迟,具有一定的实时需求,而目前的大部分系统都不具备该特性。提出了一种基于ESB平台的实时ETL解决方案,通过在ESB平台上运行的组件实现ETL功能,利用实时分区加载和更新实时数据。实验表明,该设计方案能够实现实时ETL功能,并具有良好的通用性和可扩展性。
-
关键词
实时etl
企业服务总线
数据仓库
-
Keywords
real-time Extract, Transform, and Load （etl）
Enterprise Service Bus （ESB）
data warehouse
-
分类号
TP311
[自动化与计算机技术—计算机软件与理论]
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于多Agent的实时ETL系统模型研究
被引量：5
- 2
-
-
作者
张俊
陈宏刚
-
机构
西南大学计算机信息与科学学院
-
出处
《信息技术》
2010年第2期71-73,共3页
-
文摘
针对传统ETL系统难以满足企业对实时数据的需求,提出了一种基于多Agent技术的实时ETL系统模型,通过多个Agent相互协同工作实现实时ETL,利用实时分区和静态分区来加载和更新数据。实验表明,该模型能够实现实时ETL功能,并且具有较好的主动性和灵活性。
-
关键词
多AGENT
实时分区
实时etl
静态分区
数据仓库
-
Keywords
multi-Agent
real-time partition
real-time etl
static partition
data warehouse
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
TP302
[自动化与计算机技术—计算机系统结构]
-
-
题名基于资源紧迫度的实时ETL弹性调度机制
被引量：1
- 3
-
-
作者
王萌
刘旋律
高峰
顾进广
-
机构
武汉科技大学计算机科学与技术学院
武汉科技大学智能信息处理与实时工业系统湖北省重点实验室
武汉科技大学大数据科学与工程研究院
国家新闻出版署富媒体数字出版内容组织与知识服务重点实验室
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第7期2118-2124,共7页
-
基金
国家社会科学基金重大项目(11&ZD189)
国家自然科学基金资助项目(61673304)
国家自然科学基金通用联合基金资助项目(U1836118)。
-
文摘
在ETL系统中,当数据生产速度遇到较大的波动时,为了使现有资源在有限的条件下极大程度地满足用户的使用需求,提出了基于资源紧迫度的ETL弹性调度机制。首先,构建基于历史数据的时间序列预测模型,用来预测数据生产速度;然后,根据各个ETL过程提交的资源清单和各个服务器负载情况,对单个用户的多个ETL过程的资源进行调整。该调度机制将资源调度问题转换为多维背包问题,提出了基于资源紧迫度的动态调度算法。实验结果表明,当用户资源对所有的ETL过程稀缺的时候,该调度算法会使资源得到更好的利用。通过实验验证了弹性调度比传统的调度方式在资源利用方面具有优势。
-
关键词
实时etl
弹性调度
资源调度
多维背包
-
Keywords
real time etl
elastic scheduling
resource scheduling
multidimensional backpack problem
-
分类号
TP393.04
[自动化与计算机技术—计算机应用技术]
-
-
题名基于稳定匹配的实时ETL弹性调度机制
被引量：1
- 4
-
-
作者
刘旋律
顾进广
-
机构
武汉科技大学计算机科学与技术学院
智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学)
武汉科技大学大数据科学与工程研究院
国家新闻出版署富媒体数字出版内容组织与知识服务重点实验室
-
出处
《计算机应用与软件》
北大核心
2022年第2期266-273,共8页
-
基金
国家自然科学基金项目(61673304)。
-
文摘
在数据生产速度波动较大的场景,为了实时ETL资源利用更合理,提出基于稳定匹配的ETL弹性调度机制。预测数据源的数据生产速度,并计算满足预测值的消费数据速度;使用贪婪负载均衡算法,调整ETL服务个数使节点负载均衡;确定ETL操作匹配关系,使消费数据速度最大且代价最小。该调度机制将匹配问题转化为最小费用最大流问题,并提出基于Dicnic算法的改进算法。实验结果表明,该调度机制在资源使用方面具有优势。
-
关键词
实时etl
弹性调度
稳定匹配
最小费用最大流
-
Keywords
Real time etl
Elastic scheduling
Stable matching
Minimum cost maximum flow
-
分类号
TP3
[自动化与计算机技术—计算机科学与技术]
-
