什么是ETL、Kettle,Kettle数据迁移、常用ETL工具

    技术2022-07-11  84

    ETL:ETL是用来描述将数据从源端经过提取、转换、装入到目的端的过程。ETL是构建数据仓库的重要一环,它包含了三个方面,首先是“抽取”,将数据从各种原始的业务系统中读取出来,这是所有工作的前提。其次是“转换”,按照预先设计好的规则将抽取的数据进行转换,使本来异构的数据格式能统一起来。最后是“装载”,将转换完的数据按计划增量或全部导入到数据仓库中。常用ETL工具:ETL工具的典型代表有Informatica PowerCenter、IBM Datastage、Oracle Warehouse Builder(OWB)、Oracle Data Integrator(ODI)、Microsoft SQL Server Integration Services及开源的Kettle。Kettle允许用户管理来自不同数据库的数据,它有两种脚本文件:transformation和job。transformation完成针对数据的基础转换,job则完成整个工作流的控制。Kettle目前包括以下几个产品:(1)Chef:可使用户创建任务(Job)。它是提供图形用户界面的工作设计工具。(2)Kitchen:可使用户批量使用由Chef设计的任务,一般在自动调度时借助此命令调用调试成功的任务。它是一个后台运行的程序,以命令行方式,没有图形用户界面。(3)Spoon:可使用户通过图形界面来设计ETL转换过程,一般在编写和调试ETL时用到。(4)Span:可使用户批量运行由Spoon设计的ETL转换,Span是一个后台执行的程序,以命令行方式,没有图形界面,一般在自动调度时借助此命令调用调试成功的转换。实例:使用Kettle将MySQL数据库中的数据表迁移到Oracle数据库中。
    Processed: 0.011, SQL: 9