etl设计

Ⅰ etl工程师是做什么的工作内容是什么

etl工程师是从来事系统编程、源数据库编程与设计，要掌握各种常用的编程语言的专业技术人员。也叫数据库工程师。
工作内容：
见岗位职责：
1. 海量数据的ETL开发，抽取成各种数据需求。
2. 参与数据仓库架构的设计及开发 。
3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。
4、熟悉主流数据库技术，如oracle、Sql server、PostgeSQL等。
4、精通etl架构，有一定的etl开发经验，了解日常作业的部署和调度。
5、会数据etl开发工具，如Datastage,Congos,Kettle等。

Ⅱ ETL过程设计

高手，谁敢称为是高手呢？
有吗，也请回答我一个问题。

Ⅲ etl工程师是做什么的，工作内容是什么

有工作经验的ETL工程师杭州上海两地的薪水应该差不度，相对而言上海比杭州稍高些，杭州大约年薪10万，上海大约11-12万。

Ⅳ ETL的特色功能

ETL过程在很大程度上受企业对源数据的理解程度的影响，也就是说从业务的角度看数据集成非常重要。一个优秀的ETL设计应该具有如下功能： 合理的业务模型设计对ETL至关重要。数据仓库是企业唯一、真实、可靠的综合数据平台。数据仓库的设计建模一般都依照三范式、星型模型、雪花模型，无论哪种设计思想，都应该最大化地涵盖关键业务数据，把运营环境中杂乱无序的数据结构统一成为合理的、关联的、分析型的新结构，而ETL则会依照模型的定义去提取数据源，进行转换、清洗，并最终加载到目标数据仓库中。
模型的重要之处在于对数据做标准化定义，实现统一的编码、统一的分类和组织。标准化定义的内容包括：标准代码统一、业务术语统一。ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等数据集成，并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。 对业务数据本身及其运行环境的描述与定义的数据，称之为元数据（metadata）。元数据是描述数据的数据。从某种意义上说，业务数据主要用于支持业务系统应用的数据，而元数据则是企业信息门户、客户关系管理、数据仓库、决策支持和B2B等新型应用所不可或缺的内容。
元数据的典型表现为对象的描述，即对数据库、表、列、列属性（类型、格式、约束等）以及主键/外部键关联等等的描述。特别是现行应用的异构性与分布性越来越普遍的情况下，统一的元数据就愈发重要了。“信息孤岛”曾经是很多企业对其应用现状的一种抱怨和概括，而合理的元数据则会有效地描绘出信息的关联性。
而元数据对于ETL的集中表现为：定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑、在数据实际加载前的其他必要的准备工作，等等，它一般贯穿整个数据仓库项目，而ETL的所有过程必须最大化地参照元数据，这样才能快速实现ETL。

Ⅳ ETL工具有哪些

开源的代表是kettle，性能比较强大，关键是免费
国外的主流产品有informatica、talend
国内有haohedi（这个工具部署在云端，在他们的公司官网可以实操体验）

Ⅵ etl的概念，etl和elt数据处理上的区别

ETL分别是“Extract”、“ Transform” 、“Load”三个单词的首字母缩写也就是“版抽取”、“转换”、“装载”，但我们权日常往往简称其为数据抽取。
ETL是BI/DW（商务智能/数据仓库）的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。
ETL包含了三方面：
“抽取”：将数据从各种原始的业务系统中读取出来，这是所有工作的前提。
“转换”：按照预先设计好的规则将抽取得数据进行转换，使本来异构的数据格式能统一起来。
“装载”：将转换完的数据按计划增量或全部导入到数据仓库中。
与ETL相比，ELT的优点是转换的同时可以引用大量的数据。 缺点是可能仅仅抽取和装载了数据，跳过了转换过程。
有些ETL工具是先将数据从源抽取(E)，装载(L)到目标数据库，再在目标数据库做转换(T)，所以有些人给这类工具一个专门的名称叫ELT。

Ⅶ ETL是什么意思

ETL是指获取原始大数据流，然后对其进行解析，并产生可用输出数据内集的过程。

从数据源中提取（E）数据，然后容经过各种聚合、函数、组合等转换（T），使其变为可用数据。最终，数据会被加载（L）到对它进行具体分析的环境中，这就是ETL流程。

全写是Extract-Transform-Load。

1、E：Extract数据抽取

2、T：Transform转换

3、L：Load装载

(7)etl设计扩展阅读：

作用

ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

以电信为例，A系统按照统计代码管理数据，B系统按照账目数字管理，C系统按照语音ID管理，当ETL需要对这三个系统进行集成以获得对客户的全面视角时，这一过程需要复杂的匹配规则、名称/地址正常化与标准化，而ETL在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。

Ⅷ 用kettle做etl工具怎样设计调度

1、使用类似Taskctl这样的调度工具。
2、如果工作流少并且简单的话，就使用windows的任务计划也行。

Ⅸ ETL是什么,形象的介绍一下

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（专extract）、转置（transform）、加载（load）至目的端的过程属。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。
kettlle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

Ⅹ etl 的含义和介绍

一、 引言
信息是现代企业的宝贵资源，是企业运用科学管理、决策分析的基础。目前，大多数企业花费大量的资金和时间来构建联机事务处理(OLTP)的业务系统和办公自动化系统，从而记录事务处理的业务数据。遗憾的是，业务系统产生的数据增长很快，一般情况下，两到三年的时间，数据量就会成倍增长，这些丰富的、蕴含巨大商业价值的数据，所关注的通常只占在总数据量的2%到4%。从而企业将会失去有价值的客户、失去提高客服质量的指引、无法制定出最佳的营销手段和策略、等等。无论何种性质的企业，没有最大化的利用已存在的数据资源，都将浪费更多的时间和资金，也失去制定关键商业决策的最佳契机。
商业智能(BI,Business Intelligence) 就是为企业把数据转换为信息、知识，相应蕴育而出的IT技术。企业级BI的基础就是一个完整的、准确的、统一视角的数据平台，即DW(Data warehousing),而本文则要详细论述构建DW关键过程ETL的简介及必要性。
二、 术语描述
ETL：Extract-Transform-Load的缩写，数据抽取（Extract）、转换（Transform）、装载（Load）的过程。
DW：Data Warehousing，根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。
Metadata：元数据。描述数据的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。
三、 ETL是数据仓库建立的核心过程
数据仓库系统先天不足，是在业务系统的基础上发展而来的，其内部存储的数据来自于事务处理的业务系统和外部数据源。而企业内各源数据缺少统一的标准，因企业的业务系统是在不同时期、不同背景、面对不同应用、不同开发商等各种客观前提下建立的，其数据结构、存储平台、系统平台均存在很大的异构性。因而其数据难以转化为有用的信息，原始数据的不一致性导致决策时其可信度的降低。
ETL是BI/DW的核心和灵魂，按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，其工作量要占整个项目的60%-80%，这是国内外从众多实践中得到的普遍共识。
四、 ETL过程的主要目的
就是以最小代价(包括对日常操作的影响和对技能的要求) 将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据