etl入门基础知识
基础知识包括技术、理论
技术方面：需要学习使用数据源、目标端工具的基本使用（如 oracle MySQL hive等）;需要学习etl工具的安装配置常用错误解决（如 kettle DataStage infa sqoop datax等）
理论方面：懂得数仓分层架构，维度建模等。
从ETL的字面来看，它主要包含三大阶段，分别是数据抽取、数据转换、数据加载。
ETL包含的主要内容
数据抽取：
数据清洗：
数据转换：
数据加载：
五、 ETL & ELT
六、ETL开发介绍
七、 常见的ETL流程模板
1） Koala：
2） Delta Merge：
3） Sync：
、 简介
ETL即Extract（抽取）、Transform（转换）、Load（装载）；
抽取是将数据从各种原始的业务系统中读取出来，这是所有工作的前提
etlcloud部署资源要求
ETLCloud 部署需要考虑到以下资源要求：服务器配置要求高，至少 8GB 内存，4 核心 CPU，50GB 硬盘空间；需要安装 Java 运行环境和数据库，建议使用 MySQL 或者 PostgreSQL 数据库；同时需要考虑网络带宽，以确保数据传输效率和稳定性。总之，要保证 ETLCloud 部署的稳定性和可靠性，需要投入相应的硬件和网络资源。
银行etl工程师业务内容
1、银行证券业务调研、需求分析与设计、数据分析；
2、负责ETL开发，独立完成ETL详细设计与开发测试工作；
3、参与数据仓库系统上线及运维工作。
任职要求：
1、计算机相关专业，统招本科以上学历；
2、熟悉数据仓库建设流程、具备数据仓库、模型设计经验、ETL开发实施经验；
3、精通SQL、存储过程等开发，有SQL调优知识和经验，掌握Greenplum、Oracle、Sqlserver、Teradata、DB2、MySQL等一种或多种数据库系统的使用；
4、熟悉Linux操作系统、熟练使用linux常用命令；
5、具有Kettle、Informatica、DataStage、PowerCenter等ETL开发工具的实施经验；
6、熟练使用Perl、Shell、Java、Python脚本进行开发；
7、熟悉Hadoop、Hive，Hbase，Kafka，Spark，Storm等大数据技术优先；
8、有银行/保险/证券等金融业数据仓库经验优先。
mybatis连接hive数据库和mysql区别
MyBatis可以用于连接不同类型的数据库，包括Hive数据库和MySQL数据库。以下是MyBatis连接Hive数据库和MySQL数据库的一些区别：
1. 数据库驱动和连接方式：
- Hive数据库：Hive是基于Hadoop的分布式数据仓库，使用Hive JDBC驱动来连接和操作。连接方式通常是通过配置Hive连接URL、用户名和密码进行连接。
- MySQL数据库：MySQL使用MySQL JDBC驱动来连接和操作。连接方式通常是通过配置MySQL连接URL、用户名和密码进行连接。
2. SQL语法和功能：
- Hive数据库：Hive使用类SQL语法，可以执行类似SQL的查询和分析，但它是基于Hadoop的批处理数据处理工具，适用于大规模数据处理和分析。
- MySQL数据库：MySQL是关系型数据库管理系统（RDBMS），支持标准SQL语法和功能，适用于小到中等规模的数据管理和查询操作。
3. 数据处理能力：
- Hive数据库：Hive适用于大规模数据处理，支持分布式计算和数据存储，能够处理PB级别的数据。但它在数据处理速度上可能相对较慢，因为它是基于批处理的。
- MySQL数据库：MySQL适用于小到中等规模的数据管理和查询操作，速度相对较快，尤其在单机或小型数据库环境下。
4. 数据存储格式：
- Hive数据库：Hive使用基于Hadoop的HDFS（分布式文件系统）来存储数据，支持多种数据存储格式，如文本、Parquet、ORC等，适合大规模数据存储和分析。
- MySQL数据库：MySQL使用关系型数据库的表结构来存储数据，支持事务处理和索引等特性，适合小到中等规模的数据存储和查询。
需要根据具体的需求和场景来选择合适的数据库和连接方式。如果需要进行大规模的分布式数据处理和分析，Hive可能更适合；如果需要较小规模的数据管理和查询，MySQL可能更适合。使用MyBatis连接Hive数据库和MySQL数据库的步骤和配置也会有所不同，具体的操作和配置可以参考MyBatis和相关数据库的文档和示例。