ETL是英文Extract-Transform-Load的缩写,用来描述将
数据从来源端(业务系统经过)抽取(extract)、
转换(transform)、加载(load)至
目的端(数据仓库)的过程。

大数据时代:ETL数据开发工程师不可或缺
ETL DATA DEVELOPMENT ENGINEERS ARE INDISPENSABLE
全世界的数据量正以每两年翻一番的“井喷速度”在增长,人类每时每刻都在产生大量的数据:微信聊天、支付宝扫码付款、公交刷卡、银行存储……
IDC发布的《数据时代2025》报告显示,全球每年生成的数据将从2018年的33ZB增长到175ZB(1ZB相当于1.1万亿GB),人类已然进入大数据时代
大数据特征
数据来源广
数据格式多样化
数据量大(>TB)
数据增长速度快

针对大数据的特征,企业如果想进行卓有成效的开发,并获取价值,就需要考虑很多问题:

数据来源广,增长速度还
快,该如何采集汇总

数据量大,格式还多样化,
采集汇总之后该如何存储

数据存储之后,该如何通
过运算,转化成自己想要
的结果

解决方案 ETL数据开发工程师就是专为解决这些问题而设置的岗位,其主要工作就是通过ETL相关工具,将企业中的分散、零乱、标准不统一的各类数据
整合到一起,为企业的决策提供数据支撑和分析依据, 是BI(商业智能)项目非常重要的一个环节
ETL数据开发工程师的四个维度
FOUR DIMENSIONS FOR ETL DATA DEVELOPMENT ENGINEERS

岗位职责维度

ETL数据开发工程师的职责偏重于清洗数据,
使其可以被数据分析师和数据科学家使用

日常工作维度

ETL数据开发工程师的最终目的是实现数据管理,所
以其工作是围绕将数据整理成标准格式,从而达到降
低存储成本、优化查询效率以及备份方案等目标

掌握技能维度

ETL数据开发工程师的工作重点在于数据架构、
计算、数据存储、数据流等,所以数据开发能力
和大规模的数据处理能力是必备技能

未来发展维度

走技术线,可进入大数据开发与大数据工程方向;走
技术+业务线,可进入BI商业数据分析方向。终极目
标是进入大数据与数据科学赛道,冲击年薪百万职位
—(大)数据资深专家
ETL数据开发工程师的职业发展路径
数据库工程师
新时代的铁饭碗
BI工程师
非科班出身的技
术型管理人才
BI银行保险行业
ETL工程师
银行的职位每年都会
是一些名牌大学的热
点BI程师是银行必争
的人才
咨询顾问
金领职位,一些经验
比较丰富的ETL工程
师,3年左右成为中
级咨询顾问,5年左
右成为高级咨询顾问
项目管理
晋升项目管理一般用
时三到四年,项目管
理对于技术的要求不
高,但对业务和管理
有一定要求,一般都
从基层一步步走上去
资深专家
一般从事ETL开发工程
师10年左右,可以晋
升专家级别,是每家
公司的核心角色
ETL数据开发工程师的职业优势
AN IDEAL CAREER IN THE DIGITAL ECONOMY
人才缺口大
跨领域发展
职业寿命长
性别无歧视
薪资水平高
数据来源:https://new.qq.com/rain/a/20210423A0287Y00

人才缺口大

2022年大数据人才就业趋势报告显示:中国大数据ETL方向人才缺口高达150万
数据来源:https://new.qq.com/rain/a/20210423A0287Y00

跨领域发展

几乎所有行业都会应用到数据,因此ETL数据开发工程师可在各个领域就业。
数据来源:https://new.qq.com/rain/a/20210423A0287Y00

职业寿命长

ETL数据开发工程师职位相对稳定,经验越丰富,越受用人企业青睐。
数据来源:https://new.qq.com/rain/a/20210423A0287Y00

性别无歧视

ETL岗位要求从业者报以认真严谨的态度,因此女生也是非常适宜的。
数据来源:https://new.qq.com/rain/a/20210423A0287Y00

薪资水平高

该职位招聘在20K-30K薪资范围占24.0%
ETL工程师 该职位招聘在12K-15K薪资范围占21.0%
课程特色
COURSE CHARACTERISTICS

热门岗位
就业广阔

课程直击时下热门技术,未来发展方向,企业数字化转型需要,金融业、互联网大厂等需求旺盛

门槛较低
起薪较高

课程对学员的要求相对较低,专科理工类/本科不限专业均可报名,就业起薪一般会在普通数据分析师职位之上

周期较短
性价比高

课程专注于岗位必备核心技能,最快33天可实现职场的华丽转型,冲击时下高薪热门的数据岗位

内容丰富
链路全面

18个单元课程(必修+选修),涵盖ETL数据仓库及BI商业数据分析技术,实现了数据工程的全链路

项目多样
全程贯穿

学掌门的项目内容和形式会更为多样,包括但不限于:电商、市场营销、金融银行、在线教育、医疗可视化大屏、报表分析、财务分析、软件产品分析等

实训平台
高效便捷

整个课程由Atstudy学习实训云平台+项目实战手册+视频讲解+作业+练习+测试组成,小白学员本地无需任何复杂的学习环境配置,开箱即用,轻松上手

Atstudy学习云平台
千人千面,因材施教
适合人群
SUITABLE FOR PEOPLE

0基础求职者/转行人士

理工科专业,对ETL感兴 趣但不具备胜
任ETL数据 开发工程师岗位的能力,
想通过培训快速入职/转行

有基础进阶提升

有数据分析业务、理论和 工作经验,
或有一定的代 码能力,对ETL感兴趣
但 不了解具体工作流程和内 容,想通
过培训快速转岗。

学历要求

年龄18-32周岁
学历统招大专及以上

课程大纲
COURSE OUTLINE
必修课程
课程内容
数据仓库理
论基础与企
业应用场景
01-数据仓库的概念和ER实体模型
02-实体关系(ER)建模理论及应用场景
03-维度建模理论及应用场景
04-Data VauIt建模理论及应用场景
05-Anchor建模理论及应用场景
06-数据仓库维度建模
07-数据采集与数据同步
08-数据质量与数据治理
09-离线数仓与实时数仓
10-偏业务型行业数据仓库设计
11-偏流量型互联网行业数据仓库设计
12-数据仓库在数据化运营中的应用
13-其他行业数据仓库实施的业务流程
GPT(专题一)GPT扫盲课程
GPT简介 行业应用、环境 搭建与上手体验
01-什么是GPT
02-GPT的前世今生
03-GPT为什么这么火
04-GPT国外的发展与应用及未来趋势
05-GPT国内的发展与应用及未来趋势
06-GPT究竟替代了哪些人的工作?
07-GPT给普通人带来的“危”与“机”
08-GPT给技术人带来的“危”与“机”
09-通用人工智能时代,普通人应该做什么?如何转“危”为“机"?
10-通用人工智能时代,技术人应该做什么?如何转“危”为“机”?
11-为什么说:未来人人都应该懂人工智能
12-淘汰你的不是AI,而是会用AI工具的人
13-GPT实操体验01:如何给你10岁的儿子庆生?
14-GPT实操体验02:让GPT帮我们写代码
15-GPT实操-03:让GPT帮我们谈恋爱
16-GPT实操-04:如何不被马斯克炒掉?
17-GPT实操-05:让GPT帮你写求职信
18-如何自己动手注册GPT帐号
19-GPT使用中的高频报错警告及解决办法
20-如何防止账号被OpenAI禁用,坑与经验
MySQL从入
门到精通
01-MySQL/Oracle的安装配置
02-数据库建模与ER模型
03-数据库中的关系与约束
04-数据库中的索引
05-数据库DDL与DML
06-数据库基础查询
07-数据库高级查询
08-数据库查询函数(窗口函数)
09-数据库常用函数
10-数据库自定义函数
11-数据库视图
12-数据库存储过程
13-数据库性能优化
MySQL8
窗口 函数与
语法新 特性
01-MySQL8 CTE公用表达式
02-MySQL8 ON子句和USING子句
03-MySQL8 中的正则表达式
04-MySQL8 中的跨表更新
05-MySQL8 中解析JSON
06-MySQL8 中的高级函数
07-MySQL8 中的窗口函数详解
GPT(专题二)如何训练GPT
GPT专业提示词编写技巧方法与实战

01-GPT提示词是什么

定义GPT提示词
GPT提示词的用途

02-如何编写好的GPT提示词

确定目标受众
使用合适的语言风格
遵循文本生成的最佳实践
小心使用敏感话题和表述
考虑多样性和包容性
对提示词进行精细修改

03-编写时需要注意的问题

坚持一致性和连贯性
减少重复和歧义
避免过度拟合数据
处理特殊情况,如意外输入测试和优化提示词

04-最佳实践示例

展示一些好的GPT提示词的例子
分析为什么这些提示词效果好
提供可供参考的模板和指导

05-深入了解GPT提示词技术

探索更高级的技术和方法
分析GPT提示词技术未来的发展方向
GPT(专题三)GPT+SQL如何利用GPT协助ETL数据工程师编写SQL语句

01-GPT和SQL简介

GPT和SQL的定义
GPT和SQL的主要应用领域

02-GPT在ETW数据工程中的应用

描述ETL数据工程的流程
引入GPT解决编写SQL语句的挑战
在ETL数据工程中使用GPT的优势和局限性

03-如何训练GPT生成SQL提示语

准备SQL语句数据集
对数据进行预处理和嵌入
训练GPT模型
微调模型以优化结果

04-如何使用GPT辅助编写SQL语句

定义输入格式
输入样例并从模型中获取输出
解释输出并将其转换为相应的SQL语句
消除歧义和错误

05-实例演示

演示一个使用GPT编写SQL语句的实例
分析该实例的关键步骤和注意事项

06-总结与展望

总结使用GPT辅助编写SQL语句的优点和缺点
展望未来GPT在ETL数据工程中的更多应用
BI可视化技术
FineBI
01- Fine BI软件下载与安装
02- FineBI基础快速上手
03- 利用FineBI进行数据处理与分析
04- 利用FineBI进行大屏可视化报表制作
05- 基于FineBI实现的金融数据分析项目
BI报表制作
FineReport
实战
01- FineReport数据决策分析
  -- 初识FineReport
  -- FineReport多报表设计
  -- FineReport数据分析计算
  -- FineReport可视化制作
  -- FineReport大屏概述及制作
02- 实战01:医护患比月度趋势分析
03- 实战02:国家标配与现状对比分析
04- 实战03:病床利用率达标及某科室月 度趋势分析
05- 实战04:住院收入月度趋势分析
06- 番外扩展篇:FineReport上线部署、 权限管理与二次开发
项目实战:某 大型求职网的 职位需求与用 户画像分析(必修)
01-Python爬虫抓取数据(了解)
02-Python对Excel文件的存取操作Python 数据清洗与数据处理(了解)
03-MySQL数据导入导出及数据的转换、处理与统计分析(重点掌握)
04-Python 数据分析(了解)
05-Hive 大数据分析(了解)
06-FineBI数据可视化BI报表大屏看板制作(重点掌握)
Kettle工具篇
01-认识ETL
02-ETL基础知识与专业术语
03-配置Kettle运行环境
04-熟练Kettle基本操作
05-利用Kettle抽取各种异构数据源
06-利用Kettle实现数据的转换处理
07-利用Kettle实现数据的迁移与装载
08-利用Kettle进行数据的清洗与校验
09-利用Kettle处理维度表
10-利用Kettle加载事实表
11-利用Kettle处理WebService与 Resetful接口数据
12-Kettle任务、增量加载、全量加载、资源库
13-Kettle 综合实战案例
Oracle精讲
实验0-1: Oracle环境搭建(静默安装)
实验1-1: 工欲善其事必先熟悉工具
实验1-2: Oracle的SQL之美
实验2-1: Oracle数据操作及查询基础
实验2-2: Oracle数据查询之综合查询
实验3-1: Oracle之子查询和分页
实验3-2: Oracle分析函数
实验4-1: Oracle之视图和同义词
实验4-2: Oracle序列、索引
实验5-1: PL/SOL
实验5-2: 自定义函数和存储过程
实验5-3: 综合案例
Informatica工具篇
01-Informatica 工具简介
02-配置Kettle运行环境
03-Informatica工具快速上手
04-利用Informatica抽取各种异构数据源
05-利用Informatica实现数据的转换处理
06-Informatica综合实战案例
项目实战:手 把手带你从0 搭建离线数仓
实验1-1:整体项目概述
实验2-1:电商离线数据仓库开发01-业务数据模型搭建
实验2-2:电商离线数据仓库开发02-数仓模型搭建
实验2-3:电商离线数据仓库开发03-缓慢变化维与拉链表技术
实验2-4:电商离线数据仓库开发04-利用拉链表技术搭建数仓ODS与DW层(上)
实验2-5:电商离线数据仓库开发05-利用拉链表技术搭建数仓ODS与DW层(下)
实验2-6:电商离线数据仓库开发06-时间维度分析业务开发(上)
实验2-7:电商离线数据仓库开发07-时间维度分析业务开发 (下)
实验2-8:电商离线数据仓库开发08-指标开发之企业经营状况分析 (一)
实验2-9:电商离线数据仓库开发09-指标开发之企业经营状况分析 (二)
实验2-10:电商离线数据仓库开发10-指标开发之用户订单购买行为分析
GPT(专题四)如何使用GPT协助ETL构建大型数据仓库

01-引言

简介ETL和GPT技术
解释为什么需要将它们集成在一起

02-ETL和数据仓库的设计基础

定义ETL和数据仓库的基本概念
讨论常见的ETL挑战,如数据质量、数据源集成和数据可视化
描述数据仓库环境中的典型工作流程

03-GPT在ETL过程中的应用

介绍如何使用GPT自动生成ETL代码
展示如何使用GPT来处理ETL中的自然语言任务
例如解析和生成SQL查询

04-GPT在数据仓库中的应用

讨论如何使用GPT改善数据质堡,例如实体识别和意图分类
探索如何使用GPT扩展数据仓库功能,例如文本挖掘和情感分析

05-GPT和ETL集成的最佳实践和案例

提供一些最佳实践,包括如何选择合适的GPT模型、如何准备数 据并进行预处理等
分享—些GPT和ETL集成的成功案例

06-总结与展望

总结GPT和ETL的优势和局限性
展望未来GPT在ETL和数据仓库中的更多应用
亿级SQL电商用户行为分析项目(MySQL+BI)
本项目主要以“淘宝用户行为数据集”的分析全过程为例,展示利用SQL+Excel进行电商行业数据分析的全过程 。
— 使用工具:MySQL,Excel,PowerBI
— 数据来源:阿里天池实验室-淘宝用户行为数据集 :
— 分析类型:描述分析,诊断分析
— 分析方法:漏斗分析,用户路径分析,RFM用户价值分析,活跃/存留分析,帕累托分析,假设验证分析。
SQL进阶提升+企业面试题详解
SQL进阶专题01-SQL分析不得不知的秘密
SQL进阶专题02-神奇Case表达式及其高级应用
SQL进阶专题03-SQL自连结在令业实战中的实际应用
SQL进阶专题04-MySQL8中的窗口函数精讲
SQL进阶专题05-时间序列分析SQL实战
SQL进阶专题06-深入理解SQL分析
SQL进阶专题07-企业面试SQL分析真题集
SQL性能优化精讲
01-为什么需要进行SQL优化?
02-mysql的编写过程和解析过程
03-SQL引擎的运行原理
03-索引的原理与索引优化
05-SQL多表关联的优化
06-SQL查询的优化
07-SQL的其他优化注意事项
PowerDesigner
数据库建模
一、PowerDesigner介绍
1.1 为什么需要PowerDesigner
1.2 PowerDesigner简介
1.3 PowerDesigner建模文件
(1)需求模型(RQM)
(2)业务程序模型(BPM)
(3)概念数据模型(CDM)
(4)逻辑数据模型(LDM)
(5)物理数据模型(PDM)
二、PowerDesigner安装
三、进销存管理系统数据模型设计
(1)项目背景介绍
(2)概念数据模型设计
(3)物理数据模型设计
(4)项目总结
数据清洗、数据埋点与数据治理
01-数据埋点与设计
02-数据采集方法,流程
03-数据采集标注
04-数据清洗概述、方法,流程
05-明确3方面:业务知识,数据与指标
06-数据制作的标准与流程
07-数据治理的概念、方法与过程
08-利用工具进行数据集的处理
09-利用代码进行数据集的处理
10-结构化数据集的处理
11-非结构化数据集的处理
12-用户行为日志采集及大数据处理(了解)
基于Power BI的商业可视化分析
01-Power BI快速上手商业数据可视化
  -- 微软Power BI 基本介绍
  -- 如何通过模型快速建立可视化分析报告
  -- Power BI与Excel BI的异同
  -- Power BI可视化图表制作
综合项目:基于Power BI实现的移动终端数据销售情况分析
利用Tableau进行自助式商业分析
01-tableau安装
02-数据字段管理
03-函数与公式计算
04-图表制作
05-仪表盘制作
06-tableau数据可视化案例
实战:利用Tableau进行电商产品分析
实战:利用Tableau进行客户分析
实战:利用Tableau进行营销效果分析
实战:利用Tableau进行商品评论分析
项目实战
实战BI商务智能分析(软件产品营销、财务分析、BI报表制作与大屏展示)
GPT(专题五)如何让GPT帮你美化简历与项目描述
01-优秀简历的标准
02-GPT帮你挖掘经历的价值
03-GPT助您雕刻理想职业简历
04-使用GPT撰写简历开始的几个步骤
05-确定您的需求
06-了解GPT需要什么信息
07-如何使用GPT生成—份简历?
08-GPT提示关键词(指令)
09-利用GPT生成简历及全面优化简历
10-实例演示
GPT(专题六)如何让GPT成为你的专职AI面试官

01-引言

简介GPT技术
解释为什么需要一个专职的AI面试官

02-面试岗位和技能要求分析

分析当前AI相关岗位企业所需的技能和能力要求
描述如何准备和规划面试过程以满足企业的招聘要求
强调GPT如何协助实现这些目标

03-GPT面试官的设计和实现

介绍如何设计和实现一个能够模拟人类面试官的GPT模型
展示如何训练GPT面试官模型,并调整模型超参数以提高性能

04-GPT面试官的应用

讨论如何使用GPT面试官来测试和评估AI相关岗位的候选人的技能水平探索如何使用GPT面试官来生成企业面试题
对候选人进行模拟面试, 并给出针对性的评价和改进意见

05-GPT面试官的最佳实践和案例

提供—些最佳实践,包括如何选择合适的GPT面试官模型、如何准备数据进行训练,以及如何评估GPT面试官的效果
分享一些GPT面试官应用的成功案例

06-总结与展望

演示一个使用GPT面试官对候选人进行实际模拟面试的场景
分析该演示的关键步骤和注意事项
GPT(专题七)GPT赋能面试让你成为“面霸”

一、开篇词
二、GPT如何赋能面试让你成为“面霸”

2.1-GPT在企业面试中能起到的作用和担当的角色
2.2-如何给到GPT更好的问题
2.3-如何让GPT给到你更准确的答案
2.4-如何调教GPT(技巧与方法)

三、实战:如何利用GPT帮你顺利搞定人面

3.1-请问你的兴趣爱好是什么?
3.2-请问你为何从上一家辞职?
3.3-请说出你三个优点与三个缺点?
3.4-你能接受加班和出差么?
3.5-你期望的工资是多少?
......

四、实战:如何利用GPT帮你顺利通过技面

4.1-GPT赋能高效解决mysql面试题
4.2-GPT赋能高效解决数据分析业务题
4.3-GPT赋能高效解决python面试题
4.4-GPT赋能高效解决机器学习面试题
实战项目
ACTUAL COMBAT PROJECT
PRJ. 01
PRJ. 02
PRJ. 03
PRJ. 04
PRJ. 05
PRJ. 06
PRJ. 07
PRJ. 08
PRJ. 09
PRJ. 10

项目一:手把手带你从0搭建离线数据仓库项目

项目二:实战 BI 商务智能分析

项目三:某大型求职网的职位需求与用户画像数据仓库实现

项目四:某上市知名电器公司POC项目自助商业分析看板制作

项目五:亿级SQL电商用户行为分析项目(MySQL+BI)

项目六:基于Kettle工具构建职位人才画像之构建城市数据字典

项目七:基于 FineBI 实现的银行金融数据分析

项目八:基于FineReport实现资源配比决策分析大屏可视化报表

项目九:基于Power BI实现的移动终端数据销售情况分析

项目十:用 Tableau 进行自助式商业分析

项目目标

数据仓库的概念和建设过程

·维度建模
·事实表
·维度表
·数仓分层架构设计:ODS、DWD、DWS等

离线数据仓库的功能、使用场景和常用的技术栈

·MySQL:数据存储与管理
·缓慢变化维(拉链表)设计与技术实现
·Kettle :ETL数据清洗与处理工具
项目简介

合并到一个企业级的数据仓库里,从而得到 企业数据的一个全局视图,在此基础上利用 合适的查询和分析工具、数据挖掘工具、 OLAP工具等对其进行分析和处理(这时信息 变为辅助决策的知识),最后将知识呈现给 管理者,为管理者的决策过程提供支持。

项目目标

从数据获取、数据清洗、数据处理、数据分析到可视 化展示和商业分析报表 全流程项目演练达到学习目标:

·能够借助相关技术完成数据清洗转换处理操作
·能够从关系型数据库进行取数及复杂数据统计功能
·能够使用 BI 工具完成可视化大屏看板需求
·能够独立完成数据分析可视化报告撰写
项目目标
·了解各产品 (大品类/小品类) 类别所对应分销渠道的各销量占比细分 (销量分析)
·以2019年10月来计算同环比差值及各省份/分销渠道的销量情况(组合分析)
· 计算YTD今年至去年同比及目标完成情况,不同分销商省份销量完成情况/不同产品 属性对应销售额占比
项目目标

本项目主要以“淘宝用户行为数据集”的分析全过程为例, 展示利用SQL+Excel进行电商行业数据分析的全过程 。

·使用工具:MySQL,Excel,PowerBI
·数据来源:阿里天池实验室-淘宝用户行为数据集
·分析类型:描述分析,诊断分析
·分析方法:漏斗分析,用户路径分析,RFM用户价值分析,活跃/存留分析,帕累托分析,假设验证分析
项目简介

《数据分析职位人才需求与用户画像系 统》业务需要,将从网上抓取的全国省市 地区数据清洗处理后导入到MySQL数据库 中,根据需求构建数据字典表,以备后继 业务部门使用。

项目目标
·能够针对金融行业的需求设计可视化分析方案
·能够针对具体的业务需求选择恰当的可视化图表
·能够使用Fine BI工具实现金融行业可视化分析
·能够根据可视化分析结果为企业提供经营决策
项目目标
·科室医护患比月度趋势分析
·国家标配与现状对比分析
·病床利用率达标及某科室月度趋势分析
·住院收入月度趋势分析
项目目标
·数据理解:5W2H分析法、一维表二维表、行列操作
·数据处理:数据清洗基础及相关操作
·数据建模分析:业务知识一站通、对比及多维度分析法(穿插业务)
·数据可视化:基本图表使用项目数据看板制作
·利用 ExcelBI+Power BI贯穿教学全程实现
项目目标
·基于Tableau的营销主题分析如何衡量媒体的营销价值
·电商数据货品分析项目实战(波士顿矩阵分析、四象限分析法)
·基于Tableau的保公司索赔情况分析
·中国高校整体资源情况分析
·零售行业数据分析
一站式学习+就业,签订协议更靠谱
IT MAKES MORE SENSE TO SIGN AN AGREEMENT

就业指导

专属就业顾问,全程协助1对1模拟面试,有效提高入职成功率,同时注重学员职业素质培养,帮助学员做好职业生涯规划与管理

就业政策

只要学员不放弃,我们一定管到底

签订协议

学员符合条件,入学即签订推荐就业相关协议

小贴士
真正的就业是指学员与用人单位正式签订劳动合同,而非所谓的实习、见习、兼职或推荐面试;真正的就业岗位应与培训课程相符合,而非其他杂七杂八的工作。
ACE计划,圆你终身学习梦想
ACE PROGRAM, REALIZE YOUR LIFELONG LEARNING DREAM
终身技能学习
职业规划测试
入职护航服务
终身猎头推荐
合作企业
COOPERATIVE ENTERPRISE

关于学掌门

立即报名