ETL数据整合与处理（Kettle）

图书介绍

本书特色：1、教材突出职业教育、继续教育类型特点，采用项目导向、任务驱动，融入企业案例，符合学生认知规律，有效激发学生学习兴趣，将知识、能力和正确价值观的培养有机结合，体现教育教学的先进理念，反映人才培养模式和教学改革方向。2、结构系统完整，将数据的抽取、清洗、合并和加载等知识与大数据工程技术人员等职业技能等级标准有机融入教材内容，符合书证融通、课证融通的教学理念。3、知识技能相融合，反映计算机类专业大数据处理、管理岗位工作任务的职业能力要求，使学生在案例分析、技能训练的过程中掌握相关的知识点和技能点。体现在“学中做、做中学”的教学理念。

内容设计：以大数据技术应用为核心，以实战案例贯穿为学习手段，以实现ETL流程的工作任务为导向。教材设计了【任务描述】，通过场景描述了要达成的案例任务；其次，设计【任务分析】，说明任务的目标和操作步骤；第三，根据不同处理技术，说明操作步骤，并在步骤中说明技术要点和参数，然后，设置场景任务相应的技术参数；第四，执行相应的步骤操作，浏览到场景任务的结果，使得学生有成就感。第八章，在对无人售货机运营企业调研的基础上，设计的实战案例，很多人，特别是年轻人，都在无人售货机购物过，案例典型、熟悉，贴近实际应用。

图书目录

第1章 开启ETL之旅 1

任务1.1  认识ETL 1
任务1.2  配置Kettle运行环境 9
任务1.3  熟悉Kettle基本操作 14
小结  26
课后练习  26

第2章 源数据获取 28

任务2.1  创建数据库连接 28
任务2.2  表输入 36
任务2.3  CSV文件输入 41
任务2.4  Excel输入 46
任务2.5  生成记录 56
任务2.6  生成随机数 60
任务2.7  获取系统信息 63
小结  66
课后习题  67

第3章 记录处理 69

任务3.1  排序记录 69
任务3.2  去除重复记录 73
任务3.3  替换NULL值 77
任务3.4  过滤记录 81
任务3.5  值映射 88
任务3.6  字符串替换 91
任务3.7  字符串操作 94
任务3.8  分组 97
小结  102
课后习题  103

第4章 字段处理 105

任务4.1  字段选择 105
任务4.2  增加常量 111
任务4.3  将字段值设置为常量 114
任务4.4  剪切字符串 117
任务4.5  拆分字段 121
任务4.6  数值范围 125
任务4.7  计算器 129
任务4.8  增加序列 133
小结  137
课后习题  137

第5章 高级转换 139

任务5.1  记录集连接 139
任务5.2  多路数据合并连接 144
任务5.3  单变量统计 150
任务5.4  公式 154
任务5.5  利用Janino计算Java表达式 157
任务5.6  JavaScript代码 161
任务5.7  设置变量 167
任务5.8  获取变量 133
小结  174
课后习题  174

第6章 迁移和装载 177

任务6.1  表输出 177
任务6.2  插入/更新 183
任务6.3  Excel输出 187
任务6.4  文本文件输出 194
任务6.5  SQL文件输出 200
小结  205
课后习题  205

第7章 任务 208

任务7.1  开始 208
任务7.2 转换 212
任务7.3  添加文件到结果文件中
任务7.4  发送邮件 222
任务7.5 成功 231
任务7.6 检查表是否存在 233
任务7.7 SQL 235
任务7.8 检查列是否存在 238
任务7.9 检查一个文件是否存在 241
任务7.10 检查多个文件是否存在 244
小结  246
课后习题  246

第8章 无人售货机零售项目实战 249

任务8.1  了解无人售货机项目背景与目标 249
任务8.2  分组聚合客户订单 253
任务8.3  计算各商品销售金额 260
任务8.4  统计各售货机日销售金额 266
任务8.5  整理各售货机销售情况 273
小结  285
课后习题  285