ETL数据整合与处理（Kettle）（第2版）（微课版）

图书介绍

本书特色：1、真实案例贯穿全书，理论与实践相结合。本书以ETL数据整合与处理流程为主线，以食品销售数据处理为案例，使用常见的数据处理方法，通过图文并茂的方式介绍数据处理的过程。2、以项目业务为导向，实现项目数据的处理。本书针项目数据的各种问题，如重复数据、源数据来源不一、数据不一致、数据缺失、数据计算与统计等问题，从任务介绍到使用方法，再到处理流程都进行了详细介绍，让读者明确如何利用所学知识和方法来解决问题，并通过实训和课后习题巩固所学知识，帮助读者理解并应用ETL技术。3、注重细节和流程，采用渐进式教学。本书采用项目任务的方式，大部分章节是以项目任务为开端，分析目标，划为任务，构建任务实现的处理流程，并注重对读者思路的启发，以及任务细节的解决方法。通过对数据整合与处理任务全流程的体验，使得读者真正能够掌握ETL的相关知识和技术，并完成项目任务。

本书在保留第1版特色的基础上，进行了全面的升级。第2版修订的主要内容如下：1、将Kettle版本由9.0.0升级为9.4.0版本。2、全书中补充了素养目标。3、全书修改为项目任务式。4、项目3~5采用一个项目贯穿的方式。5、项目5强化了流程式的任务处理过程。6、项目1~5增加了实训。7、第2~7章内容进行整合，更改为项目2~5。

本书提供AI答疑，读者可以扫码与AI助手对话。

图书目录

项目1 开启ETL之旅

任务1.1 认识ETL
       1.1.1 了解ETL
       1.1.2 选择ETL工具
任务1.2 配置Kettle运行环境
       1.2.1 安装JDK
       1.2.2 安装MySQL数据库
       1.2.3 配置Kettle
任务1.3 熟悉Kettle基本操作
       1.3.1 认识Kettle界面
       1.3.2 转换与任务
       1.3.3 运行与查看结果面板
小结
实训
       实训1 安装MySQL数据库
       实训2 安装Kettle 软件系统
课后习题

项目2 获取食品销售源数据

任务2.1 创建数据库连接
       2.1.1 创建数据库连接
       2.1.2 设置数据库连接参数
       2.1.3 测试和浏览数据库连接结果
       2.1.4 建立/停止共享数据库连接
任务2.2 获取数据库的食品销售数据
       2.2.1 创建数据表输入组件
       2.2.2 设置组件参数
       2.2.3 预览结果数据
任务2.3 获取CSV文件的食品销售数据
       2.3.1 创建CSV文件输入组件
       2.3.2 设置组件参数
       2.3.3 预览结果数据
任务2.4 获取Excel文件的食品销售数据
       2.4.1 创建Excel输入组件
       2.4.2 设置组件参数
       2.4.3 预览结果数据
小结
实训
       实训1 获取数据库的日化销售数据
       实训2 获取CSV文件的日化销售数据
       实训3 获取Excel文件的日化销售数据
课后习题

项目3 整合和处理食品销售数据

任务3.1 处理多文件销售数据
       3.1.1 排序文件数据
       3.1.2 连接销售数据文件
       3.1.3 字段选择
       3.1.4 删除不规范的时间字段
       3.1.5 替换包装单位空值
任务3.2 合并销售数据
       3.2.1 合并数据记录
       3.2.2 合并所有的销售数据
任务3.3 剪切平台字段的代码字符串
       3.3.1 创建剪切字符串组件
       3.3.2 设置组件参数
       3.3.3 预览结果数据
任务3.4 拆分经营单位字段
       3.4.1 创建拆分字段组件
       3.4.2 设置组件参数
       3.4.3 预览结果数据
任务3.5 删除数据中多余字段和重复记录
       3.5.1 删除字段
       3.5.2 删除重复记录
任务3.6 过滤并替换不规范的字段数据
       3.6.1 设定条件过滤数据记录
       3.6.2 规范字段数据
任务3.7 输出销售数据到数据库表
       3.7.1 创建表输出组件
       3.7.2 设置组件参数
       3.7.3 预览结果数据
小结
实训
       实训1 合并D平台的日化销售数据
       实训2 处理B、C平台的日化销售数据
       实训3 整合和处理A、B、C、D平台的日化销售数据
课后习题

项目4 统计食品销售数据

任务4.1 计算销售单利润和利润率
       4.1.1 创建计算销售利润组件
       4.1.2 设置组件参数
       4.1.3 预览结果数据
任务4.2 计算单价
       4.2.1 创建计算器组件
       4.2.2 设置组件参数
       4.2.3 预览结果数据
任务4.3 聚合统计销售额数据
       4.3.1 聚合统计销售额
       4.3.2 输出聚合统计结果
任务4.4 统计平台食品销售数据
       4.4.1 分组统计
       4.4.2 输出结果到数据库
任务4.5 统计分公司食品销售数据
       4.5.1 评选优秀经营单位
       4.5.2 插入/更新结果到数据库
任务4.6 统计商品品牌食品销售数据
       4.6.1 创建SQL文件输出组件
       4.6.2 设置组件参数
       4.6.3 预览结果数据
任务4.7 对销售额进行离散化分段统计
       4.7.1 对销售额大小进行分段
       4.7.2 分段统计并输出结果到Excel文件
小结
实训
       实训1 计算日化销售数据各个订单的利润、利润率
       实训2 统计平台日化销售数据
       实训3 统计分公司日化销售数据
       实训4 统计商品品牌的日化销售数据
课后习题

项目5 执行整合与处理食品销售数据任务

任务5.1 开始任务
       5.1.1 创建开始组件
       5.1.2 设置组件参数
       5.1.3 运行任务
任务5.2 检查输入源数据文件
       5.2.1 检查源数据文件是否存在
       5.2.2 等待文件上传
任务5.3 检查输出数据表
       5.3.1 检查输出数据表是否存在
       5.3.2 使用SQL脚本生成输出数据表
任务5.4 执行数据整合与处理工程任务
       5.4.1 创建执行数据整合与处理组件
       5.4.2 设置组件参数
       5.4.3 运行任务
任务5.5 添加日志文件
       5.5.1 创建添加文件到结果文件中组件
       5.5.2 设置组件参数
       5.5.3 运行任务
任务5.6 发送日志邮件
       5.6.1 创建发送邮件组件
       5.6.2 设置组件参数
       5.6.3 运行任务
任务5.7 结束任务
       5.7.1 创建结束组件
       5.7.2 设置组件参数
       5.7.3 运行任务
小结
实训
       实训1 执行日化销售数据整合与处理任务
       实训2 执行统计日化销售数据任务
课后习题

项目6 无人售货机项目实战

任务6.1 了解无人售货机项目背景与目标
       6.1.1 了解项目背景
       6.1.2 熟悉项目目标
       6.1.3 熟悉数据字段
任务6.2 统计客户订单数据
       6.2.1 分析任务数据和数据处理需求
       6.2.2 熟悉任务流程
       6.2.3 实现客户订单数据的统计
任务6.3 统计商品销售数据
       6.3.1 分析任务数据和数据处理需求
       6.3.2 熟悉任务流程
       6.3.3 实现商品销售数据的统计
任务6.4 统计售货机日销售数据
       6.4.1 分析任务数据和数据处理需求
       6.4.2 熟悉任务流程
       6.4.3 实现售货机日销售数据的统计
任务6.5 统计售货机销售盈利数据
       6.5.1 分析任务数据和数据处理需求
       6.5.2 熟悉任务流程
       6.5.3 实现售货机销售盈利数据的统计
小结
课后习题