大数据开发项目实战

图书介绍

本书特色：本书是浙江省普通本科高校“十四五”重点立项建设教材。目前市面上的大数据图书种类繁多，其中部分主要偏向理论知识，往往缺少实战指导，部分技术讲解结合实战，但总体综合性较低。以实际企业项目为基础的实战型高价值书籍，市面上不多。本书以企业实际项目为基础，首先介绍了企业项目数据处理流程、项目架构分析、人员安排、项目实战环境和项目涉及技术；接着依据项目开发流程进行编写，详细介绍了从项目数据来源到最后项目部署上线的完整流程。在项目实战过程中，完全再现了实际项目开发流程，从需求分析入手，引导学生进行思考，注重项目过程中思路的启发，分析每一步实现的原因，解释每一个实现结果的意义，使学生对项目开发的流程有更加深刻的体会。本书的项目综合性强，采用了时下多种企业常用大数据技术，包括了数据采集、数据分析、数据存储、数据可视化等多个模块，综合考量了离线分析技术的应用和实时分析技术的应用。本书将使读者对大数据技术与大数据开发有一个真正的理解和更深的掌握。

本书内容：本书以项目案例的阶段任务为导向，贯穿讲解了一个大数据的实战项目：广电大数据用户画像。全书共8章，具体内容包括项目概述、Hadoop生态组件基础知识、项目需求分析、项目数据采集与预处理、Kafka结合Spark Streaming进行实时流式数据处理、用户画像可视化工程实现、在分布式任务调度平台XXL-Job上部署定时任务、基于TipDM平台的广电大数据用户画像项目开发。本书从项目业务需求、技术选型、架构设计、集群安装部署与集成开发以及项目开发进行全方位实战讲解，有助于读者综合运用大数据技术知识和各种工具软件，实现大数据项目开发全流程操作。

本书适用对象：1. 开设有大数据相关课程的高校的教师和学生。 2. 转行大数据的IT技术人员或大数据技术爱好者。

图书目录

第1章 大数据项目概述

1.1 引入
1.1.1 企业项目数据处理流程
1.1.2 企业大数据项目架构分析
1.1.3 企业项目人员安排
1.2 大数据项目实战基础
1.2.1 项目实战环境
1.2.2 项目涉及技术
小结

第2章 Hadoop生态组件基础

2.1 Hadoop基础
2.1.1 Hadoop概述
2.1.2 Hadoop集群安装与配置
2.1.3 Hadoop框架组成
2.1.4 Hadoop应用实践
2.2 Hive基础
2.2.1 Hive概述
2.2.2 Hive安装与配置
2.2.3 Hive体系架构
2.2.4 Hive应用实践
2.3 Spark基础
2.3.1 Spark概述
2.3.2 Spark集群安装与配置
2.3.3 Spark集群架构
2.3.4 Spark应用实践
小结

第3章 广电大数据用户画像——需求分析

3.1 项目需求
3.1.1 项目背景
3.1.2 项目目标
3.2 需求探索
3.2.1 数据说明
3.2.2 基础探索
3.2.3 业务需求探索
3.2.4 需求探索总结
3.3 技术方案
3.3.1 技术选型
3.3.2 系统架构
小结

第4章 广电大数据用户画像——数据来源与处理

4.1 业务数据
4.1.1 生产数据来源
4.1.2 模拟数据产生
4.2 数据存储与传输
4.2.1 Elasticsearch传输到Hive
4.2.2 用户画像结果保存到MySQL
4.3 基础数据预处理
小结

第5章 广电大数据用户画像——实时统计订单信息

5.1 实时统计目标
5.2 Kafka安装配置
5.3 实时统计订单信息
5.3.1 订单实时数据流产生
5.3.2 Spark Streaming实时统计订单信息
小结

第6章 广电大数据用户画像——用户标签计算与可视化

6.1 SVM预测用户是否挽留
6.1.1 SVM算法简介
6.1.2 构建特征列和标签列数据
6.1.3 建立SVM模型
6.1.4 模型评估
6.1.5 模型预测
6.1.6 整体实现及参数封装
6.2 用户画像
6.2.1 用户画像概述
6.2.2 标签计算
6.2.3 用户画像工程实现
6.3 用户画像可视化
6.3.1 用户画像可视化概述
6.3.2 可视化工程实现
6.3.3 结果展示
小结

第7章 广电大数据用户画像——任务调度实现

7.1 项目实施
7.1.1 调度策略
7.1.2 调度实现
小结

第8章 基于TipDM大数据挖掘建模平台实现广电大数据用户画像

8.1 平台简介
8.2 广电大数据用户画像开发
小结