Python金融数据分析与挖掘实践

图书介绍

本书以应用为导向，采用被金融机构及高校广泛使用的国泰安CSMAR数据库为数据资源，通过真实的市场数据，利用Python作为分析工具，进行金融数据分析并应用于量化投资。为了帮助广大读者较好地掌握相关技能和知识，构建数据挖掘分析思想和实践应用，同时为了适应教学的需要，全书分三篇：基础篇（第1~6章）所有章节的后面都给出了练习题，供读者进行对应练习，通过基础篇的学习，读者可以掌握Python基本知识和数据分析与挖掘的核心包，以及相关模型、算法，为后续的数据分析与挖掘提供必要的基础和实现方法； 案例篇（第7~11章）中，基础案例为后续综合案例服务，由简单到复杂，逐步实现从基础到综合的过渡，帮助读者轻松掌握Python 金融数据挖掘的基本技能；实训篇（第12章）均给出详细的实训内容和实训指导，从而帮助读者较快地提高自己的实际动手能力。这5个实训分别对应数据挖掘中常见的数据可视化、综合评价、分类、聚类、关联规则等经典类型，而且也与案例篇中的主要内容对应。

图书目录

第 1 章 Python 基础 .................................. 1

1.1 Python 概述....................................... 1
1.2 Python 安装及启动........................... 2
1.2.1 Python 安装................................ 2
1.2.2 Python 启动及界面认识............ 4
1.2.3 Python 安装扩展包.................... 8
1.3 python 基本数据类型....................... 9
1.3.1 数值的定义................................ 9
1.3.2 字符串的定义............................ 9
1.3.3 列表的定义.............................. 10
1.3.4 元组的定义.............................. 10
1.3.5 集合的定义.............................. 10
1.3.6 字典的定义...............................11
1.4 Python 相关的公有方法..................11
1.4.1 索引...........................................11
1.4.2 切片...........................................11
1.4.3 长度.......................................... 12
1.4.4 统计.......................................... 13
1.4.5 成员身份.................................. 13
1.4.6 变量删除.................................. 14
1.5 列表、元组与字符串方法............. 14
1.5.1 列表方法.................................. 14
1.5.2 元组方法.................................. 16
1.5.3 字符串方法.............................. 16
1.6 字典方法 ......................................... 18
1.7 条件语句 ......................................... 19
1.7.1 if…语句.................................... 19
1.7.2 if…else…语句.......................... 19
1.7.3 if…elif…else…语句 ................ 19
1.8 循环语句 ......................................... 20
1.8.1 while 语句 ................................ 20
1.8.2 for 循环..................................... 20
1.9 函数 ................................................. 21
1.9.1 无返回值函数定义与调用....... 21
1.9.2 有返回值的函数定义与
调用 .......................................... 21
1.9.3 有多返回值的函数定义
与调用 ...................................... 22
1.10 Python 在金融大数据中的应用 ... 23
本章小结 .................................................. 25
本章练习 .................................................. 25

第 2 章 科学计算包 Numpy..................... 26

2.1 Numpy 简介 .................................... 26
2.2 创建数组 ......................................... 27
2.2.1 利用 array()函数创建数组....... 27
2.2.2 利用内置函数创建数组........... 28
2.3 数组尺寸 ......................................... 29
2.4 数组运算 ......................................... 30
Python 金融数据分析与挖掘实战 9 2
2.5 数组切片......................................... 30
2.5.1 常见的数组切片方法.............. 31
2.5.2 利用 ix_()函数进行数组
切片.......................................... 32
2.6 数组连接......................................... 32
2.7 数据存取......................................... 33
2.8 数组形态变换................................. 34
2.9 数组排序与搜索............................. 35
2.10 矩阵与线性代数运算................... 36
2.10.1 创建 Numpy 矩阵.................. 36
2.10.2 矩阵的属性和基本运算........ 37
2.10.3 线性代数运算........................ 38
本章小结.................................................. 41
本章练习.................................................. 42

第 3 章 数据处理包 Pandas ................... 43

3.1 Pandas 简介..................................... 43
3.2 序列................................................. 44
3.2.1 序列创建及访问...................... 44
3.2.2 序列属性.................................. 45
3.2.3 序列方法.................................. 46
3.2.4 序列切片.................................. 47
3.2.4 序列聚合运算.......................... 48
3.3 数据框............................................. 48
3.3.1 数据框创建.............................. 49
3.3.2 数据框属性.............................. 49
3.3.3 数据框方法.............................. 50
3.3.4 数据框切片.............................. 54
3.4 外部文件读取................................. 56
3.4.1 Excel 文件读取........................ 56
3.4.2 TXT 文件读取 ......................... 57
3.5 滚动计算函数............................. 58
本章小结.................................................. 59
本章练习.................................................. 60

第 4 章 数据可视化包 Matplotlib............ 62

4.1 Matplotlib 绘图基础....................... 62
4.1.1 Matplotlib 图像构成................ 62
4.1.2 Matplotlib 绘图基本流程 ........ 62
4.1.3 中文字符显示 .......................... 64
4.1.4 坐标轴字符刻度标注 .............. 66
4.2 Matplotlib 常用图形绘制................ 67
4.2.1 散点图 ...................................... 68
4.2.2 线性图 ...................................... 69
4.2.3 柱状图 ...................................... 70
4.2.4 直方图 ...................................... 71
4.2.5 饼图 .......................................... 72
4.2.6 箱线图 ...................................... 72
4.2.7 子图 .......................................... 73
本章小结 .................................................. 76
本章练习 .................................................. 76

第 5 章 机器学习包 Scikit-learn............. 77

5.1 Scikit-learn 简介.............................. 77
5.2 数据预处理 ..................................... 77
5.2.1 缺失值 ...................................... 78
5.2.2 数据规范化 .............................. 80
5.2.3 主成分分析 .............................. 83
5.3 线性回归 ......................................... 90
5.3.1 一元线性回归 .......................... 90
5.3.2 多元线性回归 .......................... 92
5.3.3 Python 线性回归应用举例 ...... 94
5.4 逻辑回归 ......................................... 96
5.4.1 逻辑回归模型 .......................... 96
5.4.2 Python 逻辑回归模型应用举例.................................................. 96
5.5 神经网络 ......................................... 98
5.5.1 神经网络模拟思想 .................. 98
5.5.2 神经网络结构及数学模型....... 99
5.5.3 Python 神经网络分类应用
举例 ........................................ 100
5.5.4 Python 神经网络回归应用
举例 ........................................ 101
5.6 支持向量机 ................................... 102
5.6.1 支持向量机原理 .................... 103
5.6.2 Python 支持向量机应用
举例 ........................................ 104
5.7 K-均值聚类................................... 106
5.7.1 K-均值聚类的基本原理........ 106
5.7.2 Python K-均值聚类算法
应用举例................................ 109
本章小结.................................................111
本章练习.................................................111

第 6 章 联规则基础知识.........................115

6.1 联规则概念....................................115
6.2 布尔关联规则挖掘........................116
6.2.1 一对一关联规则挖掘及Python 实现.............................117
6.2.2 多对一关联规则挖掘及Python 实现............................ 119
6.3 关联规则挖掘应用：国际股票指数关联分析 ............................... 123
6.3.1 问题描述 ................................ 123
6.3.2 数据预处理 ............................ 124
6.3.3 子关联规则挖掘 .................... 128
6.3.4 问题拓展 ................................ 130
6.3.5 结果分析 ................................ 131
本章小结 ................................................ 131
本章练习 ................................................ 131

第 7 章 基础案例.................................... 133

7.1 众包任务特征指标的计算........... 133
7.1.1 案例介绍................................ 133
7.1.2 案例分析................................ 134
7.1.3 指标计算................................ 135
7.2 股票价格指数周收益率和月收益率的计算........................... 139
7.2.1 案例介绍................................ 139
7.2.2 周收益率计算........................ 140
7.2.3 月收益率计算........................ 141
7.3 上市公司净利润增长率的计算... 143
7.3.1 案例介绍................................ 143
7.3.2 指标计算................................ 144
7.4 股票价、量走势图绘制............... 145
7.4.1 案例介绍................................ 146
7.4.2 绘图数据计算........................ 146
7.4.3 绘图及图形保存.................... 147
7.5 股票价格移动平均线的绘制....... 149
7.5.1 案例介绍................................ 150
7.5.2 图形绘制................................ 150
7.6 沪深 300 指数走势预测............... 154
7.6.1 案例介绍................................ 154
7.6.2 指标计算................................ 155
7.6.3 模型求解................................ 156
7.7 基于主成分聚类的上市公司盈利能力分析 ............................... 157
7.7.1 案例介绍 ................................ 157
7.7.2 案例分析及计算 .................... 158
本章小结 ................................................ 164
本章练习 ................................................ 164

第 8 章 综合案例 1：上市公司综合评价 .................................... 165

8.1 案例背景 ....................................... 165
8.2 案例目标及实现思路 ................... 165
8.3 基于总体规模与投资效率指标的综合评价 ........................... 166
8.3.1 指标选择 ................................ 167
8.3.2 数据处理 ................................ 167
8.3.3 主成分分析 ............................ 168
8.3.4 综合排名 ................................ 168
8.3.5 收益率计算 ............................ 169
8.3.6 量化投资策略设计与分析..... 170
8.4 基于成长与价值指标的综合评价............................................... 176
8.4.1 指标选择 ................................ 176
8.4.2 数据处理 ................................ 176
8.4.3 主成分分析 ............................ 177
8.4.4 综合排名 ................................ 178
8.4.5 收益率计算............................ 179
8.4.6 量化投资策略设计与分析.... 180
本章小结................................................ 184
本章练习................................................ 184

第 9 章 综合案例 2：股票价格涨跌趋势预测.................................... 185

9.1 案例背景....................................... 185
9.2 案例目标及实现思路................... 185
9.3 指标计算....................................... 186
9.3.1 移动平均线............................ 187
9.3.2 指数平滑异同平均线............ 187
9.3.3 随机指标................................ 188
9.3.4 相对强弱指标........................ 188
9.3.5 乖离率指标............................ 189
9.3.6 能量潮指标............................ 189
9.3.7 涨跌趋势指标........................ 190
9.3.8 计算举例................................ 190
9.4 预测模型构建............................... 194
9.4.1 训练集和测试集的划分........ 194
9.4.2 数据标准化处理.................... 194
9.4.3 模型求解................................ 194
9.5 预测结果分析............................... 195
9.6 量化投资策略设计与分析........... 197
9.6.1 函数定义................................ 197
9.6.2 量化投资策略设计................ 199
本章小结................................................ 202
本章练习................................................ 202

第 10 章 综合案例 3：股票价格形态聚类与收益分析..................... 203

10.1 案例背景..................................... 203
10.2 案例目标及实现思路................. 203
10.3 数据获取..................................... 205
10.4 股票价格形态特征提取............. 205
10.4.1 关键价格点概念及提取算法...................................... 205
10.4.2 基于关键价格点的形态特征表示 .............................. 206
10.4.3 基于关键价格点的形态特征提取 .............................. 208
10.5 股票价格形态聚类与收益率计算............................................. 211
10.5.1 K-最频繁值聚类算法 .......... 211
10.5.2 基于 K-最频繁值聚类算法的股票价格形态聚类........... 213
10.5.3 类平均收益率的计算........... 213
10.5.4 股票形态图绘制 .................. 214
10.6 量化投资策略设计与分析.......... 218
10.6.1 函数定义及使用方法........... 218
10.6.2 训练样本与预测样本的构建 ...................................... 221
10.6.3 量化策略投资设计 .............. 222
本章小结 ................................................ 223
本章练习 ................................................ 223

第 11 章 综合案例 4：行业联动与轮动分析 ................................. 224

11.1 案例背景 ..................................... 224
11.2 案例目标及实现思路.................. 224
11.3 数据获取 ..................................... 225
11.4 日行业联动与轮动分析.............. 227
11.4.1 指标计算............................... 227
11.4.2 行业联动关联规则挖掘....... 228
11.4.3 行业轮动关联规则挖掘....... 230
11.5 周行业联动与轮动分析.............. 232
11.5.1 指标计算............................... 232
11.5.2 行业联动关联规则挖掘....... 234
11.5.3 行业轮动关联规则挖掘....... 236
11.6 月行业联动与轮动分析.............. 236
11.6.1 指标计算............................... 236
11.6.2 行业联动关联规则挖掘....... 239
11.6.3 行业轮动关联规则挖掘....... 240
11.7 量化投资策略设计与分析.......... 241
本章小结 ................................................ 246
本章练习 ................................................ 246

第 12 章 综合实训.................................. 247

12.1 行业盈利状况可视化分析实训............................................. 247
12.2 上市公司透明度综合评价实训............................................. 249
12.3 基于支持向量机的量化择时实训250
12.4 上市公司综合能力聚类分析实训............................................. 252
12.5 股票联动与轮动分析实训.......... 253
参考文献 ................................................... 255