Python网络爬虫技术

图书介绍

1、本书内容契合“1+X”证书制度试点工作中的大数据应用开发（Python）职业技能中级证书考核标准。2、本书设计以“岗位需求为导”对网络爬虫工程师岗位能力进行拆解，并结合案例进行技能教学，贯穿以用为学的教学理念。图书章节编排，结合教师教学需求、特点进行科学合理编排，符合教师教学需要。3、全书以任务为导向，将Python爬虫常用技术和真实案例相结合，介绍使用Python进行数据爬取的主要方法，每一章都由任务描述、任务分析、知识点引入、实训和课后习题5部分组成。4、全书大部分章节紧扣任务需求展开，不堆积知识点，着重于思路的启发与解决方案的实施，通过从任务需求到实现这一完整工作流程的体验，读者将对Python网络爬虫技术真正理解与掌握。

图书目录

第1章    Python爬虫环境与爬虫简介    1

任务1.1    认识爬虫    1
任务1.2    认识反爬虫    5
任务1.3    配置Python爬虫环境    8
小结    28
实训 Python爬虫环境配置    28
课后练习    29

第2章    网页前端基础    32

任务2.1    认识Python网络编程    32
任务2.2    认识HTTP协议    39
小结    52
实训 使用Socket库连接百度首页    52
课后练习    53

第3章    简单静态网页爬取    55

任务3.1    实现HTTP请求    55
任务3.2    解析网页    64
任务3.3    数据存储    87
小结    92
实训    92
课后练习    95

第4章    常规动态网页爬取    97

任务4.1    逆向分析爬取动态网页    97
任务4.2    使用Selenium库爬取动态网页    103
任务4.3    存储数据至MongoDB数据库    114
小结    119
实训    119
课后习题    122

第5章    模拟登录    123

任务5.1    使用表单登录方法实现模拟登录    123
任务5.2    使用Cookie登录方法实现模拟登录    133
小结    138
实训    138
课后习题    140

第6章    终端协议分析    142

任务6.1    分析PC客户端抓包    142
任务6.2    分析APP抓包    147
小结    156
实训    156
课后习题    159

第7章    Scrapy爬虫    160

任务7.1    认识Scarpy    160
任务7.2    通过Scrapy爬取文本信息    164
任务7.3    定制中间件    177
小结    182
实训    183
课后习题    184

附录A    187

附录B    191

参考文献    195