Python网络爬虫技术（第3版）（微课版）

图书介绍

1、教材以“数据采集工程师”岗位需求为导向，以企业真实项目为载体，采用“三对接”（教材内容与职业认证对接、考核标准与职业标准对接、教学过程与生产过程对接）、“四融合”（“岗课赛证”融合）的编写理念进行开发，将数据采集相关技能竞赛、职业技能等级证书的相关内容融入教材，注重培养学生的职业岗位能力。 2、教材通过引入中国制造等重大科技创新成就，引导学生树立科技报国的职业理想；通过设计由浅入深、逐步拓展、层层递进的任务实施步骤，以及思考如何提高编程规范，培养学生严谨细致工作作风和精益求精的工匠精神；通过介绍《中华人民共和国网络安全法》、学习相关法律法规、讨论个人信息保护问题，提升学生崇法尚德的法治意识。

本书保留原书特色的基础上，对教材进行了内容与代码的全面升级。第2版修订的主要内容如下：1、 将Python版本由Python 3.8.5升级为Python 3.12.7；将pycharm版本由pycharm-community-2022.2.2升级为pycharm 2025.1.6。 2、在每一章中项目背景融入了思政元素。 3、第3章新增图片的爬取与存储。4、第4章爬取的栏目更换为“产品展示”栏目的“计算机类”。5、第5章登录的网站更换为“人邮教育”官网，删除了“处理验证码”的知识点，新增了“获取令牌”知识点。6、第7章新增“Scrapy的异步非阻塞与并发控制”知识点。7、新增第8章使用ScrapeGraphai爬取图书信息。8、更新了全书部分的实训和课后习题。

图书目录

项目1 了解爬虫与Python爬虫环境

【项目背景】
【学习目标】
【思维导图】
任务1.1 认识爬虫
       1.1.1 爬虫的概念
       1.1.2 爬虫的分类
       1.1.3 爬虫的合法性与robots协议
任务1.2 认识反爬虫
       1.2.1 网站反爬虫的目的与手段
       1.2.2 爬取策略制定
任务1.3 配置Python爬虫环境
       1.3.1 配置PyCharm
       1.3.2 Python爬虫相关库介绍与配置
       1.3.3 配置MySQL
       1.3.4 配置MongoDB
小结
实训 Python爬虫环境配置
思考题
课后习题

项目2 爬虫基础知识准备

【项目背景】
【学习目标】
【思维导图】
任务2.1 了解网页基础
       2.1.1 了解网页开发技术
       2.1.2 了解网页的结构
       2.1.3 了解网页的分类
       2.1.4 了解网页的数据结构
任务2.2 认识HTTP
       2.2.1 熟悉HTTP请求方法与过程
       2.2.2 熟悉常见的HTTP状态码
       2.2.3 熟悉HTTP头部信息
       2.2.4 熟悉Cookie
小结
实训
       实训1 创建一个简单的网页文件
       实训2 访问网站并查看请求信息和响应信息
思考题
课后习题

项目3 简单静态网页爬取——获取某企业官网基本信息

【项目背景】
【学习目标】
【思维导图】
任务3.1 实现HTTP请求
       3.1.1 使用Chrome开发者工具查看网页
       3.1.2 使用urllib 3库实现HTTP请求
       3.1.3 使用Requests库实现HTTP请求
任务3.2 解析网页
       3.2.1 使用Xpath解析网页
       3.2.2 使用Beautiful Soup库解析网页
       3.2.3 使用正则表达式解析网页
任务3.3 存储数据
       3.3.1 将数据存储为JSON文件
       3.3.2 将数据存储到MySQL数据库
       3.3.3 将图片数据存储为jpg文件
小结
实训
       实训1 生成GET请求并获取指定网页内容
       实训2 搜索目标节点并提取文本内容
       实训3 在数据库中建立新表并导入数据
思考题
课后习题

项目4 爬取动态网页——获取图书基本信息

【项目背景】
【学习目标】
【思维导图】
任务4.1 使用逆向分析爬取动态网页
       4.1.1 判别网页类型
       4.1.2 获取动态网页信息
任务4.2 使用Selenium库爬取动态网页
       4.2.1 下载浏览器驱动
       4.2.2 打开浏览器并访问页面
       4.2.3 元素选取
       4.2.4 元素交互
       4.2.5 页面操作
       4.2.6 页面等待
任务4.3 存储数据至MongoDB数据库
       4.3.1 MongoDB数据库和MySQL数据库的区别
       4.3.2 将数据存储到MongoDB数据库
小结
实训
       实训1 生成GET请求并获取指定网页内容
       实训2 搜索目标节点并提取文本内容
思考题
课后习题

项目5 模拟登录—登录某企业官网

【项目背景】
【学习目标】
【思维导图】
任务5.1 使用表单登录方法实现模拟登录
       5.1.1 查找提交入口
       5.1.2 查找并获取需要提交的表单数据
       5.1.3 使用POST请求方法登录
任务5.2 使用Cookie登录方法实现模拟登录
       5.2.1 使用浏览器Cookie登录
       5.2.2 基于表单登录的Cookie登录
小结
实训
       实训1 使用表单登录方法模拟登录中华诗词学会网
       实训2 使用浏览器Cookie模拟登录中华诗词学会网
       实训3 基于表单登录后的Cookie模拟登录中华诗词学会网
思考题
课后习题

项目6 终端协议分析——爬取某音乐PC客户端和App客户端数据

【项目背景】
【学习目标】
【思维导图】
任务6.1 分析PC客户端抓包
       6.1.1 了解HTTP Analyzer工具
       6.1.2 爬取酷我音乐PC客户端数据
任务6.2 分析App客户端抓包
       6.2.1 了解Fiddler工具
       6.2.2 分析酷我音乐App客户端
小结
实训
       实训1 获取酷我音乐PC客户端的推荐歌曲信息
       实训2 分析学习通App客户端
思考题
课后习题

项目7 使用Scrapy爬虫——爬取某企业官网新闻动态

【项目背景】
【学习目标】
【思维导图】
任务7.1 认识Scrapy
       7.1.1 了解Scrapy爬虫框架
       7.1.2 了解Scrapy异步与并发机制

       7.1.23熟悉Scrapy常用命令
任务7.2 通过Scrapy爬取文本信息
       7.2.1 创建Scrapy爬虫项目
       7.2.2 修改items/pipelines脚本
       7.2.3 编写spider脚本
       7.2.4 修改settings脚本
任务7.3 定制中间件
       7.3.1 定制下载器中间件
       7.3.2 定制Spider中间件
小结
实训
       实训1 爬取“某企业的所有优秀作品
       实训2 定制BdRaceNews爬虫项目的中间件
       实训3 爬取猫眼电影网站的影片信息
       实训4 配置Maoyan100爬虫项目的设置文件
思考题
课后习题

项目8 使用ScrapeGraphai爬取图书信息

【项目背景】
【学习目标】
【思维导图】
任务8.1 认识AI爬虫工具
       8.1.1 FireCrawl
       8.1.2 Crawl4ai
       8.1.3 Tavily
       8.1.4 ScrapeGraphai
任务8.2 熟悉ScrapeGraphai的接口功能
       8.2.1 本地编程接口
       8.2.2 LLM接口配置
       8.2.3 云端网络接口
任务8.3 基于ScrapeGraphai工具爬取泰迪云教材图书信息
       8.3.1 了解网页结构
       8.3.2 使用ScrapeGraphai工具获取图书信息
小结
实训
       实训1 搭建ScrapeGraphai环境并完成单本图书详情提取
       实训2 批量爬取图书列表第一页并下载所有图书封面图片
思考题
课后习题