• 这个的实现就是进行的是我们的 前后端交互 中的重要技术
• 优点就是可以实现页面的局部刷新而不影响整个页面，这个就是异步加载
• 然后为什么是异步或者同步之分耶？
  • 首先前端的 javascript 是一门单线程得编程语言
  • 但是为了解决这个单线程得劣势，就出现了 javascript 得异步得处理模式
• 同步加载: 是会等待后端的数据全部返回后，才实现加载页面，加载页面的速度慢
• 异步加载: 就是在边向后端发送请求，边实现渲染前端页面，或者说可以实现页面的局部刷新，加载速度快

• 首先开发岗位的话分为了: ui 产品 前端 后端 运维 数据库操作人员
• 前期项目的话，就是由 产品 去和甲方沟通
  • 然后数据库人员建表
  • 最后 项目框架师 搭建开发框架出来
• 中期工作:
  • ui 负责出图
  • 后端 负责操作数据库，对数据进行增删改查等等的操作来实现开发项目的服务端
  • 前端 利用 ui 给的图 以及 后端 提供的 api 接口获取返回的数据开发和用户实现交互的客户端
• 后期工作:
  • 运维 将项目部署，然后进行后期的维护工作，并且由产品交付上线
• 同时需要我们注意的就是，开发的流程不止这个简单哈，每个部门还是可以利用自己的技术来提前将项目框架都搭建好的

使用场景

• 使用这个模块的时候，首先需要进行判断的就是——先判断请求的网址是异步加载还是同步加载
• 使用的是异步加载就可以使用这个模块来完成后期的一些工作
• 同步加载：
  • 一般就是实现的是直接返回的是 网页文本 数据
• 异步加载
  • 一般就是返回的是我们的 json 格式的数据，也是当前前后端交互常见的一种数据格式
• 一般爬取网页的时候，不是 html文本 ， 就是 json
• https://www.json.cn/ 实现判断是否是 json 数据，在线解析 json 数据的网站

jsonpath 是第三方模块

• 使用之前首先需要的是: pip install jsonpath
• 然后实现导入模块 from josnpath import jsonpath

jsonpath 的基本使用

• $ 表示的是我们的根节点， .. 表示的是忽略任意的层级
• 使用的而基本规则: jsonpath(目标, 语法)

我们实现将多个列表中的数据实现对应存储的时候

• 可以使用的方法是:
• for list01, list02, list03 in zip(list1, list2, list3):

最后我们就需要考虑最后的保存数据

• 可以直接保存到我们的数据库中，pymysql 模块
• 也是可以直接保存在我们的 excel 表中: openpyxl: pip install openpyxl
• openpyxl的基本使用

然后进展到最后，我们需要注意的就是页面的翻页问题，来实现爬取所有的数据

• 同时在发送请求的时候，我们是需要设置递归深度，来防止因为网络波动导致的请求失败
• 通过 sys 模块来实现设置递归深度