虽然现在看来没有什么难度,但是当时第一次的时候没有找到方法,现在把整个过程记录一下供自己日后参考,也给初学者一个参考。话不多说,开干。
目的:爬取一下物联网卡的流量和到期时间等参数,这样可以提前提醒自己避免流量用完带来的影响。
分析:
1、网站有一个登录界面,所有的请求必须要登录后才能访问,因此我们先要模拟登录。
2、登录成功后需要访问流量卡界面,因此需要模拟请求得到流量卡信息(一般都是动态加载的数据,如果是静态页面就直接解析静态页面数据)
一、开始 模拟登录:
1、打开登录网址 邮件检查可以看到有个提交函数
2、,找到函数实现 可以看见是一个post请求将有户名密码传入后台服务器。服务器返回一个url跳转到主页。
3、使用postman来验证,可以看见登录成功
二、开始寻找获取流量卡信息接口
1、按F12 点击network XHR 点击请求按钮
2、可以看见有个请求链接,点击可以看见是一个json的数据,里面正是我们要的数据。
但是直接复制连接不能得到数据,会返回一个找不到404错误。
3、点开heards,拉到底可以看见一个formdata
4、使用postman验证 可以看到返回我们想要的数据
最后使用scarpy框架来爬取数据
最后贴一张scrapy的安装包结构,从下网上安装
到此整个爬虫结束。