前面我们用乐刻的H5页面爬取了课表,但有些二级页面的数据是点不进去的,还是要通过APP进行爬取。但这真的是一个很大的挑战,我们先要做好心理准备。
目录:
1. PC网页爬虫
2. H5网页爬虫
3. 微信小程序爬虫
4. 手机APP爬虫
LefitMitmAddon.py
- 连接android手机,确认连接成功;
- 启动mitmproxy,挂载拦截脚本,确认能够正常抓包(下图中的黄框);
- 在应用程序中启动Appium(下图中的蓝框);
- 启动爬虫脚本(下图中的红框);
这个方案的适应能力非常强,不怕各种反爬虫机制。
但是如果要去爬取淘宝、携程等海量数据时,肯定也是力不从心。