2、设置Fiddler

最后重启Fiddler。

如果遇到问题

在计算机中win+R，输入regedit打开注册表，找到fiddler，右键新建点击OWORD(64位)值Q，

名称：80；类型：REG_DWORD；数据：0x00000000(0)

Fiddler在上面的设置下，加上：菜单栏Rules-->Customize Rules...-->重启Fiddler

移动端app数据抓取

有道翻译手机版破解案例

import requests from lxml import etree ​ ​ word = input('请输入要翻译的单词:') url = 'http://m.youdao.com/translate' data = {     'inputtext': word,     'type': 'AUTO', } ​ html = requests.post(url,data=data).text parse_html = etree.HTML(html) result = parse_html.xpath('//ul[@id="translateResult"]/li/text()')[0] ​ print(result)

途牛旅游

目标：完成途牛旅游爬取系统，输入出发地、目的地，输入时间，抓取热门景点信息及相关评论

地址

1、地址: http://www.tuniu.com/
2、热门 - 搜索
3、选择: 相关目的地、出发城市、出游时间（出发时间和结束时间）点击确定
4、示例地址如下:
http://s.tuniu.com/search_complex/whole-sh-0-%E7%83%AD%E9%97%A8/list-a{触发时间}_{结束时间}-{出发城市}-{相关目的地}/

项目实现

1、创建项目

scrapy startproject Tuniu cd Tuniu scrapy genspider tuniu tuniu.com

2、定义要抓取的数据结构 - items.py