.*?

(.*?)
(.*?)

.*?class="star.*?.*?span class="rating_num".*?average">(.*?)' results = re.findall(regix,text,re.S) for item in results: print(item) 结果为： ('1', 'upload/201811201606354786.jpg', '肖申克的救赎', ' / 月黑高飞(港) / 刺激1995(台)', '\n 导演: 弗兰克·德拉邦特 Frank Darabont   主演: 蒂姆·罗宾斯 Tim Robbins /...', '\n 1994 / 美国 / 犯罪 剧情\n ', 'rating5-t', '9.6') ('2', 'upload/201811201606386430.jpg', '霸王别姬', ' / 再见，我的妾 / Farewell My Concubine', '\n 导演: 陈凯歌 Kaige Chen   主演: 张国荣 Leslie Cheung / 张丰毅 Fengyi Zha...', '\n 1993 / 中国大陆 香港 / 剧情 爱情 同性\n ', 'rating5-t', '9.6') ('3', 'upload/201811201606380705.jpg', '这个杀手不太冷', ' / 杀手莱昂 / 终极追杀令(台)', '\n 导演: 吕克·贝松 Luc Besson   主演: 让·雷诺 Jean Reno / 娜塔莉·波特曼 ...', '\n 1994 / 法国 / 剧情 动作 犯罪\n ', 'rating45-t', '9.4') ('4', 'upload/201811201606384378.jpg', '阿甘正传', ' / 福雷斯特·冈普', '\n 导演: Robert Zemeckis   主演: Tom Hanks / Robin Wright Penn / Gary Sinise', '\n 1994 / 美国 / 剧情 爱情\n ', 'rating45-t', '9.4') ('5', 'upload/201811201606382846.jpg', '美丽人生', ' / 一个快乐的传说(港) / Life Is Beautiful', '\n 导演: 罗伯托·贝尼尼 Roberto Benigni   主演: 罗伯托·贝尼尼 Roberto Beni...', '\n 1997 / 意大利 / 剧情 喜剧 爱情 战争\n ', 'rating5-t', '9.5') ('6', 'upload/201811201606382164.jpg', '泰坦尼克号', ' / 铁达尼号(港 / 台)', '\n 导演: 詹姆斯·卡梅隆 James Cameron   主演: 莱昂纳多·迪卡普里奥 Leonardo...', '\n 1997 / 美国 / 剧情 爱情 灾难\n ', 'rating45-t', '9.3') ('7', 'upload/201811201606386812.jpg', '千与千寻', ' / 神隐少女(台) / Spirited Away', '\n 导演: 宫崎骏 Hayao Miyazaki   主演: 柊瑠美 Rumi Hîragi / 入野自由 Miy...', '\n 2001 / 日本 / 剧情 动画 奇幻\n ', 'rating45-t', '9.3') ('8', 'upload/201811201606382664.jpg', '辛德勒的名单', ' / 舒特拉的名单(港) / 辛德勒名单', '\n 导演: 史蒂文·斯皮尔伯格 Steven Spielberg   主演: 连姆·尼森 Liam Neeson...', '\n 1993 / 美国 / 剧情 历史 战争\n ', 'rating5-t', '9.5') ('9', 'upload/201811201606397880.jpg', '盗梦空间', ' / 潜行凶间(港) / 全面启动(台)', '\n 导演: 克里斯托弗·诺兰 Christopher Nolan   主演: 莱昂纳多·迪卡普里奥 Le...', '\n 2010 / 美国 英国 / 剧情 科幻 悬疑 冒险\n ', 'rating45-t', '9.3') ('10', 'upload/201811201606393415.jpg', '机器人总动员', ' / 瓦力(台) / 太空奇兵·威E(港)', '\n 导演: 安德鲁·斯坦顿 Andrew Stanton   主演: 本·贝尔特 Ben Burtt / 艾丽...', '\n 2008 / 美国 / 爱情 科幻 动画 冒险\n ', 'rating45-t', '9.3') ('11', 'upload/201811201606390262.jpg', '忠犬八公的故事', ' / 忠犬小八(台) / 秋田犬八千(港)', '\n 导演: 莱塞·霍尔斯道姆 Lasse Hallström   主演: 理查·基尔 Richard Ger...', '\n 2009 / 美国 英国 / 剧情\n ', 'rating45-t', '9.3') ('12', 'upload/201811201606392837.jpg', '三傻大闹宝莱坞', ' / 三个傻瓜(台) / 作死不离3兄弟(港)', '\n 导演: 拉库马·希拉尼 Rajkumar Hirani   主演: 阿米尔·汗 Aamir Khan / 卡...', '\n 2009 / 印度 / 剧情 喜剧 爱情 歌舞\n ', 'rating45-t', '9.2') ('13', 'upload/201811201606391175.jpg', '海上钢琴师', ' / 声光伴我飞(港) / 一九零零的传奇', '\n 导演: 朱塞佩·托纳多雷 Giuseppe Tornatore   主演: 蒂姆·罗斯 Tim Roth / ...', '\n 1998 / 意大利 / 剧情 音乐\n ', 'rating45-t', '9.2') ('14', 'upload/201811201606390443.jpg', '放牛班的春天', ' / 歌声伴我心(港) / 唱诗班男孩', '\n 导演: 克里斯托夫·巴拉蒂 Christophe Barratier   主演: 杰拉尔·朱诺 Géra...', '\n 2004 / 法国 瑞士 德国 / 剧情 音乐\n ', 'rating45-t', '9.2') ('15', 'upload/201811201606396614.jpg', '大话西游之大圣娶亲', ' / 西游记完结篇仙履奇缘 / 齐天大圣西游记', '\n 导演: 刘镇伟 Jeffrey Lau   主演: 周星驰 Stephen Chow / 吴孟达 Man Tat Ng...', '\n 1995 / 香港 中国大陆 / 喜剧 爱情 奇幻 冒险\n ', 'rating45-t', '9.2') ('16', 'upload/201811201606390470.jpg', '楚门的世界', ' / 真人Show(港) / 真人戏', '\n 导演: 彼得·威尔 Peter Weir   主演: 金·凯瑞 Jim Carrey / 劳拉·琳妮 Lau...', '\n 1998 / 美国 / 剧情 科幻\n ', 'rating45-t', '9.2') ('17', 'upload/201811201606397674.jpg', '教父', ' / Mario Puzo's The Godfather', '\n 导演: 弗朗西斯·福特·科波拉 Francis Ford Coppola   主演: 马龙·白兰度 M...', '\n 1972 / 美国 / 剧情 犯罪\n ', 'rating45-t', '9.2') ('18', 'upload/201811201606408752.jpg', '龙猫', ' / 邻居托托罗 / 邻家的豆豆龙', '\n 导演: 宫崎骏 Hayao Miyazaki   主演: 日高法子 Noriko Hidaka / 坂本千夏 Ch...', '\n 1988 / 日本 / 动画 奇幻 冒险\n ', 'rating45-t', '9.1') ('19', 'upload/201811201606402466.jpg', '星际穿越', ' / 星际启示录(港) / 星际效应(台)', '\n 导演: 克里斯托弗·诺兰 Christopher Nolan   主演: 马修·麦康纳 Matthew Mc...', '\n 2014 / 美国 英国 加拿大 冰岛 / 剧情 科幻 冒险\n ', 'rating45-t', '9.2') ('20', 'upload/201811201606404704.jpg', '熔炉', ' / 无声呐喊(港) / 漩涡', '\n 导演: 黄东赫 Dong-hyuk Hwang   主演: 孔侑 Yoo Gong / 郑有美 Yu-mi Jeong ...', '\n 2011 / 韩国 / 剧情\n ', 'rating45-t', '9.2') ('21', 'upload/201811201606404514.jpg', '无间道', ' / Infernal Affairs / Mou gaan dou', '\n 导演: 刘伟强 / 麦兆辉   主演: 刘德华 / 梁朝伟 / 黄秋生', '\n 2002 / 香港 / 剧情 犯罪 悬疑\n ', 'rating45-t', '9.1') ('22', 'upload/201811201606403160.jpg', '当幸福来敲门', ' / 寻找快乐的故事(港) / 追求快乐', '\n 导演: 加布里尔·穆奇诺 Gabriele Muccino   主演: 威尔·史密斯 Will Smith ...', '\n 2006 / 美国 / 剧情 传记 家庭\n ', 'rating45-t', '9.0') ('23', 'upload/201811201606408185.jpg', '触不可及', ' / 闪亮人生(港) / 逆转人生(台)', '\n 导演: 奥利维·那卡什 Olivier Nakache / 艾力克·托兰达 Eric Toledano   主...', '\n 2011 / 法国 / 剧情 喜剧\n ', 'rating45-t', '9.2') ('24', 'upload/201811201606404847.jpg', '怦然心动', ' / 萌动青春 / 青春萌动', '\n 导演: 罗伯·莱纳 Rob Reiner   主演: 玛德琳·卡罗尔 Madeline Carroll / 卡...', '\n 2010 / 美国 / 剧情 喜剧 爱情\n ', 'rating45-t', '9.0') ('25', 'upload/201811201606401337.jpg', '乱世佳人', ' / 飘', '\n 导演: 维克多·弗莱明 Victor Fleming / 乔治·库克 George Cukor   主演: 费...', '\n 1939 / 美国 / 剧情 历史 爱情 战争\n ', 'rating45-t', '9.2') 从上面的结果看到电影的星级是rating5-t、rating45-t、rating4-t这样的字符代表五星、四星半、四星等。转换代码为： def star_transfor(str): if str == 'rating5-t': return '五星' elif str == 'rating45-t' : return '四星半' elif str == 'rating4-t': return '四星' elif str == 'rating35-t' : return '三星半' elif str == 'rating3-t': return '三星' elif str == 'rating25-t': return '两星半' elif str == 'rating2-t': return '两星' elif str == 'rating15-t': return '一星半' elif str == 'rating1-t': return '一星' else: return '无星' 在爬取网页时，会将图片也爬取下来，下面的代码是将每部电影的图片保存到本地： def down_image(url,headers): r = requests.get(url,headers = headers) filename = re.search('/public/(.*?)$',url,re.S).group(1) with open(filename,'wb') as f: f.write(r.content) 爬取到网页的信息后，一般会将爬取的信息保存到数据库或文本文件中，下面的代码是将爬取到的电影信息保存到文本文件中： def write_movies_file(str): with open('douban_film.txt','a',encoding='utf-8') as f: f.write(json.dumps(str,ensure_ascii=False) + '\n') 写入文本文件用到了json库的dumps方法，该方法实现了字典的序列化，并且要指定ensure_ascii参数为False，保证中文不乱码。 write_movies_file方法传入的是一个字典的参数，因此在爬取到一部电影的信息时，需要将电影信息格式化为一个字典，代码为： results = re.findall(regix, text, re.S) for item in results: yield { '电影名称' : item[2] + ' ' + re.sub(' ','',item[3]), '导演和演员' : re.sub(' ','',item[4].strip()), '评分': star_transfor(item[6].strip()) + '/' + item[7] + '分', '排名' : item[0] } 到目前为止，我们已经实现了爬取一页电影的信息，一页包含有25部电影，250部电影有10页，之前已经提到过，改变start的值即可抓取不同页的电影，下面的代码是构造10页电影url的代码： for offset in range(0, 250, 25): url = 'https://movie.douban.com/top250?start=' + str(offset) +'&filter=' 爬取豆瓣电影top250的完整代码如下： import requests import re import json def parse_html(url): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.