toc: true
comment: true
date: 2018-08-27 21:48:22
tags: ["Python", "正则表达式"]
category: ["Python"]
---

问题描述

问题的起因来自于一段正则替换。为了从一段HTML代码里面提取出正文，去掉所有的HTML标签和属性，可以写一个Python函数：

import re   def remove_tag(html):     text = re.sub('<.*?>', '', html, re.S)     return text

这段代码的使用了正则表达式的替换功能re.sub。这个函数的第一个参数表示需要被替换的内容的正则表达式，由于HTML标签都是使用尖括号包起来的，因此使用<.*?>就可以匹配所有<xxx yyy="zzz">和</xxx>。

第二个参数表示被匹配到的内容将要被替换成什么内容。由于我需要提取正文，那么只要把所有HTML标签都替换为空字符串即可。第三个参数就是需要被替换的文本，在这个例子中是HTML源代码段。

至于re.S，在4年前的一篇文章中我讲到了它的用法：Python正则表达式中的re.S。

现在使用一段HTML代码来测试一下：

import re   def remove_tag(html):     text = re.sub('<.*?>', '', html, re.S)     return text   source_1 = ''' <div class="content">今天的主角是<a href="xxx">kingname</a>，我们掌声欢迎！</div> '''   text = remove_tag(source_1) print(text)

运行效果如下图所示，功能完全符合预期

再来测试一下代码中有换行符的情况：

import re   def remove_tag(html):     text = re.sub('<.*?>', '', html, re.S)     return text  source_2 = ''' <div class="content">     今天的主角是     <a href="xxx">kingname</a>     ，我们掌声欢迎！ </div> ''' text = remove_tag(source_2) print(text)

运行效果如下图所示，完全符合预期。

经过测试，在绝大多数情况下，能够从的HTML代码段中提取出正文。但也有例外。

例外情况

有一段HTML代码段比较长，内容如下：

<img></span><span>遇见kingname</span></a ><a  ><span class='url-icon'>< img '></span><span >温柔</span></a ><a  ><span >#青南#</span></a > <br />就在这里…<br />我的小侯爷呢？？？

运行效果如下图所示，最后两个HTML标签替换失败。

一开始我以为是HTML里面的空格或者引号引起的问题，于是我把HTML代码进行简化：

<img></span><span>遇见kingname</span></a><a><span><img></span><span>温柔</span></a><a><span>#青南#</span></a><br/>就在这里…<br/>我的小侯爷呢

问题依然存在，如下图所示。

而且更令人惊讶的是，如果把第一个标签<img>