0: filetype = file_type_matches[0] print(filetype) 由于获取 size、volume、mode、resolution 这些属性，都可以采取类似的方法，因此我们可以归结出一个正则提取的函数： def regex_get(text, expr): matches = re.compile(expr).findall(text) if len(matches) == 0: return "" return matches[0] 因此，在获取 size 节点时，我们的代码就可以精简为： size = regex_get(context, r"尺寸：(.*?像素)") 3. 完整的Python代码 到这里，我们解析页面可能遇到的问题就已经解决了大半，整个Python代码如下： import requests import re from pyquery import PyQuery as pq def regex_get(text, expr): matches = re.compile(expr).findall(text) if len(matches) == 0: return "" return matches[0] conseq = {} ## 下载文档 response = requests.get("http://www.58pic.com/newpic/32504070.html") document = pq(response.text) ## 获取文件标题 title_node = document.find(".detail-title") title_node.find("div").remove() title_node.find("p").remove() conseq["title"] = title_node.text() ## 获取素材类型 conseq["pictype"] = document.find(".pic-type").text() ## 获取文件格式 conseq["filetype"] = regex_get(document.find(".mainRight-file").text(), r"文件格式：([a-z]+)") ## 获取元数据 context = document.find(".main-right p").text() conseq['metainfo'] = { "size": regex_get(context, r"尺寸：(.*?像素)"), "volume": regex_get(context, r"体积：(.*? MB)"), "mode": regex_get(context, r"模式：([A-Z]+)"), "resolution": regex_get(context, r"分辨率：(\d+dpi)"), } ## 获取作者 conseq['author'] = document.find('.user-name').text() ## 获取图片 conseq['images'] = [] for node_image in document.find("#show-area-height img"): conseq['images'].append(pq(node_image).attr("src")) ## 获取tag conseq['tags'] = [] for node_image in document.find(".mainRight-tagBox .fl"): conseq['tags'].append(pq(node_image).text()) print(conseq) 使用Golang进行页面的解析 在 Golang 中解析 html 和 xml 文档， 常用到的库有以下几种： 提供 正则表达式 支持的 regexp 库 提供 CSS选择器 支持的 github.com/PuerkitoBio/goquery 提供 Xpath 支持的 gopkg.in/xmlpath.v2 库 提供 JSON PATH 支持的 github.com/tidwall/gjson 库 这些库，你都可以通过 go get -u 来获取，由于在上面的Python解析中我们已经整理出了解析逻辑，在Golang中只需要复现即可，与 Python 不同的是，我们最好先为我们的数据结构定义一个 struct，像下面这样： type Reuslt struct { Title string Pictype string Number string Type string Metadata struct { Size string Volume string Mode string Resolution string } Author string Images []string Tags []string } 同时，由于我们的 待解析页面 是非主流的 gbk 编码，所以在下载下来文档之后，需要手动将 utf-8 的编码转换为 gbk 的编码，这个过程虽然不在解析的范畴之内，但是也是必须要做的步骤之一， 我们使用了 github.com/axgle/mahonia 这个库进行编码的转换，并整理出了编码转换的函数 decoderConvert： func decoderConvert(name string, body string) string { return mahonia.NewDecoder("gbk").ConvertString(body) } 因此， 最终的 golang 代码应该是下面这样的： package main import ( "encoding/json" "log" "regexp" "strings" "github.com/axgle/mahonia" "github.com/parnurzeal/gorequest" "github.com/PuerkitoBio/goquery" ) type Reuslt struct { Title string Pictype string Number string Type string Metadata struct { Size string Volume string Mode string Resolution string } Author string Images []string Tags []string } func RegexGet(text string, expr string) string { regex, _ := regexp.Compile(expr) return regex.FindString(text) } func decoderConvert(name string, body string) string { return mahonia.NewDecoder("gbk").ConvertString(body) } func main() { //下载文档 request := gorequest.New() _, body, _ := request.Get("http://www.58pic.com/newpic/32504070.html").End() document, err := goquery.NewDocumentFromReader(strings.NewReader(decoderConvert("gbk", body))) if err != nil { panic(err) } conseq := &Reuslt{} //获取文件标题 titleNode := document.Find(".detail-title") titleNode.Find("div").Remove() titleNode.Find("p").Remove() conseq.Title = titleNode.Text() // 获取素材类型 conseq.Pictype = document.Find(".pic-type").Text() // 获取文件格式 conseq.Type = document.Find(".mainRight-file").Text() // 获取元数据 context := document.Find(".main-right p").Text() conseq.Metadata.Mode = RegexGet(context, `尺寸：(.*?)像素`) conseq.Metadata.Resolution = RegexGet(context, `体积：(.*? MB)`) conseq.Metadata.Size = RegexGet(context, `模式：([A-Z]+)`) conseq.Metadata.Volume = RegexGet(context, `分辨率：(\d+dpi)`) // 获取作者 conseq.Author = document.Find(".user-name").Text() // 获取图片 document.Find("#show-area-height img").Each(func(i int, element *goquery.Selection) { if attribute, exists := element.Attr("src"); exists && attribute != "" { conseq.Images = append(conseq.Images, attribute) } }) // 获取tag document.Find(".mainRight-tagBox .fl").Each(func(i int, element *goquery.Selection) { conseq.Tags = append(conseq.Tags, element.Text()) }) bytes, _ := json.Marshal(conseq) log.Println(string(bytes)) } 解析逻辑完全相同，代码量和复杂程度相较 python版 差不多，下面我们来看一下新出现的 GraphQuery 是如何做的。 使用GraphQuery进行解析 已知我们想要得到的数据结构如下： { title pictype number type metadata { size volume mode resolution } author images [] tags [] } GraphQuery 的代码是下面这样的： { title `xpath("/html/body/div[4]/div[1]/div/div/div[1]/text()")` pictype `css(".pic-type")` number `css(".detailBtn-down");attr("data-id")` type `regex("文件格式：([a-z]+)")` metadata `css(".main-right p")` { size `regex("尺寸：(.*?)像素")` volume `regex("体积：(.*? MB)")` mode `regex("模式：([A-Z]+)")` resolution `regex("分辨率：(\d+dpi)")` } author `css(".user-name")` images `css("#show-area-height img")` [ src `attr("src")` ] tags `css(".mainRight-tagBox .fl")` [ tag `text()` ] } 通过对比可以看出， 它只是在我们设计的数据结构之中添加了一些由反引号包裹起来的函数。惊艳的是，它能完全还原我们上面在 Python 和 Golang 中的解析逻辑，而且从它的语法结构上，更能清晰的读出返回的数据结构。这段 GraphQuery 的执行结果如下： { "data": { "author": "Ice bear", "images": [ "upload/201811021529492200.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a0", "upload/201811021529492200.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a1024", "upload/201811021529492200.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a2048", "upload/201811021529492200.jpg!/fw/1024/watermark/url/L2ltYWdlcy93YXRlcm1hcmsvZGF0dS5wbmc=/repeat/true/crop/0x1024a0a3072" ], "metadata": { "mode": "RGB", "resolution": "200dpi", "size": "4724×6299", "volume": "196.886 MB" }, "number": "32504070", "pictype": "原创", "tags": ["大侠", "海报", "黑白", "金庸", "水墨", "武侠", "中国风"], "title": "大侠海报金庸武侠水墨中国风黑白", "type": "psd" }, "error": "", "timecost": 10997800 } GraphQuery 是一个文本查询语言，它不依赖于任何后端语言，可以被任何后端语言调用，一段 GraphQuery 查询语句，在任何语言中可以得到相同的解析结果。 它内置了 xpath选择器，css选择器，jsonpath 选择器和 正则表达式 ，以及足量的文本处理函数，结构清晰易读，能够保证 数据结构、解析代码、返回结果 结构的一致性。 项目地址： github.com/storyicon/graphquery GraphQuery 的语法简洁易懂, 即使你是第一次接触它， 也能很快的上手， 它的语法设计理念之一就是 符合直觉， 我们应该如何执行它呢： 1. 在Golang中调用GraphQuery 在 golang 中，你只需要首先使用 go get -u github.com/storyicon/graphquery 获得 GraphQuery 并在代码中调用即可： package main import ( "log" "github.com/axgle/mahonia" "github.com/parnurzeal/gorequest" "github.com/storyicon/graphquery" ) func decoderConvert(name string, body string) string { return mahonia.NewDecoder("gbk").ConvertString(body) } func main() { request := gorequest.New() _, body, _ := request.Get("http://www.58pic.com/newpic/32504070.html").End() body = decoderConvert("gbk", body) response := graphquery.ParseFromString(body, "{ title `xpath(\"/html/body/div[4]/div[1]/div/div/div[1]/text()\")` pictype `css(\".pic-type\")` number `css(\".detailBtn-down\");attr(\"data-id\")` type `regex(\"文件格式：([a-z]+)\")` metadata `css(\".main-right p\")` { size `regex(\"尺寸：(.*?)像素\")` volume `regex(\"体积：(.*? MB)\")` mode `regex(\"模式：([A-Z]+)\")` resolution `regex(\"分辨率：(\\d+dpi)\")` } author `css(\".user-name\")` images `css(\"#show-area-height img\")` [ src `attr(\"src\")` ] tags `css(\".mainRight-tagBox .fl\")` [ tag `text()` ] }") log.Println(response) } 我们的 GraphQuery 表达式以 单行 的形式， 作为函数 graphquery.ParseFromString 的第二个参数传入，得到的结果与预期完全相同。 2. 在Python中调用GraphQuery 在 Python 等其他后端语言中，调用 GraphQuery 需要首先启动其服务，服务已经为 windows、mac 和 linux 编译好，到 GraphQuery-http 中下载即可。 在解压并启动服务后，我们就可以愉快的使用 GraphQuery 在任何后端语言中对任何文档以图形的方式进行解析了。Python调用的示例代码如下： import requests def GraphQuery(document, expr): response = requests.post("http://127.0.0.1:8559", data={ "document": document, "expression": expr, }) return response.text response = requests.get("http://www.58pic.com/newpic/32504070.html") conseq = GraphQuery(response.text, r""" { title `xpath("/html/body/div[4]/div[1]/div/div/div[1]/text()")` pictype `css(".pic-type")` number `css(".detailBtn-down");attr("data-id")` type `regex("文件格式：([a-z]+)")` metadata `css(".main-right p")` { size `regex("尺寸：(.*?)像素")` volume `regex("体积：(.*? MB)")` mode `re