Python爬虫XPath解析出乱码的问题及解决

目录

• Python爬虫XPath解析出乱码
• Python XPath解析html出现⋆解决方法 html出现&#123；
• 问题
• 原因
• 排查与解决
• 总结

Python爬虫XPath解析出乱码

请求后加上编码

resp = requests.get(url, headers=headers)
resp.encoding = 'GBK'

Python XPath解析html出现⋆解决方法 html出现&#123；

爬网页又遇到一个坑，老是出现a乱码，查看html出现的是&#数字;这样的。

网上相关的“Python字符中出现&#的解决办法”又没有很好的解决，自己继续冲浪，费了一番功夫解决了。

这算是又加深了一下我对这些iso、Unicode编码的明白。故分享。

问题

用Python的lxml解析html时，调用text()输出出来的最终带有a这样的乱码：

网页原页面展示：

爬取代码：

url = "xxx"
 
response = requests.request("GET", url)
 
html = etree.HTML(response.text)
 
# 直接调用text函数
description = html.xpath('//div[@class="xxx"]/div/div//text()')
# 直接打印
for desc in description:
    print(desc)

原因

不用说自然是编码的问题。下面教大家排查和解决。

排查与解决

首先查看返回的响应是怎样编码的：

response = requests.request("GET", url, proxies=proxy)
# 得到响应之后，先检查一下它的编码做法
print(response.encoding)

最终如下：

然后基于这个编码的做法再来解码：

html = etree.HTML(response.text)
 
description = html.xpath('//div[@class="xxx"]/div/div//text()')
 
for desc in description:
    # print(desc)
    # 基于上面的最终，用iso88591来编码，再解码为utf-8
    print(desc.encode("ISO-8859-1").decode("utf-8"))

最终如下：

完整代码：

url = "xxx"
 
response = requests.request("GET", url)
print(response.encoding)
 
html = etree.HTML(response.text)
 
description = html.xpath('//div[@class="xxx"]/div/div//text()')
 
for desc in description:
    print(desc.encode("ISO-8859-1").decode("utf-8"))
    # print(desc)

总结

网上有用python2流传下来的HTMLParser的，还有用python3的html包的，效果都不好。

不过也有改response的编码做法的，就是这样：

url = "xxx"
 
response = requests.request("GET", url)
 
# html = etree.HTML(response.text)
html = etree.HTML(response.content)  # 改用二进制编码
 
# 直接调用text函数
description = html.xpath('//div[@class="xxx"]/div/div//text()')
# 直接打印
for desc in description:
    print(desc)

也能胜利解析。

以上为个人经验，愿望能给大家一个参考，也愿望大家多多赞成IT视界。

本文由IT视界版权所有,禁止未经同意的情况下转发