与您分享如何解决Python造成网页乱码的问题的经验技巧,具体如下:
工具/原料
python
方法/步骤
1、在上图中,可以看到charset=utf-8,说明这个网页很大可能是采用‘UTF-8’编码(是很大可能,但不是百分之百),因此可以试试这个编码方式:
2、在使用python爬取网页时,经常会遇到乱码问题,一旦遇到乱码问题,就很难得到有用的信息。本人遇到乱码问题,一般有以下几个方式:查看网页源码中的head标签,找到编码方式,例如:
3、这种方式得到的内容基蛔糯阚熨本上就不会乱码了。相关推荐:《Python教程》如果上述的方式没有任何作用,页面依然乱码;或者在h髫潋啜缅ead标签下并没有找到charset属性;或者我们要采集很多网页的信息,而且这些网页的编码方式不尽相同,我们不可能做到一个一个网页的去查看head标签,那么可以采用下面的方式解决乱码。(1)python的chardet库可以使用下面的方式解决乱码问题
4、从输出结果可以看出这是“猜测”编码,猜测的方式是先收集各种编码的特征字符,根据特征字符判断,就能有很大概率“猜对”。这种方法的效率很低,如果采集的网页很大,可以只猜测其中一段的源码,即
5、(2)respon衡痕贤伎se的编码也可以使用另一种方法,即response自有的encoding,apparent_encoding这两个变量撅掏浑锌。response.encoding一般是从response.headers中content-type字段中的charset的值,其它情况我也不是很了解。response.apparent_encoding一般是采用上述的python的chardet库这种方法。因此可以用下面的方式解决乱码问题
6、一般情况下,上述两个方法可以解决乱码问题。但是如果上述两个方式不能解决,那有可能是网页的压缩导致的。这种问题用下面的方法解决。检查一下你写的头信息是不是包含了Accept-Encoding这个字段,如果有,请删除这个字段,乱码问题就会得到解决。