时间：2023-07-04 05:39:01 | 来源：网站运营
时间：2023-07-04 05:39:01 来源：网站运营
写爬虫时如何解决网页乱码问题：实战讲解，文章较长，对爬虫比较熟悉的浏览翻看章节 2.3 获取新闻文本内容。
在线咨询
http://top.baidu.com/buzz?b=1#百度风云榜页面网址(含有50个热门新闻的关键词)fengyunbang_url = 'http://top.baidu.com/buzz?b=1'resp = requests.get(fengyunbang_url)#从html文件中解析出 事件字段和 网址字段doc = PyQuery(resp.text)for item in doc.items('.keyword'): keyword = item('a').text().split(' ')[0] keyword_link=item('a').attr.href print(keyword,keyword_link)运行，结果keyword全部为乱码，没有一点中文的痕迹。 def get_keywords_news_links(keyword_link): """ 访问关键词百度网址，得到相关新闻的link :param keyword_link: :return: """ headers = {'User-Agent': '你的user-agent'} resp = requests.get(keyword_link, headers=headers) bsObj = BeautifulSoup(resp.text, 'html.parser') news_items = bsObj.find_all('div', {'class': 'result c-container '}) news_links = [] for item in news_items: links = re.findall('href="(.*?)"', str(item)) news_links.extend(links) #防止链接重复 news_links = set(news_links) return news_links但是后来发现有的链接是无法访问的，比如运行中居然抽取出含有http://cache.baiducontent***这种的网页，经过测试，只要剔除掉这种链接，剩下的都为有效链接。 def get_news_content(link): """ 根据新闻网址，获取新闻数据 :return: 新闻内容 """ resp = requests.get(link) #最终只有汉字保留。 news_text = ''.join(re.findall('[/u4e00-/u9fa5]+', resp.text)) return news_text但是运行过程中，经常返回空。说明正则匹配中文时候匹配不到。很可能的原因是页面中没有中文，但是我们检测了这些页面都是有中文的，那么很有可能是因为页面乱码，导致正则[/u4e00-/u9fa5]+无法匹配到中文。经过检测，真的是乱码。解决办法resp.encoding='编码'。但是编码是什么值呢？这里我用新的方法，chardect库检测二进制数据中采用的编码方式。def get_news_content(link): """ 根据新闻网址，获取新闻数据 :return: 新闻内容 """ resp = requests.get(link) news_text = ''.join(re.findall('[/u4e00-/u9fa5]+', resp.text)) #网页乱码，导致news_text为空 if not news_text: #根据二进制数据检测html的编码。 #resp.content获取html二进制数据 chaset = chardet.detect(resp.content)['encoding'] #解决编码问题 resp.encoding = chaset news_text = ''.join(re.findall('[/u4e00-/u9fa5]+', resp.text)) return news_text return news_text#主函数，访问并保存所有的新闻数据def FetchAndSave(): #百度风云榜页面网址(含有50个热门新闻的关键词) fengyunbang_url = 'http://top.baidu.com/buzz?b=1' resp=requests.get(fengyunbang_url) resp.encoding='gb2312' #新建excel文件保存数据。 csvf = open('data.csv', 'a+', encoding='gbk', newline='') writer = csv.writer(csvf) writer.writerow(('news_content', 'keyword')) #从heml文件中解析出 事件字段和 网址字段 doc = PyQuery(resp.text) for itm in doc.items('.keyword'): keyword = itm('a').text().split(' ')[0] keyword_link = itm('a').attr.href news_links = get_keywords_news_links(keyword_link) for news_link in news_links: try: content = get_news_content(news_link) #防止新闻内容为空的写入csv中 if content: writer.writerow((content, keyword)) except: print(news_link)#运行爬虫FetchAndSave()关键词：解决,爬虫
