脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python3 微信文章爬虫

python3之微信文章爬虫实例讲解

 更新时间：2017年07月12日 08:17:38   投稿：jingxian  
下面小编就为大家带来一篇python3之微信文章爬虫实例讲解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧

前提：

python3.4

windows

作用：通过搜狗的微信搜索接口http://weixin.sogou.com/来搜索相关微信文章，并将标题及相关链接导入Excel表格中

说明：需xlsxwriter模块，另程序编写时间为2017/7/11，以免之后程序无法使用可能是网站做过相关改变，程序较为简单，除去注释40多行。

正题：

思路：打开初始Url --> 正则获取标题及链接 --> 改变page循环第二步 --> 将得到的标题及链接导入Excel

爬虫的第一步都是先手工操作一遍（闲话）

进入上面提到的网址，如输入:“图片识别”,搜索，网址变为“http://weixin.sogou.com/weixin?type=2&query=%E5%9B%BE%E7%89%87%E8%AF%86%E5%88%AB&ie=utf8&s_from=input&_sug_=n&_sug_type_=1&w=01015002&oq=&ri=4&sourceid=sugg&sut=0&sst0=1499778531195&lkt=0%2C0%2C0&p=40040108”标红为重要参数，type=1时是搜索公众号，暂且不管，query=‘搜索关键词',关键词已经被编码，还有一个隐藏参数page=1

当你跳到第二页时可以看到“http://weixin.sogou.com/weixin?oq=&query=%E5%9B%BE%E7%89%87%E8%AF%86%E5%88%AB&_sug_type_=1&sut=0&lkt=0%2C0%2C0&s_from=input&ri=4&_sug_=n&type=2&sst0=1499778531195&page=2&ie=utf8&p=40040108&dp=1&w=01015002&dr=1”

好了，url可以得到了

url = 'http://weixin.sogou.com/weixin?type=2&query='+search+'&page='+str(page)

search是要搜索的关键词，用quote（）编码即可插入

search = urllib.request.quote(search)

page是用来循环的

for page in range(1,pagenum+1):
 url = 'http://weixin.sogou.com/weixin?type=2&query='+search+'&page='+str(page)

完整的url已经得到了，接下来访问url，获得其中的数据（创建opener对象，添加header（））

import urllib.request
 header = ('User-Agent','Mozilla/5.0')
 opener = urllib.request.build_opener()
 opener.addheaders = [header]
 urllib.request.install_opener(opener)
 data = urllib.request.urlopen(url).read().decode()

得到页面内容，采用正则表达获取相关数据

 import re
  finddata = re.compile('<a target="_blank" href="(.*?)" rel="external nofollow" rel="external nofollow" .*?uigs="article_title_.*?">(.*?)</a>').findall(data)
  #finddata = [('',''),('','')]

通过正则获取的数据中存在干扰项（链接:‘amp;'）和无关项（标题：'<em><...><....></em>'）,用replace（）解决

 title = title.replace('<em><!--red_beg-->','')
 title = title.replace('<!--red_end--></em>','')
 link = link.replace('amp;','')

将处理后的标题和链接保存在列表中

 title_link.append(link)
 title_link.append(title)

如此搜索的标题和链接都得到了，接下来导入Excel

先创建Excel

 import xlsxwriter
 workbook = xlsxwriter.Workbook(search+'.xlsx')
 worksheet = workbook.add_worksheet('微信')

将title_link中的数据导入Excel

 for i in range(0,len(title_link),2):
  worksheet.write('A'+str(i+1),title_link[i+1])
  worksheet.write('C'+str(i+1),title_link[i])
 workbook.close()

完整代码：

'''
python3.4 + windows
羽凡-2017/7/11-
用于搜索微信文章，保存标题及链接至Excel中
每个页面10秒延迟，防止被限制
import urllib.request,xlsxwriter,re,time
'''
import urllib.request
search = str(input("搜索微信文章："))
pagenum = int(input('搜索页数:'))
import xlsxwriter
workbook = xlsxwriter.Workbook(search+'.xlsx')
search = urllib.request.quote(search)
title_link = []
for page in range(1,pagenum+1):
 url = 'http://weixin.sogou.com/weixin?type=2&query='+search+'&page='+str(page)
 import urllib.request
 header = ('User-Agent','Mozilla/5.0')
 opener = urllib.request.build_opener()
 opener.addheaders = [header]
 urllib.request.install_opener(opener)
 data = urllib.request.urlopen(url).read().decode()
 import re
 finddata = re.compile('<a target="_blank" href="(.*?)" rel="external nofollow" rel="external nofollow" .*?uigs="article_title_.*?">(.*?)</a>').findall(data)
 #finddata = [('',''),('','')]
 for i in range(len(finddata)):
  title = finddata[i][1]
  title = title.replace('<em><!--red_beg-->','')
  title = title.replace('<!--red_end--></em>','')
  try:
   #标题中可能存在引号
   title = title.replace('&ldquo;','"')
   title = title.replace('&rdquo;','"')
  except:
   pass
  link = finddata[i][0]
  link = link.replace('amp;','')
  title_link.append(link)
  title_link.append(title)
 print('第'+str(page)+'页')
 import time
 time.sleep(10)
worksheet = workbook.add_worksheet('微信')
worksheet.set_column('A:A',70)
worksheet.set_column('C:C',100)
bold = workbook.add_format({'bold':True})
worksheet.write('A1','标题',bold)
worksheet.write('C1','链接',bold)
for i in range(0,len(title_link),2):
 worksheet.write('A'+str(i+1),title_link[i+1])
 worksheet.write('C'+str(i+1),title_link[i])
workbook.close()
print('导入Excel完毕！')

以上这篇python3之微信文章爬虫实例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • python 文件操作api(文件操作函数)

    python 文件操作api(文件操作函数)

    总是记不住API。昨晚写的时候用到了这些，但是没记住，于是就索性整理一下吧,方便需要的朋友
    2016-08-08
  • Python启动UDP服务,监听并接收客户端数据方式

    Python启动UDP服务,监听并接收客户端数据方式

    这篇文章主要介绍了Python启动UDP服务,监听并接收客户端数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-07-07
  • 利用Python实现从PDF到CSV的转换

    利用Python实现从PDF到CSV的转换

    将PDF转换为CSV极大地提升了数据的实用价值,Python作为一种强大的编程语言,能够高效完成这一转换任务,本文将介绍如何利用Python实现从PDF到CSV的转换,需要的朋友可以参考下
    2024-07-07
  • python中如何打包用户自定义模块

    python中如何打包用户自定义模块

    在本篇文章里小编给大家整理的是一篇关于python中如何打包用户自定义模块的相关文章，有兴趣的朋友们可以参考下。
    2020-09-09
  • python列表生成器常用迭代器示例详解

    python列表生成器常用迭代器示例详解

    这篇文章主要为大家介绍了python列表生成器常用迭代器示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-06-06
  • 利用scrapy将爬到的数据保存到mysql（防止重复）

    利用scrapy将爬到的数据保存到mysql（防止重复）

    这篇文章主要给大家介绍了关于利用scrapy将爬到的数据保存到mysql（防止重复）的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
    2018-03-03
  • 深入浅析Django MTV模式

    深入浅析Django MTV模式

    Django是基于MTV模式的框架，需要配合url控制器（路径分发）使用，本文重点给大家介绍Django MTV模式详解，需要的朋友参考下吧
    2021-09-09
  • Python list操作用法总结

    Python list操作用法总结

    这篇文章主要介绍了Python list操作用法,以实例形式较为详细的总结分析了Python中list的各种常见函数的功能与使用方法,需要的朋友可以参考下
    2015-11-11
  • 关于TensorBoard的使用以及遇到的坑记录

    关于TensorBoard的使用以及遇到的坑记录

    这篇文章主要介绍了关于TensorBoard的使用以及遇到的坑记录,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Python中属性和描述符的正确使用

    Python中属性和描述符的正确使用

    Python的描述符和属性是接触到Python核心编程中一个比较难以理解的内容，自己在学习的过程中也遇到过很多的疑惑，通过google和阅读源码，现将自己的理解和心得记录下来，也为正在为了该问题苦恼的朋友提供一个思考问题的参考。
    2016-08-08

最新评论