Python提取网页中超链接的方法

 更新时间:2016年09月18日 10:19:32   投稿:daisy  
很多人在一开始学习Python,会打算用作爬虫开发。既然要做爬虫,首先就要抓取网页,并且从网页中提取出超链接地址。这篇文章给大家分享一个简单的方法,有需要的可以参考借鉴。

下面是最简单的实现方法,先将目标网页抓回来,然后通过正则匹配a标签中的href属性来获得超链接

代码如下:

import urllib2
import re
 
url = 'http://www.sunbloger.com/'
 
req = urllib2.Request(url)
con = urllib2.urlopen(req)
doc = con.read()
con.close()
 
links = re.findall(r'href\=\"(http\:\/\/[a-zA-Z0-9\.\/]+)\"', doc)
for a in links:
  print a

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者工作能有所帮助,如果有疑问大家可以留言交流。

相关文章

  • 简单介绍Python下自己编写web框架的一些要点

    简单介绍Python下自己编写web框架的一些要点

    这篇文章主要介绍了简单介绍Python下自己编写web框架的一些要点,示例代码基于Python2.x版本,需要的朋友可以参考下
    2015-04-04
  • 简单了解python装饰器原理及使用方法

    简单了解python装饰器原理及使用方法

    这篇文章主要介绍了简单了解python装饰器原理及使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-12-12
  • 实现Python3数组旋转的3种算法实例

    实现Python3数组旋转的3种算法实例

    在本篇文章里小编给大家整理的是一篇关于实现Python3数组旋转的3种算法实例内容,需要的朋友们可以学习参考下。
    2020-09-09
  • Django1.7+python 2.78+pycharm配置mysql数据库

    Django1.7+python 2.78+pycharm配置mysql数据库

    这篇文章主要介绍了Django1.7+python 2.78+pycharm配置mysql数据库的相关资料,需要的朋友可以参考下
    2016-10-10
  • Python程序编译与反编译问题

    Python程序编译与反编译问题

    这篇文章主要介绍了Python程序编译与反编译问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-06-06
  • python产生模拟数据faker库的使用详解

    python产生模拟数据faker库的使用详解

    这篇文章主要介绍了python产生模拟数据faker库的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • 在Python中使用判断语句和循环的教程

    在Python中使用判断语句和循环的教程

    这篇文章主要介绍了在Python中使用判断语句和循环的教程,是Python学习当中的基础知识,代码基于Python2.x,需要的朋友可以参考下
    2015-04-04
  • django的autoreload机制实现

    django的autoreload机制实现

    这篇文章主要介绍了django的autoreload机制实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-06-06
  • 如何将你的应用迁移到Python3的三个步骤

    如何将你的应用迁移到Python3的三个步骤

    这篇文章主要介绍了如何将你的应用迁移到Python3的三个步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • python中的函数用法入门教程

    python中的函数用法入门教程

    这篇文章主要介绍了python中的函数用法,包括了函数的定义及参数的各种注意事项等,对Python初学者有很好的借鉴价值,需要的朋友可以参考下
    2014-09-09

最新评论