脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python BeautifulSoup和requests实现的爬虫功能

Python基于BeautifulSoup和requests实现的爬虫功能示例

 更新时间：2019年08月02日 11:33:08   作者：郭大侠写leetcode  
这篇文章主要介绍了Python基于BeautifulSoup和requests实现的爬虫功能,结合实例形式分析了Python使用BeautifulSoup和requests库爬取网站指定信息的相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考，具体如下：

爬取的目标网页：http://www.qianlima.com/zb/area_305/

这是一个招投标网站，我们使用python脚本爬取红框中的信息，包括链接网址、链接名称、时间等三项内容。

使用到的Python库：BeautifulSoup、requests

代码如下：

# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容，自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

运行结果如下

更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • pygame实现非图片按钮效果

    pygame实现非图片按钮效果

    这篇文章主要介绍了pygame实现非图片按钮效果，不使用图片制作，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-10-10
  • Python VTK计算曲面的高斯曲率和平均曲率

    Python VTK计算曲面的高斯曲率和平均曲率

    这篇文章主要介绍了Python VTK计算曲面的高斯曲率和平均曲率，如何使用户Python版本的VTK计算曲面的高斯曲率并映射在曲面上。本例中使用了两个不同的表面，每个表面根据其高斯曲率和平均曲率着色,需要的朋友可以参考一下
    2022-04-04
  • 一篇文章教你用Python实现一个学生管理系统

    一篇文章教你用Python实现一个学生管理系统

    这篇文章主要为大家详细介绍了python实现学生管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-09-09
  • Python深度学习之使用Albumentations对图像做增强

    Python深度学习之使用Albumentations对图像做增强

    诸如RandomCrop和CenterCrop之类的某些增强功能可能会变换图像,使其不包含所有原始边界框. 本示例说明如何使用名为RandomSizedBBoxSafeCrop的变换来裁剪图像的一部分,但保留原始图像的所有边界框,需要的朋友可以参考下
    2021-05-05
  • 详解Python中最常用的10个内置函数

    详解Python中最常用的10个内置函数

    Python作为一种多用途编程语言,拥有丰富的内置函数库,这些函数可以极大地提高开发效率,本文将介绍Python中最常用的10个内置函数,我们将深入了解每个函数,并提供示例代码以帮助您更好地理解它们,需要的朋友可以参考下
    2023-11-11
  • numpy.reshape(-1,1)的具体使用

    numpy.reshape(-1,1)的具体使用

    本文主要介绍了numpy.reshape(-1,1)的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-07-07
  • python Pandas如何对数据集随机抽样

    python Pandas如何对数据集随机抽样

    这篇文章主要介绍了python Pandas如何对数据集随机抽样，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • 利用PyCharm操作Github(仓库新建、更新，代码回滚)

    利用PyCharm操作Github(仓库新建、更新，代码回滚)

    这篇文章主要介绍了利用PyCharm操作Github(仓库新建、更新，代码回滚),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • python调用ffmpeg命令行工具便捷操作视频示例实现过程

    python调用ffmpeg命令行工具便捷操作视频示例实现过程

    现在短视频很流行，有很多视频编辑软件，功能丰富，而我们需要的只是裁剪功能，而且需要用编程的方式调用，那么最合适的莫过于ffmpeg了
    2021-11-11
  • python实现简单颜色识别程序

    python实现简单颜色识别程序

    这篇文章主要为大家详细介绍了python实现简单颜色识别程序，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2020-02-02

最新评论