Python爬虫包BeautifulSoup异常处理(二)

 更新时间:2018年06月17日 09:41:06   作者:SuPhoebe  
这篇文章主要为大家详细介绍了Python爬虫包BeautifulSoup的异常处理,具有一定的参考价值,感兴趣的朋友可以参考一下

面对网络不稳定,页面更新等问题,很可能出现程序异常的问题,所以我们要对程序进行一些异常处理。大家可能觉得处理异常是一个比较麻烦的活,但在面对复杂网页和任务的时候,无疑成为一个很好的代码习惯。

网页‘404'、‘500'等问题

try:
    html = urlopen('http://www.pmcaff.com/2221')
  except HTTPError as e:
    print(e)

返回的是空网页

if html is None:
    print('没有找到网页')

目标标签在网页中缺失

try:
    #不存在的标签
    content = bsObj.nonExistingTag.anotherTag 
  except AttributeError as e:
    print('没有找到你想要的标签')
  else:
    if content == None:
      print('没有找到你想要的标签')
    else:
      print(content)

实例

if sys.version_info[0] == 2:
  from urllib2 import urlopen # Python 2
  from urllib2 import HTTPError
else:
  from urllib.request import urlopen # Python3
  from urllib.error import HTTPError
from bs4 import BeautifulSoup
import sys


def getTitle(url):
  try:
    html = urlopen(url)
  except HTTPError as e:
    print(e)
    return None
  try:
    bsObj = BeautifulSoup(html.read())
    title = bsObj.body.h1
  except AttributeError as e:
    return None
  return title

title = getTitle("http://www.pythonscraping.com/exercises/exercise1.html")
if title == None:
  print("Title could not be found")
else:
  print(title)

以上全部为本篇文章的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • python字符串过滤性能比较5种方法

    python字符串过滤性能比较5种方法

    这篇文章主要介绍了python字符串过滤性能比较5种方法的相关资料,需要的朋友可以参考下
    2017-06-06
  • pytorch判断是否cuda 判断变量类型方式

    pytorch判断是否cuda 判断变量类型方式

    这篇文章主要介绍了pytorch判断是否cuda 判断变量类型方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python3.x和Python2.x的区别介绍

    Python3.x和Python2.x的区别介绍

    python3.x与python2.x区别很大,这里搜索了一些相关内容,记录在此,供自己学习参考,有需要的朋友不妨看看
    2013-02-02
  • python灰色预测法的具体使用

    python灰色预测法的具体使用

    灰色系统理论认为对既含有已知信息又含有未知或非确定信息的系统进行预测,本文就介绍了python灰色预测法的具体使用,具有一定的参考价值,感兴趣的可以了解一下
    2022-03-03
  • Django学习之路之请求与响应

    Django学习之路之请求与响应

    这篇文章主要为大家详细介绍了Django的请求与响应,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-02-02
  • 通过Python pyecharts输出保存图片代码实例

    通过Python pyecharts输出保存图片代码实例

    这篇文章主要介绍了通过Python pyecharts输出保存图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-11-11
  • python提取word文件中的所有图片

    python提取word文件中的所有图片

    办公中,偶尔会碰到一种情况,需要提取word文档中的图片,决定写这样一款工具自动提取图片,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-05-05
  • python tkinter窗口最大化的实现

    python tkinter窗口最大化的实现

    这篇文章主要介绍了python tkinter窗口最大化的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • 详解如何使用Python操作MySQL的各种功能和用法

    详解如何使用Python操作MySQL的各种功能和用法

    当今互联网时代,数据处理已经成为了一个非常重要的任务,而MySQL作为一款开源的关系型数据库,被广泛应用于各种场景,本篇博客将介绍如何使用Python操作MySQL的各种功能,以及一些高级用法,需要的朋友可以参考下
    2023-11-11
  • Python 从相对路径下import的方法

    Python 从相对路径下import的方法

    今天小编就为大家分享一篇Python 从相对路径下import的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12

最新评论