解决Python selenium get页面很慢时的问题

 更新时间:2019年01月30日 10:40:23   作者:支持中文丶英文丶数字丨  
今天小编就为大家分享一篇解决Python selenium get页面很慢时的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

driver.get("url")等到页面全部加载渲染完成后才会执行后续的脚本。

在执行脚本时,driver.get("url") ,如果当前的url页面内容较多加载特别慢,很费时间,但是我们需要操作的元素已经加载出来,可以将页面加载停掉,不影响后面的脚本执行,解决办法

设置页面加载timeout,get操作: try get except 脚本window.stop(), 使用GeckoDriver上有效果,

但是在ChromeDriver上还是会有问题,抛出异常timeout后续脚本不会继续执行

GeckoDriver执行具体如下:

访问百度贴吧某个获取其帖子总页数:

可以通过两种方式获取,简单的就是直接定位元素共11页

代码用定位尾页获取总页数

Python selenium get页面很慢时

from selenium import webdriver
import re
 
driver = webdriver.Firefox()
#设定页面加载timeout时长,需要的元素能加载出来就行
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
#try去get
try:
  driver.get("http://tieba.baidu.com/p/5659969529?red_tag=w0852861182")
except:
  print("加载页面太慢,停止加载,继续下一步操作")
  driver.execute_script("window.stop()")
last_page_element = driver.find_element_by_css_selector("li.l_pager.pager_theme_4.pb_list_pager >a:nth-child(12)") #定位到元素尾页元素
#获取尾页页码链接文本
text = last_page_element.get_attribute("href")
all_page_num = re.search("\d+$",text).group() # 正则匹配到页码
print("当前贴吧贴子总页数为:%s"%all_page_num)

以上这篇解决Python selenium get页面很慢时的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • pyecharts实现数据可视化

    pyecharts实现数据可视化

    这篇文章主要介绍了pyecharts实现数据可视化,pyecharts 是百度开源的,适用于数据可视化的工具,配置灵活,展示图表相对美观,顺滑,下面更多详细内容,需要的小伙伴可以参考一下
    2022-03-03
  • 详细介绍Python的鸭子类型

    详细介绍Python的鸭子类型

    相信python的开发者对于python的鸭子类型比较熟悉,鸭子类型在维基百科中的准确定义是‘是动态类型的一种风格。在这种风格中,一个对象有效的语义,不是由继承自特定的类或实现特定的接口,而是由"当前方法和属性的集合"决定’。所以这篇文章给大家python的鸭子类型。
    2016-09-09
  • pandas如何将DataFrame 转为txt文本去除引号

    pandas如何将DataFrame 转为txt文本去除引号

    这篇文章主要介绍了pandas如何将DataFrame 转为txt文本去除引号,文中补充介绍了DataFrame导CSV txt || 每行有双引号的原因及解决办法,感兴趣的朋友跟随小编一起看看吧
    2024-01-01
  • Python入门篇之文件

    Python入门篇之文件

    文件是我们储存信息的地方,我们经常要对文件进行读、写、删除等的操作,在Python中,我们可用Python提供的函数和方法方便地操作文件。文件可以通过调用open或file来打开,open通常比file更通用,因为file几乎都是为面向对象程序设计量身打造
    2014-10-10
  • 一篇文章告诉你如何用python进行自动化测试,调用c程序

    一篇文章告诉你如何用python进行自动化测试,调用c程序

    这篇文章主要介绍了Python实现性能自动化测试调用c程序的方法,本文图文并茂通过实例代码相结合的形式给大家介绍的非常详细,具有一定的参考借鉴价值 ,需要的朋友可以参考下
    2021-08-08
  • python实现对excel中需要的数据的单元格填充颜色

    python实现对excel中需要的数据的单元格填充颜色

    这篇文章主要介绍了python实现对excel中需要的数据的单元格填充颜色,文章围绕主题展开详细单元格填充介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-06-06
  • Python应用开发频繁假死的问题分析及解决

    Python应用开发频繁假死的问题分析及解决

    最近在开发一款自动化的应用,但是,在测试时,却发现了问题,当我点击暂停任务后,此时子线程被阻塞,如果我这个时候点击停止,那么就会任务结束,之后,如果我再点击开始运行,整个应用就会卡死,所以本文介绍了Python应用开发频繁假死的问题分析及解决,需要的朋友可以参考下
    2024-08-08
  • python提取内容关键词的方法

    python提取内容关键词的方法

    这篇文章主要介绍了python提取内容关键词的方法,适用于英文关键词的提取,非常具有实用价值,需要的朋友可以参考下
    2015-03-03
  • pygame游戏之旅 如何制作游戏障碍

    pygame游戏之旅 如何制作游戏障碍

    这篇文章主要为大家详细介绍了pygame游戏之旅的第6篇,教大家如何制作游戏障碍,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • 用python画圣诞树三种代码示例介绍

    用python画圣诞树三种代码示例介绍

    大家好,本篇文章主要讲的是用python画圣诞树三种代码示例介绍,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下,方便下次浏览
    2021-12-12

最新评论