脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python3 xpath与requests

python3 xpath和requests应用详解

 更新时间：2020年03月06日 13:03:10   作者：jeikerxiao  
这篇文章主要介绍了python3 xpath和requests应用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。

etree使用xpath语法。

import requests
import ssl
from lxml import etree


ssl._create_default_https_context = ssl._create_unverified_context

session = requests.Session()
for id in range(0, 251, 25):
 URL = 'https://movie.douban.com/top250/?start=' + str(id)
 req = session.get(URL)
 # 设置网页编码格式
 req.encoding = 'utf8'
 # 将request.content 转化为 Element
 root = etree.HTML(req.content)
 # 选取 ol/li/div[@class="item"] 不管它们在文档中的位置
 items = root.xpath('//ol/li/div[@class="item"]')
 for item in items:
  # 注意可能只有中文名，没有英文名；可能没有quote简评
  rank, name, alias, rating_num, quote, url = "", "", "", "", "", ""
  try:
   url = item.xpath('./div[@class="pic"]/a/@href')[0]
   rank = item.xpath('./div[@class="pic"]/em/text()')[0]
   title = item.xpath('./div[@class="info"]//a/span[@class="title"]/text()')
   name = title[0].encode('gb2312', 'ignore').decode('gb2312')
   alias = title[1].encode('gb2312', 'ignore').decode('gb2312') if len(title) == 2 else ""
   rating_num = item.xpath('.//div[@class="bd"]//span[@class="rating_num"]/text()')[0]
   quote_tag = item.xpath('.//div[@class="bd"]//span[@class="inq"]')
   if len(quote_tag) is not 0:
    quote = quote_tag[0].text.encode('gb2312', 'ignore').decode('gb2312').replace('\xa0', '')
   # 输出 排名，评分，简介
   print(rank, rating_num, quote)
   # 输出 中文名，英文名
   print(name.encode('gb2312', 'ignore').decode('gb2312'),
     alias.encode('gb2312', 'ignore').decode('gb2312').replace('/', ','))
  except:
   print('faild!')
   pass

程序运行结果：

补充知识：requests抓取以及Xpath解析

代码：

# requests抓取
import requests
 
# 新浪新闻的一篇新闻的url
url = 'http://news.sina.com.cn/s/2018-05-09/doc-ihaichqz1009657.shtml'
 
res = requests.get(url)
# 查看编码方式
enconding = requests.utils.get_encodings_from_content(res.text)
#print(enconding)
 
 
# 打印网页内容
html_doc = res.content.decode("utf-8")
print(html_doc[:500])
 
# 保存网页内容
with open('test.html', 'w') as f:
 f.write(html_doc)

运行结果：

<!DOCTYPE html>
<!-- [ published at 2018-05-09 18:23:13 ] -->
<!-- LLTJ_MT:name ="澎湃新闻" -->
 
<html>
<head>
<meta charset="utf-8"/>
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="sudameta" content="urlpath:s/; allCIDs:51924,257,51895,200856,56264,258,38790">
<title>小学老师罚学生赤脚跑操场 官方：将按规定处理|赤脚|学生|华龙网_新浪新闻</title>
<meta name="keywords" content="赤脚,学生,华龙网" />
<meta name="tags" content="赤脚,学生,华龙网" />
<meta name="description" content="原标题：潼南一小学体育老师罚学生赤脚跑操场续：区教委向华龙网发来情况

代码：

# xpath解析
from lxml import etree
 
# 建立html的树
tree = etree.HTML(html_doc)
 
# 设置目标路径（标题）
path_title = '/html/body//h1[@class="main-title"]//text()'
 
# 提取节点
node_title = tree.xpath(path_title)
print("===" * 20)
print(node_title[0])
 
# 设置内容路径
path_content = '//div[@class="article-content-left"]//div[@id="article"]//text()'
 
# 提取节点
node_content = tree.xpath(path_content)
print("===" * 20)
print("。".join(node_content))

运行结果：

============================================================
小学老师罚学生赤脚跑操场 官方：将按规定处理
============================================================
 
 。　　原标题：潼南一小学体育老师罚学生赤脚跑操场续：区教委向华龙网发来情况说明。
。　　重庆客户端-华龙网5月9日消息，这两天，重庆潼南区朝阳小学二年级6班不少家长心疼不已，因为多个娃儿脚底被磨出了泡。一问才知道，是因为有些学生体育课上没穿运动鞋，被体育老师要求赤脚在操场上跑步。收到重庆网络问政平台这一投诉后，华龙网记者立即进行了调查。今（9）日，华龙网发布了。《重庆潼南一小学体育老师罚学生赤脚跑操场脚底磨出泡当地教委介入》。报道后，潼南教委高度重视并给华龙网传来官方的情况说明。。
。　。　[说明全文]。
。　　关于家长在华龙网投诉教师上体育课体罚学生的情况说明。
。　　潼南区朝阳小学体育教师邹老师于2018年5月7日上午上体育课时，发现该班有少部分名学生未按体育课的要求穿运动鞋。该教师认为，穿着凉鞋跑步对学生本人及他人存在安全隐患，塑胶跑道不会对学生光脚运动造成影响，于是就叫未穿运动鞋的学生，脱掉凉鞋进行随班热身跑步。当时邹老师未发现学生有异常情况，也未接到学生有异常情况的反映。后经家长反映到学校，有极少数光着脚跑步的学生有异常情况，学校庚即与部分家长进行了沟通，并及时调查了解了此事，并对该教师这种不恰当教学方法进行了批评教育，我们将按相关规定对该教师作出相应的处理。。
。　　重庆市潼南区教育委员会。
。　　2018年5月9日。
。  来源：华龙网。
 
。责任编辑：张义凌 。

以上这篇python3 xpath和requests应用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • python非标准时间的转换

    python非标准时间的转换

    本文主要介绍了python非标准时间的转换，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-07-07
  • Python实现随机生成图片验证码详解

    Python实现随机生成图片验证码详解

    这篇文章主要介绍了如何利用Python生成随机的图片验证码 并打印验证码的值，文中的示例代码简洁易懂，感兴趣的小伙伴可以跟随小编一起试试
    2022-01-01
  • Python 文件操作技巧(File operation) 实例代码分析

    Python 文件操作技巧(File operation) 实例代码分析

    python遍历文件夹和文件 perl分割路径和文件名
    2008-08-08
  • pytest参数化:@pytest.mark.parametrize详解

    pytest参数化:@pytest.mark.parametrize详解

    pytest.mark.parametrize装饰器能够对测试函数进行参数化处理,使得一个测试函数可以用多组数据执行多次,这有助于检查不同输入下的期望输出是否匹配,提高测试的效率和覆盖率,装饰器可以应用于函数、模块或类,支持多个装饰器组合使用,增强测试的灵活性和综合性
    2024-10-10
  • python快速建立超简单的web服务器的实现方法

    python快速建立超简单的web服务器的实现方法

    某些条件测试，需要一个简单的web服务器测试一下，为此专门去配置个nginx 或者 apache服务器略显麻烦,这里就为大家介绍一下使用python快速建立超简单的web服务器的方法,需要的朋友可以参考下
    2018-02-02
  • python爬虫项目设置一个中断重连的程序的实现

    python爬虫项目设置一个中断重连的程序的实现

    这篇文章主要介绍了python爬虫项目设置一个中断重连的程序的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • keras 权重保存和权重载入方式

    keras 权重保存和权重载入方式

    这篇文章主要介绍了keras 权重保存和权重载入方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • python正则表达式match和search用法实例

    python正则表达式match和search用法实例

    这篇文章主要介绍了python正则表达式match和search用法,实例分析了正则表达式中match和search的功能、定义及相关使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-03-03
  • pytorch loss反向传播出错的解决方案

    pytorch loss反向传播出错的解决方案

    这篇文章主要介绍了pytorch loss反向传播出错的解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-05-05
  • Python pip安装模块提示错误解决方案

    Python pip安装模块提示错误解决方案

    这篇文章主要介绍了Python pip安装模块提示错误解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05

最新评论