python爬虫之场内ETF基金获取

 更新时间:2022年05月05日 16:43:39   作者:​ 斜月   ​  
这篇文章主要介绍了python爬虫之场内ETF基金获取,ETF 是一种场内交易型基金,可以在盘中进行交易,交易性比场外基金强一点,下文基于python的相关资料展开,需要的小伙伴可以参考一下

1 前言

之前已经介绍了基金的变动信息,但是这些基金都是属于场外的,今天我们要介绍的是一个带门槛的投资产品-ETF。只有开立证券账户的玩家才能入局,ETF 是一种场内交易型基金,可以在盘中进行交易,交易性比场外基金强一点,那么闲言少叙,马上开始介绍正题。

2 ETF列表和简称

ETF基金变动情况和基本情况的获取方式和场外基金是一样的,怎么获取比较全面的ETF基金列表呢?

# 获取基金信息的列表
http://fund.eastmoney.com/data/fbsfundranking.html

以下是ETF信息列表所展示的信息:

ETF 在场内进行交易时,一般都有一个简称,获取简称的方式比较麻烦一点,需要访问一个页面,然后通过 bs4 去解析元素的方式去获取。

#经过分析,我们可以发现基金代码前缀就代表这其市场,5上海市场 1-深圳市场,以地产ETF和光伏ETF为例
http://quote.eastmoney.com/sz159707.html
http://quote.eastmoney.com/sh515790.html

3 ETF 信息获取

3.1 ETF列表信获取

ETF 列表信息我们通过访问列表发现在访问列表数据时,是请求了一个api接口到了后台,然后返回给前端一个响应报文。 

http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=fb&ft=ct&rs=&gs=0&sc=zzf&st=desc&pi=1&pn=50

看到这里就觉得很开心,不用解析 html 文件了,当通过request使用get 方式获取数据时,发现竟然没有返回无访问权限,我想可能是没有携带cookie的原因,但是我也没有登录呀,可能是请求头需要携带一些页面信息,于是,经过尝试,最终确定了需要携带的信息为:

headers = {
    'Host': 'fund.eastmoney.com',
    'Referer': 'http://fund.eastmoney.com/data/fbsfundranking.html'
}

最终我们获取基金列表的代码应该这样写:

调试后获取到的结果如下图所示:

3.2 获取基金的简称

获取基金的简称相对比较简单,通过分析发现,简称所在的位置在 <span class="quote_title_0 wryh">光伏ETF</span> 中,通过访问页面获取元素即可拿到简称的描述。

具体的代码如下图所示:

4 最终结果展示

经过获取基金列表和获取基金简称两个步骤,我们获取到了最终的结果如下图所示,已经达成了需要获取信息的目的:

后续我们会把基金信息和ETF 信息进行合并存入数据库中,方便后续的数据分析。

到此这篇关于python爬虫之场内ETF基金获取的文章就介绍到这了,更多相关python ETF基金获取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 如何用Python实现自动发送微博

    如何用Python实现自动发送微博

    大家好,本篇文章主要讲的是如何用Python实现自动发送微博,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏
    2022-01-01
  • 一文解决django 2.2与mysql兼容性问题

    一文解决django 2.2与mysql兼容性问题

    Django是一个开放源代码的Web应用框架,由Python写成。采用了MTV的框架模式,即模型M,视图V和模版T。这篇文章主要介绍了解决django 2.2与mysql兼容性问题,需要的朋友可以参考下
    2020-07-07
  • 对Python Class之间函数的调用关系详解

    对Python Class之间函数的调用关系详解

    今天小编就为大家分享一篇对Python Class之间函数的调用关系详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • 详解Python3中的 input() 函数

    详解Python3中的 input() 函数

    这篇文章主要介绍了详解Python3中的 input() 函数的相关知识,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值 ,需要的朋友可以参考下
    2020-03-03
  • python写入中英文字符串到文件的方法

    python写入中英文字符串到文件的方法

    这篇文章主要介绍了python写入中英文字符串到文件的方法,实例分析了Python操作中英文字符串的技巧,非常简单实用,需要的朋友可以参考下
    2015-05-05
  • Python实现 MK检验示例代码

    Python实现 MK检验示例代码

    这篇文章主要介绍了Python实现 MK检验,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-12-12
  • 人脸识别经典算法一 特征脸方法(Eigenface)

    人脸识别经典算法一 特征脸方法(Eigenface)

    这篇文章主要为大家详细介绍了人脸识别经典算法一,特征脸方法Eigenface,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • python3实现简单飞机大战

    python3实现简单飞机大战

    这篇文章主要为大家详细介绍了python3实现简单飞机大战,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-11-11
  • Tensorflow安装问题: Could not find a version that satisfies the requirement tensorflow

    Tensorflow安装问题: Could not find a version that satisfies the

    这篇文章主要介绍了Tensorflow安装问题: Could not find a version that satisfies the requirement tensorflow,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • Django 中间键和上下文处理器的使用

    Django 中间键和上下文处理器的使用

    这篇文章主要介绍了Django 中间键和上下文处理器的使用,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-03-03

最新评论