python挖掘蛋卷基金投资组合数据分析

更新时间：2022年05月18日 17:02:16 作者：concyclics

这篇文章主要为大家介绍了python挖掘蛋卷基金投资组合数据分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

目录

一、网页分析

1、打开网页
2、查看json

二、数据获取

1、观察json的结构

三、代码实现

1、基本操作
2、写一个可以重复使用的函数
3、完整代码

一、网页分析

1、打开网页

我们随意打开一个蛋卷基金上投资组合的网页，例如：

链接: https://danjuanapp.com/strategy/CSI1033

这里以Microsoft Edge浏览器为例。

点击下载查看详图

2、查看json

选择“XHR”，发现有一个以基金编号命名的文件，单击它，查看请求标头。

点击下载查看详图

GET /djapi/plan/CSI1033 HTTP/1.1
Host: danjuanapp.com
Connection: keep-alive
sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="90", "Microsoft Edge";v="90"
Accept: application/json, text/plain, */*
sec-ch-ua-mobile: ?0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62
elastic-apm-traceparent: 00-25105e3e8908ba33898b0f6cd57b8a73-c782a0e5122abe33-01
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Sec-Fetch-Dest: empty
Referer: https://danjuanapp.com/strategy/CSI1033
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
Cookie: device_id=web_Skhu79T_v; acw_tc=2760774a16215745204941604e9286878fd10c566d03eedbbb0eb93c40e0f5; channel=undefined; xq_a_token=ccd9918c5b2c091c2d0dacb2e264963ba5fb7539; Hm_lvt_b53ede02df3afea0608038748f4c9f36=1621307606,1621428116,1621514481,1621574521; Hm_lpvt_b53ede02df3afea0608038748f4c9f36=1621574634; timestamp=1621574634698

发现好像没什么特别的，说不定没有反爬的机制，不如试着直接点开这个链接。

点击下载查看详图

原来这里面存的就是基金基本信息的json！
我们观察这个地址：

https://danjuanapp.com/djapi/plan/CSI1033

发现只要更改最后的编号，就可以获得各个基金的基本信息。

二、数据获取

1、观察json的结构

我们观察一下这个json的结构，这里只截取部分片段。

{
	"data": {
		"plan_code": "CSI1033",
		"plan_name": "螺丝钉主动优选组合",
		"yield": "65.93",
		"yield_name": "成立以来收益",
		"yield_middle": "48.03",
		"yield_name_middle": "成立以来年化",
……
		"found_date": "2020-02-03",
		"manager_xq_id": "3079173340",
		"manager_name": "银行螺丝钉",
		"manager_profile_photo": "https://danjuan.aiganggu.com/o2020021580801637267.png",
		"invest_time_type": 2,
		"invest_time_name": "持有3年以上",
		"invest_money_type": 4,
		"invest_money_name": "积极增值",
		"found_days": 473,
		"min_buy_amount": "200",
		"plan_derived": {
			"end_date": "2021-05-20",
			"nav_grtd": "-0.03",
			"nav_grl1w": "2.38",
……
			"unit_nav": "1.6593",
			"yield_history": [{
				"yield": "-12.02",
				"name": "近3个月"
			}, {
				"yield": "7.40",
				"name": "近6个月"
			}, {
				"yield": "42.25",
……

我们发现，所有数据都存在 “data” 下， “data” 里有基金的基本信息，当日净值存在 “plan_derived” 下的 “unit_nav” 里，那么我们只要按照这个顺序从中获取数据即可。

三、代码实现

1、基本操作

a. 需要使用的模块

用requests获取页面，用json库将json文件转化为字典。

import requests
import json

b. 随便设置一个请求标头

header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

c. 获取页面信息

这里的code为基金的代码，用requests获取页面以后读出具体的文本内容，存到page里。

code='CSI1033'
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text

我们把page输出出来检查一下，发现我们想要的都在里面。

点击下载查看详图

d. 导入json

因为所有数据都在data里，所以我们直接进入data内即可。

items=json.loads(page)
items=items.get("data")

e. 从json中获取需要的信息

基金的名字

name=items.get('plan_name')

基金的当日净值以及净值的记录日期
这些数据在“plan_derived”内。

value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")

2、写一个可以重复使用的函数

我们以code作为传入的参数，把刚才的内容组合起来。

def getfund(code):
    url='https://danjuanapp.com/djapi/plan/'+code
    page=requests.get(url,headers=header).text
    items=json.loads(page)
    items=items.get("data")
    value=items.get('plan_derived').get("unit_nav")
    date=items.get('plan_derived').get("end_date")
    name=items.get('plan_name')
    print("基金编号:",code,'\n基金名:',name,"\n日期:",date,"净值:",value)

3、完整代码

#by concyclics
import requests
import json
header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
danjuan=['CSI1033','CSI1032','CSI1038','CSI1029','CSI1006','CSI1065']
danjuan.sort()
#获取当天信息
def getfund(code):
    url='https://danjuanapp.com/djapi/plan/'+code
    page=requests.get(url,headers=header).text
    items=json.loads(page)
    items=items.get("data")
    value=items.get('plan_derived').get("unit_nav")
    date=items.get('plan_derived').get("end_date")
    name=items.get('plan_name')
    print("基金编号:",code,'\n基金名:',name,"\n日期:",date,"净值:",value)
if __name__=='__main__':
    for code in danjuan:
        getfund(code)

这样，我们的功能就基本实现了，更多关于python挖掘蛋卷基金投资数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

Django集成MongoDB实现过程解析
这篇文章主要介绍了Django集成MongoDB实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-12-12
Python实现城市公交网络分析与可视化
这篇文章主要介绍了通过Python爬取城市公交站点、线路及其经纬度数据，并做可视化数据分析。文中的示例代码讲解详细，感兴趣的可以学习一下
2021-12-12
Python3列表删除的三种方式实现
本文主要介绍了Python3列表删除的三种方式实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-08-08
PyCharm使用技巧之设置背景图片方式
这篇文章主要介绍了PyCharm使用技巧之设置背景图片方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-07-07
Python常见报错解决方案总结(新手拯救指南)
我们再使用python难免会出现各种各样的报错,下面这篇文章主要给大家介绍了关于Python常见报错解决方案的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
2022-05-05
Python机器视觉之基于OpenCV的手势检测
这篇文章主要为大家介绍了一个机器视觉项目：基于OpenCV的手势检测，文中的示例代码讲解详细，对我们学习Python和OpenCV有一定的帮助，感兴趣的可以跟随小编学习一下
2021-12-12
11个Python3字典内置方法大全与示例汇总
这篇文章主要给大家介绍了11个Python3字典内置方法大全与示例的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-05-05
Python 最强编辑器详细使用指南(PyCharm )
这篇文章主要介绍了Python 最强编辑器详细使用指南(PyCharm)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-09-09
python算法学习双曲嵌入论文方法与代码解析说明
这篇文章主要为大家介绍了python算法学习双曲嵌入论文方法与代码的实现解析说明，有需要的朋友可以借鉴参考下，希望能够有所帮助
2021-11-11
Python第三方库jieba库与中文分词全面详解
jieba库是一款优秀的Python第三方中文分词库,jieba支持三种分词模式:精确模式、全模式和搜索引擎模式,下面这篇文章主要给大家介绍了关于Python第三方库jieba库与中文分词的相关资料,需要的朋友可以参考下
2022-07-07

最新评论