脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → 爬取各省降水量

python爬取各省降水量及可视化详解

 更新时间：2021年04月16日 15:07:20   作者：天Ye浪Sir  
本文是学习python,故选取了python最常用的爬虫作为实操训练同时，还添加了可视化和GUI入门的内容使爬取的内容应用更丰富,需要的朋友可以参考下

在具体数据的选取上，我爬取的是各省份降水量实时数据

话不多说，开始实操

正文 

1.爬取数据

  • 使用python爬虫，爬取中国天气网各省份24时整点气象数据
  • 由于降水量为动态数据，以js形式进行存储，故采用selenium方法经xpath爬取数据—ps：在进行数据爬取时，最初使用的方法是漂亮汤法（beautifulsoup）法，但当输出爬取的内容（<class = split>时，却空空如也。在源代码界面Ctrl+Shift+F搜索后也无法找到降水量，后查询得知此为动态数据，无法用该方法进行爬取
  • 使用循环和分类的方式爬取省份不同、网址相似的降水量数据，顺带记录数据对应的城市

f—string:

url_a= f'http://www.weather.com.cn/weather1dn/101{a}0101.shtml'

f-string 用大括号 {} 表示被替换字段，其中直接填入替换内容

将城市和降水量相对应后存入字典再打印

代码：

from lxml import etree
from selenium import webdriver
import re
city = [''for n in range(34)]   #存放城市列表
rain = [''for n in range(34)]   #存放有关降雨量信息的数值
rain_item = []
driver = webdriver.Chrome(executable_path='chromedriver')   #使用chrome浏览器打开
for a in range(1,5):      #直辖市数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0100.shtml'  #网址
    driver.get(url_a)    #打开网址
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(5,10):      #一位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text     #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(10,35):      #二位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/101{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
d = dict(zip(city,rain))  #将城市和降水量的列表合成为字典
for k,v in d.items():  #str转float类型
    rain_item.append(float(v))
print(d)

在对爬取的内容进行处理时，可能会因为数据的类型而报错，如爬下来的数据为str类型，而排序需要数字类型，故需要进行float类型转化

使用该爬取方法，是模拟用户打开网页，并且会在电脑上进行显示。在爬取实验进行中途，中国天气网进行了网址更新，原网址出现了部分城市数据无法显示的问题，但当刷新界面后，数据可正常显示，此时可采用模拟鼠标点击刷新的方法避免错误。由于后续找到了新网址，故将这一方法省去。

2.数据可视化

  • 用Matplotlib库函数绘制曲线，并输出最大值及相应城市、最小值及相应城市、平均值和中位值
  • 数据的确定：medium分奇偶计算中位值所处排序后数据的位置（中位值）；用sum求和后除于数据个数（平均值）；max和min函数找到最值再由数值经循环找到对应的城市列表
  • 绘图：使用plt函数绘制图像，并注明横纵坐标、所需注释
  • 文本处理：在进行注释时，plt函数所要求的格式为str类型，故需要进行类型转换，同时添加适当文字说明

代码：

#-*- codeing = utf-8 -*-
import matplotlib.pyplot as plt
from lxml import etree
from selenium import webdriver
import re
import matplotlib
matplotlib.rc("font",family='YouYuan')
city = [''for n in range(34)]   #存放城市列表
rain = [''for n in range(34)]   #存放有关降雨量信息的数值
driver = webdriver.Chrome(executable_path='chromedriver')   #使用chrome浏览器打开
for a in range(1,5):      #直辖市数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0100.shtml'  #网址
    driver.get(url_a)    #打开网址
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(5,10):      #非直辖一位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(10,35):      #非直辖二位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/101{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
if len(rain)%2 == 0:        #寻找中值
    medium = int(len(rain)/2)
else:
    medium = int(len(rain)/2)+1
medium_text = "中位值：" + rain[medium]
d = dict(zip(city,rain))  #将城市和降水量的列表合成为字典
rain_item = []
city_min = []
city_max = []
for k,v in d.items():
    rain_item.append(float(v))
average_rain = sum(rain_item)/len(rain_item)
average_text = "平均值："+ str(average_rain)
max_rain = max(rain_item)  #最大值
min_rain = min(rain_item)  #最小值
for k,v in d.items():
    if float(v) == min_rain:
        city_min.append(k)
min_text = "降雨量最小的城市："+str(city_min)+" 最小值："+str(min_rain)
for k,v in d.items():
    if float(v) ==max_rain:
        city_max.append(k)
max_text = "降雨量最大的城市："+str(city_max)+" 最大值："+str(max_rain)
plt.bar(range(len(d)), rain_item, align='center')
plt.xticks(range(len(d)), list(d.keys()))
plt.xlabel('城市',fontsize=20)
plt.ylabel('降水量',fontsize=20)
plt.text(0,12,average_text,fontsize=6)
plt.text(0,13,medium_text,fontsize=6)
plt.text(0,14,max_text,fontsize=6)
plt.text(0,15,min_text,fontsize=6)
plt.show()

2.运行界面

在这里插入图片描述

3.互动界面

使用tkinter库进行GUI的构建使用button函数实现交互，调用编写的get函数获取对用户输入的内容进行获取并使用循环进行遍历处理，若城市输入正确，则在界面上输出当地的降水量代码：

#-*- codeing = utf-8 -*-
from lxml import etree
from selenium import webdriver
import re
import matplotlib
matplotlib.rc("font",family='YouYuan')
from tkinter import *
import tkinter as tk
city = [''for n in range(34)]   #存放城市列表
rain = [''for n in range(34)]   #存放有关降雨量信息的数值
driver = webdriver.Chrome(executable_path='chromedriver')   #使用chrome浏览器打开
for a in range(1,5):      #直辖市数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0100.shtml'  #网址
    driver.get(url_a)    #打开网址
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(5,10):      #非直辖一位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/1010{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
for a in range(10,35):      #非直辖二位数字网址数据
    url_a= f'http://www.weather.com.cn/weather1dn/101{a}0101.shtml'
    driver.get(url_a)
    rain_list = []
    city_list = []
    resp_text = driver.page_source
    page_html = etree.HTML(resp_text)
    city_list = page_html.xpath('/html/body/div[4]/div[2]/a')[0]    #通过xpath爬取城市名称
    rain_list = page_html.xpath('//*[@id="weatherChart"]/div[2]/p[5]')[0]   #通过xpath爬取降雨量数据
    city[a-1] = city_list.text  #存入城市列表
    rain[a-1] = re.findall(r"\d+\.?\d*",rain_list.text)[0] #存入数值
d = dict(zip(city,rain))  #将城市和降水量的列表合成为字典
root=tk.Tk()
root.title('降水量查询')
root.geometry('500x200')
def get():
    values = entry.get()
    for k,v in d.items():
        if k == values:
            label = Label(root, text= v+'mm')
            label.pack()
frame = Frame(root)
frame.pack()
u1 = tk.StringVar()
entry = tk.Entry(frame, width=20, textvariable=u1,  relief="sunken")
entry.pack(side="left")
frame1 = Frame(root)
frame1.pack()
btn1=Button(frame1, text="查询", width=20, height=1, relief=GROOVE, command=lambda :get())
btn1.pack(side="left")
root.mainloop()

4.运行界面

在这里插入图片描述 

写在最后

在爬取天气的过程中，仅发现中国天气网有各省份降水量的数据，可见我国在数据开源方面还有很长的路要走

到此这篇关于python爬取各省降水量及可视化详解的文章就介绍到这了,更多相关python爬取请搜索脚本之家以前的文章或继续浏览下面的相关文章,希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 利用Python实现最小二乘法与梯度下降算法

    利用Python实现最小二乘法与梯度下降算法

    这篇文章主要介绍了利用Python实现最小二乘法与梯度下降算法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • PyQtGraph在pyqt中的应用及安装过程

    PyQtGraph在pyqt中的应用及安装过程

    这篇文章主要介绍了PyQtGraph在pyqt中的应用，文中给大家介绍了pyqtgraph的主要用途及PyQtGraph的安装过程,需要的朋友可以参考下
    2019-08-08
  • 如何用Python做一个微信机器人自动拉群

    如何用Python做一个微信机器人自动拉群

    这篇文章主要介绍了如何用Python做一个微信机器人自动拉群，微当群人数达到100人后，用户无法再通过扫描群二维码加入，只能让用户先添加群内联系人微信，再由联系人把用户拉进来。这样，联系人员的私人微信会添加大量陌生人，给其带来不必要的打扰,需要的朋友可以参考下
    2019-07-07
  • 详解python的内存分配机制

    详解python的内存分配机制

    Python的内存分配机制是小白们最需要理解的概念之一。创建对象（变量、函数、对象等）后，CPython会在内存中为其分配地址。Python有一个id（）函数，它可以返回对象的“身份”，也就是内存地址。它实际上是一个唯一的整数。
    2021-05-05
  • Pycharm快速安装OpenCV的详细操作步骤

    Pycharm快速安装OpenCV的详细操作步骤

    Pycharm中使用OpenCV，其实也就是用Python语言调用OpenCV,下面这篇文章主要给大家介绍了关于Pycharm快速安装OpenCV的详细操作步骤,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2022-07-07
  • 使用pandas实现筛选出指定列值所对应的行

    使用pandas实现筛选出指定列值所对应的行

    这篇文章主要介绍了使用pandas实现筛选出指定列值所对应的行，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • Django框架之路由用法

    Django框架之路由用法

    这篇文章介绍了Django框架之路由的用法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-06-06
  • Python实例一个类背后发生了什么

    Python实例一个类背后发生了什么

    Python实例一个类背后发生了什么，本文为大家一一列出，感兴趣的朋友可以参考一下
    2016-02-02
  • Python 列表的基本操作介绍

    Python 列表的基本操作介绍

    这篇文章主要介绍了Python 列表的基本操作，下面文章围绕Python 列表的相关资料展开文章的详细内容，,需要的朋友可以参考一下，希望对大家有所帮助
    2021-11-11
  • Python实现从多表格中随机抽取数据

    Python实现从多表格中随机抽取数据

    这篇文章主要介绍了如何基于Python语言实现随机从大量的Excel表格文件中选取一部分数据，并将全部文件中随机获取的数据合并为一个新的Excel表格文件的方法，希望对大家有所帮助
    2023-05-05

最新评论