python数据解析BeautifulSoup爬取三国演义章节示例

更新时间：2021年09月29日 15:04:40 作者：小缘喵~

这篇文章主要介绍了python数据解析BeautifulSoup爬取三国演义章节示例，文中附含详细示例代码，有需要的朋友可以借鉴参考下，希望能够有所帮助

数据解析

数据解析就是将爬取到的整个页面中的局部的内容进行提取。python中常用的数据解析方式有以下三种：

bs4（python中独有的）
xpath（推荐，通用型强）
正则

数据解析原理概述：

首先我们知道需要解析（提取）的内容都会在标签之间或者标签对应的属性中进行存储

所以我们需进行指定标签的定位

然后将标签或者标签对应的属性中存储的数据值进行提取（解析）

Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。其只能运用在python语言中

bs4数据解析原理

实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中。而将页面源码数据加载到该对象中有两种方式，一种是将本地得html文档加载，另一种是将互联网上获取的页面源码加载通过

调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

要使用bs4首先需要先下载对应的包

pip install bs4

pip install -i https://mirrors.aliyun.com/pypi/simple/ lxml

Beautiful Soup用法

提取整个标签数据

进行标签定位常用的几个方法如下

soup.标签名返回的是html中第一次出现的标签

soup.find(标签名) 返回第一次出现的这个标签

soup.find_all(标签名)) 返回符合要求的所有标签

soup.select(标签名) 返回符合要求的所有标签

from bs4 import BeautifulSoup    #导包
html = """
<html lang="en">
    <head>
      <meta charset="utf-8">
      <meta name="theme-color" content="#ffffff">
      <base href="./" rel="external nofollow" ><link rel="stylesheet" href="styles.30d0912c1ece284d8d9a.css" rel="external nofollow" >
    </head>
    <body>
        <div>
            <p>百里守约</p>
        </div>
        <div class="song">
            <p>前程似锦</p>
        </div>
        <div class="song">
            <p>前程似锦2</p>
        </div>
        <div class="ming">  #后面改了名字
            <p>以梦为马</p>
        </div>  
        <div class="tang">
            <ul>
                <li><a href='http://123.com' title='qing'>清明时节</a></li>
                <li><a href='http://ws.com' title='qing'>秦时明月</a></li>
                <li><a href='http://xzc.com' title='qing'>汉时关</a></li>
            </ul>
        </div>
      <flink-root></flink-root>
        <script type="text/javascript" src="runtime.0dcf16aad31edd73d8e8.js"></script><script type="text/javascript" src="es2015-polyfills.923637a8e6d276e6f6df.js" nomodule></script><script type="text/javascript" src="polyfills.bb2456cce5322b484b77.js"></script><script type="text/javascript" src="main.8128365baee3dc30e607.js"></script>
    </body>
</html>
"""
#实例化一个BeautifulSoup对象，并且将本地的源码数据加载到该对象中。且使用html.parser进行数据解析
soup = BeautifulSoup(html,'html.parser')
print(soup.meta)      #输出<meta charset="utf-8">
print(soup.p)         #输出<p>百里守约</p>
 
#find
print(soup.find('div'))  #输出<div><p>百里守约</p></div>
#这里有多个div标签，根据属性定位，因为class为关键字，所以这里加_
print(soup.find('div',class_="song"))   #<p>前程似锦</p>
 
#find_all
print(soup.find_all('p'))  #[<p>百里守约</p>, <p>前程似锦</p>, <p>前程似锦2</p>, <p>以梦为马</p>]
print(soup.select('.tang'))  #将这个选择器中的所有内容提取
print(soup.select('.tang > ul > li > a')[1])  #返回ul中的li中的所有a标签中的第二个a标签 <a href="http://ws.com" rel="external nofollow"  title="qing">秦时明月</a>

提取标签中的内容和标签的属性值

#获取标签中的内容
print(soup.p.text)      #输出百里守约
print(soup.find('div',class_="ming").text)  #以梦为马
print(soup.find('div',class_="song"))
print(soup.select('.tang   a')[0].text)   #清明时节
 
#获取标签中的属性值，如a标签中的href值
print(soup.select('.tang   a')[0]['href'])  #http://123.com

案例—爬取三国演义章节及对应的内容

网站如下，网站数据的获取不是通过ajax发送的请求

import requests
from bs4 import BeautifulSoup
url = 'https://so.gushiwen.org/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx'
headers={
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'
}
pag_content = requests.get(url,headers,timeout=4).text
#print(pag_content)
#提取每章节内容的链接
soup = BeautifulSoup(pag_content,'html.parser')
a_text = soup.select('.bookcont a')     #将其下面的所有a标签提取出来 
for i in a_text:
    #获取a标签中的href属性的值
    detail_url = i['href']
    #请求详细内容的url的内容
    detail_content = requests.get(detail_url,headers,timeout=4).text
    soup = BeautifulSoup(detail_content,'html.parser')
    #提取class标签
    class_content = soup.find('div',class_='contson')
    #print(class_content)  #该标签中有很多p标签，返回整个class_content标签
    #print(class_content.text)   #获取其所有的内容
    with open('三国演义.txt','a',encoding='utf-8') as f:
        f.write(i.text+'\r')
        f.write(class_content.text+'\r')
    print(f'爬取{i.text}ok')
print('全部ok')

以上就是python数据解析BeautifulSoup爬取三国演义章节示例的详细内容，更多关于BeautifulSoup爬取三国演义章节的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

树莓派上利用python+opencv+dlib实现嘴唇检测的实现
本文主要介绍了树莓派上利用python+opencv+dlib实现嘴唇检测的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-10-10
教你用python实现一个加密的文字处理器
生活中有时候我们需要对一些重要的文件进行加密,下面这篇文章主要给大家介绍了关于如何用python实现一个加密文字处理器的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-06-06
Pytorch中的数据转换Transforms与DataLoader方式
这篇文章主要介绍了Pytorch中的数据转换Transforms与DataLoader方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-02-02
Django利用elasticsearch(搜索引擎)实现搜索功能
这篇文章主要介绍了Django利用elasticsearch(搜索引擎)实现搜索功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
Python Selenium无法打开Chrome浏览器处理自定义浏览器路径的问题及解决方法
Python Selenium控制Chrome浏览器的过程中,由于安装的Chrome浏览器的版本找不到对应版本的驱动chromedriver.exe文件,下载了小几个版本号的驱动软件都无法正常使用,下面通过本文介绍Python Selenium无法打开Chrome浏览器处理自定义浏览器路径的问题,需要的朋友可以参考下
2024-08-08
一文解密Python函数的实现原理
函数是任何一门编程语言都具备的基本元素，它可以将多个要执行的操作组合起来，一个函数代表了一系列的操作。那就来看看Python函数的实现原理吧
2023-03-03
Python Flask基础教程示例代码
这篇文章主要介绍了Python Flask基础教程示例代码，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下
2018-02-02
jupyter notebook 增加kernel教程
这篇文章主要介绍了jupyter notebook 增加kernel教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
python使用Streamlit库制作Web可视化页面
一谈到Web页面，可能大家首先想到就是HTML，CSS或JavaScript。本次小F就给大家介绍一下如何用Python制作一个数据可视化网页，使用到的是Streamlit库。轻松的将一个Excel数据文件转换为一个Web页面，提供给所有人在线查看。
2021-05-05
Python获取时光网电影数据的实例代码
这篇文章主要介绍了Python获取时光网电影数据,基本原理是先通过requests库，通过时光网自带的电影数据API接口，获取到指定的电影数据，本文结合示例代码给大家介绍的非常详细，需要的朋友可以参考下
2022-09-09