Python如何提取html中文本到txt

更新时间：2023年01月03日 14:14:17 作者：彳亍261

这篇文章主要介绍了Python如何提取html中文本到txt问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

Python提取html中文本到txt

正则去标签方式

# -*- coding: utf-8 -*-
import re

def html_tag_rm(content: str):
	dr = re.compile(r'<[^>]+>',re.S)
	return dr.sub('',content)

nltk

比较笨重

需要安装依赖 nltk, numpy, pyyaml

# -*- coding: utf-8 -*-
import nltk


def html_tag_rm(content: str):
	return nltk.clean_html(content)

htmlParser

import re
from sys import stderr 
from traceback import print_exc
from HTMLParser import HTMLParser

 
class _DeHTMLParser(HTMLParser): 
    def __init__(self): 
        HTMLParser.__init__(self) 
        self.__text = [] 
 
    def handle_data(self, data): 
        text = data.strip() 
        if len(text) > 0: 
            text = re.sub('[ \t\r\n]+', ' ', text) 
            self.__text.append(text + ' ') 
 
    def handle_starttag(self, tag, attrs): 
        if tag == 'p': 
            self.__text.append('\n\n') 
        elif tag == 'br': 
            self.__text.append('\n') 
 
    def handle_startendtag(self, tag, attrs): 
        if tag == 'br': 
            self.__text.append('\n\n') 
 
    def text(self): 
        return ''.join(self.__text).strip() 
 
 
def dehtml(text): 
    try: 
        parser = _DeHTMLParser() 
        parser.feed(text) 
        parser.close() 
        return parser.text() 
    except: 
        print_exc(file=stderr) 
        return text 
 
 
def main(): 
    text = r'''''
        <html>
            <body>
                <b>Project:</b> DeHTML<br>
                <b>Description</b>:<br>
                This small script is intended to allow conversion from HTML markup to 
                plain text.
            </body>
        </html>
    ''' 
    print(dehtml(text)) 
 
 
if __name__ == '__main__': 
    main()

Python提取txt正则内容

其中：

pattern = re.compile(r'^.["“subject”"] [([^[])].*')

为修改的正则匹配部分

import re
import pandas as pd
with open("C:/data1.txt", 'r', encoding='UTF-8') as f:
    data = f.readlines()
    f.close()
tol = []
for line in data:
##s = re.findall('[\u4e00-\u9fa5]', data) print(s)
    pattern = re.compile(r'^.*\[\"\"subject\"\"\] \[([^\[]*)\].*')
    string = str(line)
    url = re.findall(pattern,string)
    if (url is not None ) and (url != '[]'):
        tol.append(url)
print(tol)
pd.DataFrame(tol).to_csv('C:/tol2.csv')
##f1 = open("url.txt", "a+", encoding='utf-8')
##for urls in url:
##    f1.write(urls + '\n')
##f1.close()
##reg = re.compile(r'^.*\[\"\"subject\"\"\] \[(.*)\]')
##msg = '""i;octet""  [""subject""] [""小木虫""] ,accounts :in_main [""2012207469@tju.edu.c'
##mtch = reg.match(msg)
##print(mtch.group(1))

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

python用quad、dblquad实现一维二维积分的实例详解
今天小编大家分享一篇python用quad、dblquad实现一维二维积分的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-11-11
详解如何在PyCharm控制台中输出彩色文字和背景
这篇文章主要介绍了详解如何在PyCharm控制台中输出彩色文字和背景，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-08-08
详解如何用Python模拟登录淘宝
最近想爬取淘宝的一些商品，但是发现如果要使用搜索等一些功能时基本都需要登录，所以就想出一篇模拟登录淘宝的文章！本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-08-08
python 实现dcmtk关联pacs功能推送下拉影像(推荐)
这篇文章主要介绍了python 实现dcmtk关联pacs功能推送下拉影像,包含dcmtk关联pacs技术笔记等相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-10-10
numpy数据类型dtype转换实现
这篇文章主要介绍了numpy数据类型dtype转换实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-04-04
Python中的列表及其操作方法
这篇文章主要介绍了Python中的列表及其操作方法，涉及到的方法包括对列表元素进行修改、添加、删除、排序以及求列表长度等，此外还介绍了列表的遍历、数值列表、切片和元组的一些操作,下文详细介绍需要的小伙伴可以参考一下
2022-03-03
python 如何用urllib与服务端交互(发送和接收数据)
这篇文章主要介绍了python 如何用urllib与服务端交互(发送和接收数据)，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下
2021-03-03
教你怎么用python selenium实现自动化测试
今天带大家学习怎么用python selenium实现自动化测试,文中有非常详细的介绍及代码示例,对正在学习python的小伙伴们很有帮助,需要的朋友可以参考下
2021-05-05
Python Playwright进行常见的页面交互操作
在使用 Playwright 进行 Web 自动化时,页面交互是核心操作之一,本文将详细介绍如何使用 Playwright 进行常见的页面交互操作,希望对大家有所帮助
2024-10-10
python复制文件的方法实例详解
这篇文章主要介绍了python复制文件的方法,以实例形式较为详细的分析了Python文件复制的相关操作模块与使用技巧,需要的朋友可以参考下
2015-05-05