使用Python解析FineReport模板数据集

更新时间：2023年12月29日 15:06:03 作者：The_Singing_Towers

这篇文章主要为大家详细介绍了如何使用Python解析FineReport模板数据集,文中的示例代码讲解详细,具有一定的学习价值,感兴趣的小伙伴可以了解下

背景

在使用 FineReport 作为报表平台过程中，

当报表项目过多，或者报表项目需要迁移，又或者报表数据源需要迁移时，

我们通常需要知道报表用到的表有哪些，或者需要修改的SQL语句有哪些。

这时我们在 FineReport 设计器中需要将模板的数据集提取出来。

但目前设计器中没有数据集导出的功能。

所以我们使用Python 开发程式以解析报表模板文件获取数据集和 SQL语句，并保存为Excel，

以提供给后续解析SQL获取调用内容的项目使用。

应用场景

查找调用内容
FineReport 模板迁移
元数据
数据血缘

操作对象

本示例中使用本地工作目录中的报表模板，FineReport 平台版本为 11

本地工作目录路径

D:\FineReport_11\webapps\webroot\WEB-INF\reportlets

示例报表模板路径

01_dev\record_monitor\record_scheduler.cpt

示例报表模板数据集名称

log_record_execute

示例报表模板数据链接名称

LogDB

示例报表模板截图

解析过程

查找目标模板文件

为保证数据和模板安全，请先下载正式环境reports文件夹，在本地进行匹配

工作过程中，平台的报表目录不一定之后报表模板文件，故需要用代码先查找匹配，再打开；

代码

import pathlib

# 请先下载 正式环境reports文件夹，在本地进行匹配

work_directory = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets")

top = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets\\01_dev\\record_monitor")

# 递归获取 工作目录 本路径和子路径所有扩展名为 .cpt 的 文件
for f in top.rglob("*.cpt"):
    # 模板文件的绝对路径
    abs_path = f.absolute()
    # 为保证对象准确，使用绝对路径
    print(abs_path.__str__())

运行结果

D:\FineReport_11\webapps\webroot\WEB-INF\reportlets\01_dev\record_monitor\record_scheduler.cpt

获取数据集

FineReport 报表模板 .cpt .frm 本身是 xml 文件，故可直接使用解析XML的方式解析；

解析方式是XPATH语法定位目标元素

代码

import pathlib

from lxml import etree

# 请先下载 正式环境reports文件夹，在本地进行匹配

work_directory = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets")
top = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets\\01_dev\\record_monitor")

# 解析结果 收集
result_list = []

# 递归获取 工作目录 本路径和子路径所有扩展名为 .cpt 的 文件
for f in top.rglob("*.cpt"):
    # 模板文件的绝对路径
    abs_path = f.absolute()

    with open(abs_path, mode="rb") as fr:
        xslt_content = fr.read()
    # 开始解析 模板文件 XML
    xml_root = etree.XML(xslt_content)
    # 使用 XPATH 定位 XML 中 数据集内容
    tabel_data_el = xml_root.xpath("//*/TableDataMap//TableData[@class='com.fr.data.impl.DBTableData']")

    for db_data in tabel_data_el:
        # 数据集名称
        date_source_name = db_data.get("name")
        print(date_source_name)

运行结果

log_record_execute

我们可以用 Vs Code 或者其他文本编辑器从资源管理器打开这个模板文件，

可以看到数据集在模板XML中的样子,

数据集都在标签名为 TableDataMap 的 xml 元素下，

数据集本身就是标签名为 TableData 的 xml 元素，所以使用 XPATH 能够根据这种结构定位到。

同时数据集的内容也能以相同方式定位到。

部分 XML

<?xml version="1.0" encoding="UTF-8"?>
<WorkBook xmlVersion="20211223" releaseVersion="11.0.0">
    <TableDataMap>
        <TableData name="log_record_execute" class="com.fr.data.impl.DBTableData">
            <Parameters>
                <Parameter>
                    <Attributes name="start_date"/>
                    <O>
                        <![CDATA[2023-07-01 00:00:00]]></O>
                </Parameter>
                <Parameter>
                    <Attributes name="end_date"/>
                    <O>
                        <![CDATA[2023-09-07 00:00:00]]></O>
                </Parameter>
            </Parameters>
            <Attributes maxMemRowCount="-1"/>
            <Connection class="com.fr.data.impl.NameDatabaseConnection">
                <DatabaseName>
                    <![CDATA[LogDB]]></DatabaseName>
            </Connection>
            <Query>
                <![CDATA[select * from fine_record_execute where todate(time) >= '${start_date}'  and todate(time) <= '${end_date}']]></Query>
            <PageQuery>
                <![CDATA[]]></PageQuery>
        </TableData>
    </TableDataMap>
    ...
</WorkBook>

获取数据集下的内容

获取到数据集的XML之后，变不需要从整个模板文件定位了，因为数据集的各种内容都在这串XML里了，

所以直接解析数据集XML 的字符串就行；

代码

import json
import pathlib

from lxml import etree

# 请先下载 正式环境reports文件夹，在本地进行匹配

work_directory = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets")
top = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets\\01_dev\\record_monitor")

# 递归获取 工作目录 本路径和子路径所有扩展名为 .cpt 的 文件
for f in top.rglob("*.cpt"):
    # 模板文件的绝对路径
    abs_path = f.absolute()

    with open(abs_path, mode="rb") as fr:
        xslt_content = fr.read()
    # 开始解析 模板文件 XML
    xml_root = etree.XML(xslt_content)
    # 使用 XPATH 定位 XML 中 数据集内容
    tabel_data_el = xml_root.xpath("//*/TableDataMap//TableData[@class='com.fr.data.impl.DBTableData']")

    for db_data in tabel_data_el:

        # 数据集名称
        date_source_name = db_data.get("name")

        # 转 string 取巧，重新定位数据集内容
        string = etree.tostring(db_data, encoding='utf-8').decode('utf-8')

        data_source = etree.XML(string)
        # 即使 XPATH 定位到的是单个对象，但是返回值是一个list，需要将 list 里的对象 重新拼成 string
        conn = data_source.xpath("/TableData/Connection/DatabaseName/text()")

        conn_collect = []

        for j in conn:
            # 数据链接名字
            conn_collect.append(str(j).strip())

        conn_string = "".join(conn_collect)

        query = data_source.xpath("/TableData/Query/text()")

        query_collect = []

        for j in query:
            # 数据集SQL
            query_collect.append(str(j).strip())

        query_string = "".join(query_collect)

        # 将 解析结果 拼接到 dict
        data_source_json = {
            "report": pathlib.Path.relative_to(abs_path, work_directory).__str__(),
            "data_source": date_source_name,
            "conn": conn_string,
            "query": query_string
        }

        print(json.dumps(data_source_json, ensure_ascii=False))

运行结果

{
"report": "01_dev\\record_monitor\\record_scheduler.cpt",
"data_source": "log_record_execute",
"conn": "LogDB",
"query": "select * from fine_record_execute where todate(time) >= '${start_date}' and todate(time) <= '${end_date}'"
}

可以看到，报表模板路径，数据集名称，数据链接名称，SQL语句都完整获取到了。

完整代码

最后将获取到的内容转成 pandas 的 DataFrame，然后输出到Excel

import pathlib

import pandas as pd
from lxml import etree

# 请先下载 正式环境reports文件夹，在本地进行匹配

work_directory = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets")
top = pathlib.Path("D:\\FineReport_11\\webapps\\webroot\\WEB-INF\\reportlets\\01_dev\\record_monitor")

# 解析结果 收集
result_list = []
# fineReport .cpt .frm 本身是xml文件，故可直接按行匹配字符查找是否与对象有关
# 递归获取 工作目录 本路径和子路径所有扩展名为 .cpt 的 文件
for f in top.rglob("*.cpt"):
    # 模板文件的绝对路径
    abs_path = f.absolute()

    with open(abs_path, mode="rb") as fr:
        xslt_content = fr.read()
    # 开始解析 模板文件 XML
    xml_root = etree.XML(xslt_content)
    # 使用 XPATH 定位 XML 中 数据集内容
    tabel_data_el = xml_root.xpath("//*/TableDataMap//TableData[@class='com.fr.data.impl.DBTableData']")

    for db_data in tabel_data_el:

        # 数据集名称
        date_source_name = db_data.get("name")

        # 转 string 取巧，重新定位数据集内容
        string = etree.tostring(db_data, encoding='utf-8').decode('utf-8')

        data_source = etree.XML(string)
        # 即使 XPATH 定位到的是单个对象，但是返回值是一个list，需要将 list 里的对象 重新拼成 string

        conn = data_source.xpath("/TableData/Connection/DatabaseName/text()")

        conn_collect = []

        for j in conn:
            # 数据链接名字
            conn_collect.append(str(j).strip())

        conn_string = "".join(conn_collect)

        query = data_source.xpath("/TableData/Query/text()")

        query_collect = []

        for j in query:
            # 数据集SQL
            query_collect.append(str(j).strip())

        query_string = "".join(query_collect)

        # 将 解析结果 拼接到 dict
        data_source_json = {
            "report": pathlib.Path.relative_to(abs_path, work_directory).__str__(),
            "data_source": date_source_name,
            "conn": conn_string,
            "query": query_string
        }

        result_list.append(data_source_json)

df = pd.DataFrame(result_list)

df.to_excel("./data_source.xlsx", engine="openpyxl", index=False)

运行结果

到此这篇关于使用Python解析FineReport模板数据集的文章就介绍到这了,更多相关Python解析FineReport数据集内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python三元表达式的基本用法详解
Python的三元表达式是一种紧凑、简洁的条件表达式,允许在一行代码中根据条件选择不同的值,三元表达式通常用于需要在单行中根据条件进行值选择的情况,有助于提高代码的可读性和简洁性,本文给大家介绍了Python三元表达式的基本用法,需要的朋友可以参考下
2023-10-10
Python使用matplotlib绘制动画的方法
这篇文章主要介绍了Python使用matplotlib绘制动画的方法,涉及matplotlib模块的常见使用技巧,需要的朋友可以参考下
2015-05-05
python zip文件压缩
看了我前面的一系列文章，不知道你会不会觉得python是无所不能的，我现在就这感觉！如何用python进行文件压缩呢
2008-12-12
python偏函数partial用法
这篇文章要给大家分享得是python偏函数partial用法，主要介绍什么是偏函数partial、偏函数的作用、偏函数的语法及案例详情,需要的朋友可以参考一下文章得具体详解，希望对你有所帮助
2021-10-10
Python实现动态绘图的示例详解
matplotlib中的animation提供了动态绘图功能，这篇文章主要为大家详细介绍了Python如何利用matplotlib实现动态绘图，感兴趣的可以了解一下
2023-05-05
Pyecharts可视化图片渲染的方法详解
使用 pyecharts 渲染成图片一直是开发者比较关心的功能，pyecharts提供了selenium、phantomjs和pyppeteer 三种方式。本文将具体介绍一下这三种方式的使用，需要的可以参考一下
2022-02-02
Python去除图片水印实现方法详解
这篇文章主要为大家详细介绍了如何利用Python实现处理图片水印的相关资料，主要是实现图片水印的去除效果，感兴趣的小伙伴可以尝试一下
2023-01-01
python遍历文件夹下所有excel文件
这篇文章主要介绍了python遍历文件夹下所有excel文件的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-01-01
Python读写配置文件的方法
这篇文章主要介绍了Python读写配置文件的方法,涉及ConfigParser模块的操作技巧,需要的朋友可以参考下
2015-06-06
python是先运行metaclass还是先有类属性解析
这篇文章主要为大家介绍了python是先运行metaclass还是先有类属性的问题原理解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-05-05