PostgreSQL去掉表中所有不可见字符的操作

 更新时间:2020年12月29日 15:17:01   作者:asin929  
这篇文章主要介绍了PostgreSQL去掉表中所有不可见字符的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

问题描述

数据库中的某些数据中包含了某些不可见字符。ASCII码中的0-31,127属于控制字符,不可见。

这些不可见字符往往是不需要的,我们要想办法删除它。

解决办法

写一函数,将所有字段中的不可见字符替换为空格。

测试流程

环境准备

建表,并插入带不可见字符的记录。注:下列数据中的不可见字符在粘贴过来的时候自动去掉了,请按ALT+数字键加入。

CREATE TABLE public.test_table
(

 xm character varying(50),
 pinyin character varying(200),
 sm character(15)
)
WITH (
 OIDS=FALSE
);
ALTER TABLE public.test_table
 OWNER TO postgres;


-- ----------------------------
-- Records of test_table
-- ----------------------------
INSERT INTO ry_syrk_copy VALUES ('周小星xx', 'xx测试','测试' );
INSERT INTO ry_syrk_copy VALUES ('李华', '测试xx','世xx界' );

注:因不可见字符无法在CSDN中无法打出,故用xx代替。实际上在其它地方可以用ALT+数字键打印出来。

去掉表中所有的不可见字符

-- 函数说明:将表test_table中所有的不可见字符替换掉
CREATE OR REPLACE FUNCTION delete_special_char() RETURNS int8 AS $$
DECLARE
 row RECORD;  
BEGIN

-- 查询表中所有类型为字符串的列
FOR row in select column_name from information_schema.columns where table_name = 'test_table' and data_type like 'character%' LOOP 
 FOR i IN 1..31 LOOP --替换所有的不可见字符为空格(除了chr(0)之外)
  EXECUTE 'update test_table set ' || row.column_name || ' = replace(' || row.column_name || ', chr(' || i || '), '' '' )';
 END LOOP;   
END LOOP;

RETURN 1;

END;

$$ LANGUAGE plpgsql;

执行函数

执行函数–select * from delete_special_char(),之后查看表数据,所有的不可见字符都被替换为空格。

补充–如何删除chr(0)

值得注意的是上述函数并不能删除chr(0)的不可见字符,见如下测试。

但oracle中上述语句却可以成功执行,下面我就来讲一讲吧~

Oracle中varchar2字段的不可见字符处理

在以前的项目中,曾经出现加密后的字符串数据丢失,加密内容无法正常解密的情况,经查找原因,发现是数据库表的varchar2字段中有chr(0)的不可见字符(即我们通常所说的\0),当出现这种情况时,由于java和c++中对字符串处理的不同,将会导致所取得的字符串长度不同。

在java中,字符串的长度可以通过取字符串的字节数组来获得,这样得到的字符串长度为字符串实际的大小(汉字2个字节,其他1个字节);在c++中通过strlen函数获得的字符串长度为第一个字节\0之前的字符长度。

当我们在编写jni的时候,经常会遇到将java的字符串转换为c++中的字符串的情况,这样,当java中的字符串包含\0的空字节时,在对c++转换后的字符串求取长度时,不要使用strlen函数,否则,其仅仅对\0字节之前的内容求取长度,与实际大小不同。

解决该类问题,根据所属应用的不同,可通过三种手段解决:

在数据库层解决:

Oracle数据库中,可在查询语句中使用函数replace来去除字符串中的非可见字符,例如:

select replace(content,chr(0),null) from bossquery_request where sky_command = '02';

以后大家如果遇到类似情况,可通过replace(字段名,chr(ASCII码值),null)来去掉其中对应的ASCII码值的字符。

在java程序中解决:

在java程序中,大家可通过获取String对象的所有字节内容,对字节内容进行扫描,来去掉其中不需要的字节。

在JNI层解决:

在JNI层解决该问题的方式是,不要使用strlen函数来获取字符串长度,可通过GetArrayLength取字节数组长度函数或者其他类似函数来获取字符串长度,则可避免该情况发生。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

相关文章

  • 一文详解PostgreSQL如何使用UUID

    一文详解PostgreSQL如何使用UUID

    本文给大家介绍了PostgreSQL如何使用UUID,离线安装时,一般有四个包,都安装的话,只需要开启uuid的使用即可,如果工具包(即 postgresql11-contrib)没有安装的话,需要单独安装一次,再进行开启,需要的朋友可以参考下
    2024-02-02
  • PostgreSQL树形结构的递归查询示例

    PostgreSQL树形结构的递归查询示例

    这篇文章主要给大家介绍了关于PostgreSQL树形结构的递归查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用PostgreSQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-05-05
  • Linux CentOS 7安装PostgreSQL9.3图文教程

    Linux CentOS 7安装PostgreSQL9.3图文教程

    这篇文章主要为大家详细介绍了Linux CentOS 7安装PostgresSQL9.3图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2016-11-11
  • PostgreSQL:string_agg 多列值聚合成一列的操作示例

    PostgreSQL:string_agg 多列值聚合成一列的操作示例

    PostgreSQL中的STRING_AGG()函数是一个聚合函数,用于连接字符串列表并在字符串之间放置分隔符,这篇文章主要介绍了PostgreSQL:string_agg多列值聚合成一列,需要的朋友可以参考下
    2023-08-08
  • postgresql 中position函数的性能详解

    postgresql 中position函数的性能详解

    这篇文章主要介绍了postgresql 中position函数的性能详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-02-02
  • Windows版 PostgreSQL 利用 pg_upgrade 进行大版升级操作方法

    Windows版 PostgreSQL 利用 pg_upgrade 进行大版升级操作方法

    最近 PostgreSQL 15 版本正式发布了,新版本的各种特性和好处本文就不展开介绍了,主要介绍一下 Windows 环境下 PostgreSQL 大版本升级的方法,我们现在的几个数据库都是运行在 Windows服务器的 PostgreSQL 14,需要的朋友可以参考下
    2022-10-10
  • postgresql 实现sql多行语句合并一行

    postgresql 实现sql多行语句合并一行

    这篇文章主要介绍了postgresql 实现sql多行语句合并一行的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • PostgreSQL 定义返回表函数的操作

    PostgreSQL 定义返回表函数的操作

    这篇文章主要介绍了PostgreSQL 定义返回表函数的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • postgresql~*符号的含义及用法说明

    postgresql~*符号的含义及用法说明

    这篇文章主要介绍了postgresql~*符号的含义及用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL数据类型格式化函数操作

    PostgreSQL数据类型格式化函数操作

    这篇文章主要介绍了PostgreSQL数据类型格式化函数操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12

最新评论