jq命令对JSON进行过滤遍历结构转换等操作实例

更新时间：2024年01月24日 11:45:19 作者：凉凉的知识库

这篇文章主要介绍了jq命令对JSON进行过滤遍历结构转换等操作实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

引言

jq是一个灵活的轻量级命令行JSON处理器，你可以使用jq命令对JSON进行过滤、遍历或者结构转换等操作

项目主页位于：

https://stedolan.github.io/jq/

你也可以在线体验：

https://jqplay.org/

官方文档参考：

https://stedolan.github.io/jq/manual/#Basicfilters

下面来让我们快速入门一下吧

基础

$ jq -h
jq - commandline JSON processor [version 1.6]

Usage: jq [options] <jq filter> [file...]
 jq [options] --args <jq filter> [strings...]
 jq [options] --jsonargs <jq filter> [JSON_TEXTS...]

常见的用法是jq [options] <jq filter> [file...]，例如

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo'
{
  "bar": {
    "baz": 123
  }
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo.bar'
{"baz":123}

其中-c 为options，'.foo' 即为filter，两者都会在下文介绍

参数[options]

🌲 -r output raw strings, not JSON texts

字符串默认带引号，使用-r可以移除字符串的引号

$ echo '{"foo": "bar"}' | jq '.foo'
"bar"

$ echo '{"foo": "bar"}' | jq -r '.foo'
bar

🌲 -c compact instead of pretty-printed output

jq默认输出格式化之后的json，如果希望能在一行输出使用 -c

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo | .bar'
{
  "baz": 123
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo | .bar'
{"baz":123}

过滤器<jq filter>

🌲 . 输出原始的 JSON 数据

因为jq默认是格式化的，所以这个filter可以当作格式化

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.'
{
  "foo": {
    "bar": {
      "baz": 123
    }
  }
}

链接符

先看下连接符，具体filter的含义下面会介绍。两个连接符都是用来组合不同filter来完成特定功能的

🌲 , 使用多个 filter

需要注意的是使用,每一个filter产生的输出都是一行

$ echo '{"user":"stedolan", "projects": ["jq", "wikiflow"]}' | jq '.user, .projects[]'
"stedolan"
"jq"
"wikiflow"

🌲 | 管道

jq '.a.b.c' 、 jq '.a | .b | .c' jq '.a' | jq '.b' | jq '.c'是一样的

如果第一个filter产生多个结果，那么下一个filter会对每一个结果都执行。因此.[] | .foo 取出数组中的每一个"foo"

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"

对象操作

🌲 .foo, .foo.bar 获取对象key的值

'.foo'代表获取foo这个key

'.foo.bar' 代表获取foo对象中的bar，它和上文介绍的 .foo|.bar相同

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo'
{
  "bar": {
    "baz": 123
  }
}

$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq  '.foo.bar'
{
  "baz": 123
}

⚠️ 如果对象的key包含特殊字符或者以数字开头，使用'.foo'会报错。此时需要使用双引号包裹: ."foo$"、."1foo"

$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq  '.1foo'
jq: error: syntax error, unexpected IDENT, expecting $end (Unix shell quoting issues?) at &lt;top-level&gt;, line 1:
.1foo
jq: 1 compile error

$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq  '."1foo"'
{
  "bar": {
    "baz": 123
  }
}

❗️当取值不是对象时jq默认会报错，如果想忽略报错可以使用 .foo?

$ echo '[1,2,3]' | jq  '.foo'
jq: error (at &lt;stdin&gt;:1): Cannot index array with string "foo"

$ echo '[1,2,3]' | jq  '.foo?'

数组操作

🌲 .[2] 数组索引

数组索引也是从0开始，同时支持负数

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[0]'
{
  "name": "JSON",
  "good": true
}

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[-2]'
{
  "name": "JSON",
  "good": true
}

🌲 .[10:15] 数组切片

.[10:15] 包含从从0开始10（含）到15（不含）号元素，如果没有值则默认到头/尾

$ echo '["a","b","c","d","e"]' | jq '.[1:3]'
[
  "b",
  "c"
]

$ echo '["a","b","c","d","e"]' | jq '.[1:]'
[
  "b",
  "c",
  "d",
  "e"
]

数组/对象

🌲 .[] 遍历

对于数组来说，会返回数组中的所有元素

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[]'
{
  "name": "JSON",
  "good": true
}
{
  "name": "XML",
  "good": false
}

对于对象来说，会返回对象中的所有值

$ echo '{"a":1,"b":[1,2]}' | jq '.[]'
1
[
  1,
  2
]

结合上文提到管道，可以取出数组中的每一个field

$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"

与shell结合的常见操作

🌲 同时将json中的多个值赋值到多个变量

首先利用, 来同时解析多个json字段

其次用echo把多行输出转换成单行输出

最后利用read读取到多个变量里

$ read json xml &lt;&lt;&lt; $(echo $(echo '{"foo":"JSON","bar":"XML"}' | jq -c '.foo, .bar')) &amp;&amp; \
echo "json:$json,xml:$xml"
json:"JSON",xml:"XML"

🌲 把多个json字段输出到一行

上面使用echo是一种方式，还有一种更通用，尤其是处理数组时更方便的方式

利用@tsv处理，注意输入需要是数组

# 不加处理
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | .name, .good'        
JSON
true
XML
false

# 利用@tsv处理，注意输入需要是数组
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | [.name, .good] | @tsv'
JSON    true
XML     false

# 还可以输出csv格式的
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r  '.[] | [.name, .good] | @csv' 
"JSON",true
"XML",false

🌲 遍历数组

对数组中的每一个元素进行处理

$ echo '["a","b","c","d","e f"]' | jq -c '.[]' | while read i; do echo "val=${i}"; done
val="a"
val="b"
val="c"
val="d"
val="e f"

总结

以上主要介绍了用jq提取jso，更多关于jq命令操作JSON的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Linux磁盘管理之LVM详解及lvm磁盘操作命令
LVM，Logical Volume Manger，是linux内核提供的一种逻辑卷管理功能，由内核驱动和应用层工具组成，它是在硬盘的分区基础上，创建了一个逻辑层，可以非常灵活且非常方便的管理存储设备，这篇文章主要介绍了Linux磁盘管理之LVM详解及lvm磁盘操作命令,需要的朋友可以参考下
2023-03-03
shell命令行参数用法简介
本文介绍了shell命令行参数的用法，对于普通脚本语言诸如perl python等，写一个脚本程序，包装命令行参数时，一般都是用getopt之类的；c语言也类似
2014-04-04
Linux 下vim使用教程
Vim是从 vi 发展出来的一个文本编辑器。这篇文章给大家介绍Linux 下vim使用教程，感兴趣的朋友跟随脚本之家小编一起看看吧
2018-07-07
shell使用mysqld_multi自动做多实例从库脚本
这篇文章主要介绍了shell使用mysqld_multi自动做多实例从库脚本,需要的朋友可以参考下
2014-03-03
Linux查询mac物理地址的方法实现
本文主要介绍了Linux查询mac物理地址的方法实现，文中通过示例代码介绍的非常详细，需要的朋友们下面随着小编来一起学习学习吧
2007-02-02
linux中ps -ef和ps -aux的区别
ps -ef和ps -aux均为Linux中的ps命令，是Process Status的缩写，ps命令用来列出系统中当前运行的那些进程，这篇文章主要介绍了linux中ps -ef和ps -aux的区别,需要的朋友可以参考下
2023-10-10
shell 脚本安装PHP扩展的简单方法
下面小编就为大家带来一篇shell 脚本安装PHP扩展的简单方法。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-03-03
Shell获取当前正在执行脚本的绝对路径
本文主要介绍了Shell获取当前正在执行脚本的绝对路径，主要有三种方法，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-09-09
Shell编程中的特殊变量之进程状态变量介绍
这篇文章主要介绍了Shell编程中的特殊变量之进程状态变量介绍,本文讲解了$$、$!、$?、$@、$_这些特殊变量,需要的朋友可以参考下
2014-12-12
Linux expr 命令的使用小结
expr是命令行计算器,一般用在数字和字符串上面,本篇文章给大家介绍Linux expr 命令的使用小结,感兴趣的朋友跟随小编一起看看吧
2023-10-10