shell脚本批量删除es索引的方法

 更新时间:2019年03月15日 08:32:40   作者:Scub  
今天小编就为大家分享一篇关于shell脚本批量删除es索引的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

发现elasticsearch集群的状态是red,unassign的分片数很多,看了下都是些旧的日期的索引(应该是定时任务删除失败导致的)。

curl -XGET ip:port/_cat/shards | grep UNASSIGNED

数量有几百个,写个脚本处理下,先恢复成green。red状态好像会影响索引创建和数据迁移

先把需要删除的索引导出到文件

curl -XGET ip:port/_cat/shards | grep UNASSIGNED >> needDelIndex.txt

确认下要删除的索引列表。没问题就执行下面删除shell(es的ip和端口需要修改下)

#!/bin/bash
echo "$1"
esUrl=${esip}:${esport}
indexfile=needDelIndex.txt
#cp -f /dev/null ${indexfile}
#curl -XGET ip:port/_cat/shards | grep UNASSIGNED >> needDelIndex.txt
if [ ! -f ./${indexfile} ]; then
  echo $indexfile not exists
  exit 0
fi
logfile=esindex_del.`date +"%m-%d"`.log
cp -f /dev/null ${logfile}
lastIndexName="test"
for item in `cat ${indexfile} | awk '{print $1}'`
do
  if [ "$item" = "error" ]
  then
    continue
  fi
  if [ "$item" != "$lastIndexName" ]
  then
    curl -XDELETE ${esUrl}/${item} >> ${logfile}
    echo ---------${item} `date` >> ${logfile}
    sleep 5
  fi
  lastIndexName=${item}
done

因为我们的索引是按天创建的,索引名前缀是yyyy-MM-dd, 保留一段时间后需要批量删除。shell的第一个参数为yyyy-MM-dd,将删除该天及以前的旧索引

#!/bin/bash
esUrl=${esip}:${esport}
echo "$1"
if [ $# -ge 1 ]
then
  deleteDate=$1
else
  echo "please inpust detete esindex's date(yyyy-MM-dd)"
  exit 0
fi
indexfile=esindex.info
cp -f /dev/null ${indexfile}
curl '${esUrl}/_cat/indices' >> ${indexfile}
logfile=esindex_del.`date +"%m-%d"`.out
cp -f /dev/null ${logfile}
for item in `cat ${indexfile} | awk '{print $3}'`
do
  if [ "$item" = "error" ]
  then
    continue
  fi
  parameter=${esUrl}/${item}
  indexdate=${item:0:10}
  if [ "$indexdate" = "$deleteDate" ]
  then
    curl -XDELETE ${parameter} >> ${logfile}
    echo ---------${item} >> ${logfile}
    sleep 5
  elif [[ "$indexdate" < "$deleteDate" ]]
  then
    curl -XDELETE ${parameter} >> ${logfile}
    echo ---------${item} >> ${logfile}
    sleep 5
  fi
done

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • Linux 下C语言获取文件大小

    Linux 下C语言获取文件大小

    这篇文章主要介绍了Linux 下C语言获取文件大小的相关资料,需要的朋友可以参考下
    2017-07-07
  • Linux bash Shell中的变量类型详解

    Linux bash Shell中的变量类型详解

    这篇文章主要介绍了Linux bash Shell中的变量类型详解,变量类型共分为本地变量、局部变量、环境变量、位置变量和特殊变量等,需要的朋友可以参考下
    2015-06-06
  • Linux nohup 命令用法详解

    Linux nohup 命令用法详解

    nohup命令是Linux/Unix系统中非常有用的命令之一,它允许您在后台运行命令或脚本,并且在退出终端会话后仍然保持运行,这篇文章主要介绍了Linux nohup 命令详解,需要的朋友可以参考下
    2023-08-08
  • Shell中select in的具体使用

    Shell中select in的具体使用

    本文主要介绍了Shell中select in的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-06-06
  • Linux命令提示符显示格式的配置方法

    Linux命令提示符显示格式的配置方法

    今天小编就为大家分享一篇Linux命令提示符显示格式的配置方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • linux实现解压.tar.gz文件的示例详解

    linux实现解压.tar.gz文件的示例详解

    这篇文章主要为大家详细介绍了linux实现解压.tar.gz文件的相关知识,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-08-08
  • shell脚本自动输入用户名和密码的实现

    shell脚本自动输入用户名和密码的实现

    本文主要介绍了shell脚本自动输入用户名和密码的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • Shell字符串比较相等、不相等方法小结

    Shell字符串比较相等、不相等方法小结

    这篇文章主要介绍了Shell字符串比较相等、不相等方法小结,本文直接给出代码,但代码中含有大量注释,需要的朋友可以参考下
    2014-10-10
  • shell脚本实现拷贝大文件显示百分比的代码分享

    shell脚本实现拷贝大文件显示百分比的代码分享

    这篇文章主要介绍了shell脚本实现拷贝大文件显示百分比的代码分享,需要的朋友可以参考下
    2014-08-08
  • shell中set指令的用法详解

    shell中set指令的用法详解

    这篇文章主要介绍了shell中set指令的用法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-10-10

最新评论