使用elasticsearch定时删除索引数据

更新时间：2021年03月29日 11:24:06 作者：Menardღ

这篇文章主要介绍了使用elasticsearch定时删除索引数据的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

1、有的时候我们在使用ES

由于资源有限或业务需求，我们只想保存最近一段时间的数据，所以有必要做定时删除数据。

2、编写脚本

vim del_es_by_day.sh
#!/bin/bash
#定时删除elasticsearch索引
#author menard 2019-3-25
date=`date -d "-7 days" "+%Y.%m.%d"`
/usr/bin/curl -v --user elastic:password -XDELETE "http://192.168.10.201:9200/*-$date"

增加可执行权限 chmod +x del_es_by_day.sh

3、创建用于测试的索引

put test-2019.03.18
put index-2019.03.18

4、执行脚本测试结果，可以看到删除成功

5、做定时任务

crontab -e
00 01 * * * /workspace/script/del_es_by_day.sh

补充：Elasticsearch定时备份索引数据与恢复

定时备份脚本

Linux定时任务功能使用cron服务来进行

编写定时任务的cron表达式

crontab -e #进入cron定时任务编辑

定时任务

*/1 * * * * /opt/scheduler/es_bk.sh >> /opt/scheduler/bk_log.txt 2>&1

每隔1分钟定时执行 /opt/scheduler/目录下的es_bk.sh脚本，将数据内容写入到 /opt/scheduler目录下的bk.log.txt文件中

查看一下es_bk.sh脚本内容

#! /bin/bash
echo '=================================start======================================'
#删除备份的快照
curl -i -X DELETE localhost:9200/_snapshot/es_backup/snapshot01
#再次备份
curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01
echo '==================================end======================================='

ES备份数据需要将要备份的索引数据快照一份，需要指定一个快照名，且不能使用相同的快照，所以在每次备份之前需要删除旧的快照，再备份。

ES备份与恢复

创建一个备份仓库（目录）

mkdir -p /bk/es/data
#修改权限
chmod -R 777 bk

修改elasticsearch.yml文件，指定仓库位置

发送初始化仓库请求

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"type": "fs","settings": {"location": "/bk/es/data"}}' localhost:9200/_snapshot/es_backup

es_backup是备份命名空间，可以随意指定

创建第一份快照

curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01

将使用es_backup这个备份将es的所有索引数据备份到snapshot01这个快照下，当然也可以只备份指定索引

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01

重启定时任务

systemctl restart cron

恢复索引

恢复指定

curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X POST --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01/_restore

恢复所有

curl -i -X POST localhost:9200/_snapshot/es_backup/snapshot01/_restore

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

关于docker registry使用详解
Docker Registry 是一个无状态，高度可扩展的服务器端应用程序，它存储并允许您分发Docker映像，本文给大家介绍docker registry使用及相关配置，感兴趣的朋友一起看看吧
2022-03-03
Docker搭建私有仓库(registry与Harbor)的实现
这篇文章主要介绍了Docker搭建私有仓库(registry与Harbor)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-12-12
docker-desktop启动k8s的详细方法
这篇文章主要介绍了docker-desktop启动k8s,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-08-08
如何将gitbub下载的docker-compose项目运行在docker
这篇文章主要介绍了如何将gitbub下载的docker-compose项目运行在docker问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-05-05
在宿主机上执行docker容器内部的shell或程序方式
这篇文章主要介绍了在宿主机上执行docker容器内部的shell或程序方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-11-11
Dockerfile ENV语法使用指南
这篇文章主要为大家介绍了Dockerfile ENV语法使用指南,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-11-11
Docker-Compose创建mysql容器详解
这篇文章主要介绍了Docker-Compose创建mysql容器详解的相关资料,需要的朋友可以参考下
2022-11-11
关于docker容器优雅退出的问题详解
在Docker大火的今天，我们能够非常方便的使用容器打包我们的应用程序，并且将它在我们的服务器上部署并运行起来。而下面这篇文章主要给大家介绍了关于docker容器如何优雅退出的问题，需要的朋友可以参考下。
2017-09-09
docker搭建logstash和使用方法详解
这篇文章主要介绍了docker搭建logstash和使用方法详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
2023-12-12
win7下docker安装与报错问题的解决方法
这篇文章主要为大家详细介绍了win7下docker安装与报错问题的解决方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-06-06