本文介绍三种常用的Elasticsearch数据迁移方案,包括OS快照,即CloudObjectStorage、logstash和elasticsearch-dump。
如果准备将自建的elasticsearch迁移上云,或者的迁移到其他es集群内,可以根据自己的业务需要选择合适的迁移方案。如果业务可以停服或者可以暂停写操作,可以使用以下几种方式进行数据迁移:
COS快照,即CloudObjectStorage
logstash
elasticsearch-dump
各种迁移方式的对比如下:
一、COS快照
基于COS快照的迁移方式是使用ES的snapshotapi接口进行迁移,基本原理就是从源ES集群创建索引快照,然后在目标ES集群中进行恢复。通过snapshot方式进行数据迁移时,特别需要注意ES的版本问题:
复制
目标ES集群的主版本号(如5.6.4中的5为主版本号)要大于等于源ES集群的主版本号。1.x版本的集群创建的快照不能在5.x版本中恢复。1.2.
在源ES集群中创建repository
创建快照前必须先创建repository仓库,一个repository仓库可以包含多份快照文件,repository主要有以下几种类型。
fs:共享文件系统,将快照文件存放于文件系统中。
url:指定文件系统的URL路径,支持协议: