跨集群迁移索引数据不一致

[lianmeng0]

从集群5.6.4迁移索引到7.17.4，迁移界面是成功的，数据也是全部写入了，但是在7.17.4集群查询时，发现文档数不一致。ESM使用的是0.6.1版本。但是当多次运行迁移程序后，数据可以成功补全。

第一次迁移：


多次迁移后：

请问是怎么回事儿？还请指教。谢谢！

[medcl]

查看之前，有手动刷新么？

[lianmeng0]

你好！       很抱歉没有第一时间回复。是的，查看之前已经手动刷新过了，并且还等了一段时间查看，数据还是不一致。多次数据导入后，虽然数据一致了，但是索引的体积却增大不少。 万俊宝 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "medcl/esm" ***@***.***>; 发送时间: 2023年10月31日(星期二) 下午3:26 ***@***.***>; ***@***.******@***.***>; 主题: Re: [medcl/esm] 跨集群迁移索引数据不一致 (Issue #80) 查看之前，有手动刷新么？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[medcl]

应该是 bulk 请求的部分文档失败了，esm 没有处理 429 的情况。体积一般是需要合并，或者和 mapping 有关系。

[fishjam]

我加入了 SortField, TruncateOutFile, SkipFields 等配置信息, 可以通过导出到本地文件的方式进行比较.
而且似乎代码中以前使用 fasthttp 等 http 库似乎有问题, 我简单的想通过 --regenerate_id --repeat_times=10 来生成测试数据也不行. 而更改 http 使用方式后自己就好了(我没有改这部分的实现). 这些一起体现在 #84 里.

示例:

   esm --sort=_id --source=http://localhost:9200 --src_indexes=bank --truncate_output --skip=_index --output_file=src.json
   esm --sort=_id --source=http://localhost:9200 --src_indexes=bank_sync --truncate_output --skip=_index --output_file=dst.json
   diff -W 200 -ry --suppress-common-lines src.json dst.json

[medcl]

如果是为了生成测试数据，可以使用 Loadgen 来做：https://infinilabs.com/docs/latest/gateway/getting-started/benchmark/

[lianmeng0]

你好！那该如何解决或者去避免 bulk 请求的部分文档失败？现有跨集群迁移索引，相同模板中的索引，小索引可以正常迁移，但是大索引却发现文档数相差太大。
小索引：

大索引：

[medcl]

@lianmeng0 如果是因为 429 部分失败，可以尝试避免产生太大的压力，尽管迁移速度会慢一些，但是不会失败。
本工具只适合小规模迁移，比较复杂的数据迁移，可能需要完整的解决方案，极限网关的迁移功能处理了 bulk 的返回处理，可以试试

[lianmeng0]

你好！一次迁移中，参数配置已经降低，但是在遇到较大的索引时（大约150G），出现大量的date is empty, skip然后就会出现error EOF

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年3月18日(周一) 晚上8:12 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [medcl/esm] 跨集群迁移索引数据不一致 (Issue #80) @lianmeng0 如果是因为 429 部分失败，可以尝试避免产生太大的压力，尽管迁移速度会慢一些，但是不会失败。 本工具只适合小规模迁移，比较复杂的数据迁移，可能需要完整的解决方案，极限网关的迁移功能处理了 bulk 的返回处理，可以试试 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[fishjam]

个人建议:

1. 尝试使用 --output_file + --fields 的功能, 将所有 records 的 id 等特殊字段导出到文件, 然后通过 diff/Beyond Compare 等工具比较到底是哪些记录没有被同步.
2. 然后通过 --source_proxy 和 --dest_proxy= 指定本地的 fiddler 等工具抓包; 通过 --query 指定没有同步的数据 , 然后通过 fiddler, 日志 等查看出错的原因.

然后将使用的 esm版本 + 详细命令 + fiddler + 日志等 贴上来. 帮着分析是代码的问题还是使用方式的问题.

另外, 可以试试 v0.7.0 版本中提供的 --sync 功能. 我用之前的版本同步, 也发现有数据丢失的现象. 重构代码后, 再也没有发现丢失数据的现象.

[lianmeng0]

个人建议:

1. 尝试使用 --output_file + --fields 的功能， 将所有 records 的 id 等特殊字段导出到文件， 然后通过 diff/Beyond Compare 等工具比较到底是哪些记录没有被同步.
2. 然后通过 --source_proxy 和 --dest_proxy= 指定本地的 fiddler 等工具抓包;通过 --query 指定没有同步的数据 ， 然后通过 fiddler， 日志 等查看出错的原因.

然后将使用的 esm版本 + 详细命令 + fiddler + 日志等 贴上来.帮着分析是代码的问题还是使用方式的问题.

另外， 可以试试 v0.7.0 版本中提供的 --sync 功能.我用之前的版本同步, 也发现有数据丢失的现象.重构代码后, 再也没有发现丢失数据的现象.

使用新版本后，发现不能够跨版本迁移
使用命令：/usr/local/esm/bin/esm -s http://10.10.8.50:9201 -x umedia_correction_sd_www_202212 -d http://10.10.7.51:8201 -y umedia_correction_sd_www_202212 -w 10 -b 20 -u "_doc" -c 5000 --sliced_scroll_size=10 --buffer_count=50000 -t 180m --refresh

返回报错：
[03-19 18:35:53] [INF] [ migrator.go:115 ,ParseEsApi] source es version: 5.6.4
[03-19 18:35:53] [ERR] [ v5.go:75 ,NewScroll] server error: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Fielddata access on the _uid field is disallowed"}],"type":"search_phase_execution_exception","reason":"all shards failed","phase":"query","grouped":true,"failed_shards":[{"shard":0,"index":"umedia_correction_sd_www_202212","node":"lmCdTd3aRESZwTswuGtfcQ","reason":{"type":"illegal_argument_exception","reason":"Fielddata access on the _uid field is disallowed"}}]},"status":400}
[03-19 18:35:53] [ERR] [ main.go:144 ,main] server error: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Fielddata access on the _uid field is disallowed"}],"type":"search_phase_execution_exception","reason":"all shards failed","phase":"query","grouped":true,"failed_shards":[{"shard":0,"index":"umedia_correction_sd_www_202212","node":"lmCdTd3aRESZwTswuGtfcQ","reason":{"type":"illegal_argument_exception","reason":"Fielddata access on the _uid field is disallowed"}}]},"status":400}

[fishjam]

看起来是类似 https://stackoverflow.com/questions/45427887/how-to-get-the-maximum-id-value-in-elasticsearch 的原因.
因为 --sync 功能需要排序, 所以默认采用了 _id(我只通过 docker 尝试并验证了 6.x 及以后的版本, 确实没有测试 5.x 版本) ,
你可以尝试加入 --sort= ( 表示不指定排序字段 ), 应该可以规避这个问题.

如果想使用 --sync 功能的话, 必须指定排序字段. 如果你的 src/dst 数据中有唯一可以排序的字段(比如你们自己的业务 id), 可以尝试以下命令(最好先在一些不重要的 index 上测试):

/usr/local/esm/bin/esm --sync --sort="你的业务ID" -s http://10.10.8.50:9201 -x umedia_correction_sd_www_202212 
  -d http://10.10.7.51:8201 -y umedia_correction_sd_www_202212 -u "_doc"

[lianmeng0]

看起来是类似 https://stackoverflow.com/questions/45427887/how-to-get-the-maximum-id-value-in-elasticsearch 的原因. 因为 --sync 功能需要排序, 所以默认采用了 _id(我只通过 docker 尝试并验证了 6.x 及以后的版本, 确实没有测试 5.x 版本) , 你可以尝试加入 --sort= ( 表示不指定排序字段 ), 应该可以规避这个问题.

如果想使用 --sync 功能的话, 必须指定排序字段. 如果你的 src/dst 数据中有唯一可以排序的字段(比如你们自己的业务 id), 可以尝试以下命令(最好先在一些不重要的 index 上测试):

/usr/local/esm/bin/esm --sync --sort="你的业务ID" -s http://10.10.8.50:9201 -x umedia_correction_sd_www_202212 
  -d http://10.10.7.51:8201 -y umedia_correction_sd_www_202212 -u "_doc"

你好！本次运行中却又出现其它问题

它并没有明显的错误信息就直接退出运行程序，我甚至都无从下手去找出问题所在

[fishjam]

你这很奇怪. 按我执行 --sync 的效果,应该有类似如下的日志, 但你的完全看不到.

[03-20 00:02:13] [INF] [ migrator.go:115 ,ParseEsApi] source es version: 7.17.9
[03-20 00:02:13] [INF] [ migrator.go:115 ,ParseEsApi] dest es version: 6.2.2
[03-20 00:02:14] [INF] [ migrator.go:424 ,SyncBetweenIndex] src total count=34023
[03-20 00:02:22] [INF] [ migrator.go:575 ,SyncBetweenIndex] src-index-202402(34023) to dest-index-202402(33963), add=60, update=0, delete=0

1. 你执行命令的方式? 应该是没有使用 --sync 方式 ?
2. esm 的版本( 可以执行 esm -h 并贴上结果),
3. 确认并确保 core dump 能生成( 但从日志来看, 你的执行应该没有core)
4. 增加 --log=info 参数, 并且通过重定向(或 tee)的方式, 将完整日志保存下来. 比如 /usr/local/esm/bin/esm 各种参数 >> sync_es.log 2>&1 , 并提交.

[lianmeng0]

你这很奇怪. 按我执行 --sync 的效果,应该有类似如下的日志, 但你的完全看不到.

[03-20 00:02:13] [INF] [ migrator.go:115 ,ParseEsApi] source es version: 7.17.9
[03-20 00:02:13] [INF] [ migrator.go:115 ,ParseEsApi] dest es version: 6.2.2
[03-20 00:02:14] [INF] [ migrator.go:424 ,SyncBetweenIndex] src total count=34023
[03-20 00:02:22] [INF] [ migrator.go:575 ,SyncBetweenIndex] src-index-202402(34023) to dest-index-202402(33963), add=60, update=0, delete=0

1. 你执行命令的方式? 应该是没有使用 --sync 方式 ?
2. esm 的版本( 可以执行 esm -h 并贴上结果),
3. 确认并确保 core dump 能生成( 但从日志来看, 你的执行应该没有core)
4. 增加 --log=info 参数, 并且通过重定向(或 tee)的方式, 将完整日志保存下来. 比如 /usr/local/esm/bin/esm 各种参数 >> sync_es.log 2>&1 , 并提交.

你好！非常抱歉，又来打搅您了。本次按你的要求添加各种参数去执行迁移命令。
这是ESM截图

使用的命令：
/usr/local/esm/bin/esm7 --sync --sort="id" -s http://10.10.8.50:9201 -x umedia_net_manage_content_check_www_201801 -d http://10.10.7.51:8201 -y umedia_net_manage_content_check_www_201801 -w 10 -b 20 -u "_doc" -c 5000 --sliced_scroll_size=5 --buffer_count=300000 -t 180m --log=info --refresh >> sync_es.log 2>&1
但是运行后却是报错：
{"index":{"_index":"umedia_net_manage_content_check_www_201801","_type":"doc","_id":"0445309d381d38fa858bd8de299f2528","status":400,"error":{"type":"illegal_argument_exception","reason":"Invalid type: expecting [_doc] but got [doc]"}}}
然后就是程序停止，日志输出也停止：

[fishjam]

经过确认, 是在增加 --sync 功能时, 没有支持 -u 参数, 且没有在 es 5.x 的版本上测试.
可以下载以下编译好的 esm 进行测试(注意: 不要使用 -w/-b/-c 等参数, 在 sync 功能中没有使用, 且会造成数据错误), 如果确认 OK 的话, 我会提交 PR.

esm-linux-amd64.zip
esm-windows-amd64.zip

自测方式( docker )

• 1. 创建 es 5.6.4 的 docker 作为 src , 并引入数据(官方的 accounts )

docker run -ti --rm -p 9200:9200 -e cluster.name=es_src --name es_src elasticsearch:5.6.4
curl -H "Content-Type: application/json" -X POST "localhost:9200/bank/account/_bulk?pretty" --data-binary  @accounts.json

• 2. 创建 es 7.17.0 的 docker 作为 dst ( 没有找到 7.15.1 的镜像)

docker run -ti --rm --privileged --name es_dst
  -e discovery.type=single-node -e discovery.seed_hosts=127.0.0.1 -e cluster.name=es_dst -p 9201:9200
  elasticsearch:7.17.0 bash -c "ulimit -l unlimited && sysctl -w vm.max_map_count=262144 && /usr/local/bin/docker-entrypoint.sh"

• 3. 同步数据

esm --sync --sort="account_number" -s http://127.0.0.1:9200 -x bank -d http://127.0.0.1:9201 -y bank -u "_doc"

• 4. 导出数据并比较( 排除不同的 _type 字段, 如果完全相同, 则 diff 没有任何输出 )

esm --sort=account_number -s http://localhost:9200 -x bank --truncate_output --skip=_type -o=src.json
esm --sort=account_number -s http://localhost:9201 -x bank --truncate_output --skip=_type -o=dst.json
diff -W 200 -ry --suppress-common-lines src.json dst.json