high_disk_watermark_exceeded: high disk watermark [90%] exceeded / flood stage disk watermark [95%] exceeded

O que significa?

O uso de disco de um nó excedeu o limite de high watermark (padrão 90%) ou de flood stage (padrão 95%). Quando o high watermark é excedido, o Elasticsearch tenta mover shards desse nó para outros nós; quando o flood stage é excedido, ele torna os índices somente leitura.

Por que acontece?

O disco está enchendo: índices de log/métricas em crescimento contínuo, índices antigos nunca excluídos, um repositório de snapshots não limpo, um disco subdimensionado, ou um único nó enchendo demais por distribuição desbalanceada de shards.

Como resolver

Inspecione o uso de disco: GET _cat/allocation?v. Exclua índices antigos ou faça snapshot e remova-os, e aumente o disco. Você pode elevar os limites temporariamente (com cuidado; no 8.x defina os três juntos por causa da validação de max_headroom): PUT _cluster/settings {"persistent":{"cluster.routing.allocation.disk.watermark.low":"88%","cluster.routing.allocation.disk.watermark.high":"93%","cluster.routing.allocation.disk.watermark.flood_stage":"96%"}}. Depois de resolvido, volte aos padrões definindo as mesmas configurações como null (configurações transient estão obsoletas; não as use). Correção permanente: gerenciamento de ciclo de vida com ILM, limpeza regular de índices e planejamento de capacidade. Se os índices ficaram somente leitura por causa do flood stage, remova o bloqueio separadamente.