high_disk_watermark_exceeded: high disk watermark [90%] exceeded / flood stage disk watermark [95%] exceeded（ディスクウォーターマークの超過）

意味

ノードのディスク使用量が high ウォーターマーク (デフォルト 90%) または flood stage (デフォルト 95%) のしきい値を超えた。high ウォーターマークを超えると、Elasticsearch はそのノードから他のノードへシャードの移動を試みる。flood stage を超えると、インデックスを読み取り専用にする。

原因

ディスクが満杯になりつつある: 増え続けるログ/メトリクスのインデックス、削除されない古いインデックス、整理されていないスナップショットリポジトリ、小さすぎるディスク、または偏ったシャード配置による単一ノードの過剰な使用。

対処方法

ディスク使用量を調べる: GET _cat/allocation?v。古いインデックスを削除するかスナップショットを取得して削除し、ディスクを拡張する。一時的にしきい値を引き上げることもできる (慎重に。8.x では max_headroom の検証があるため 3 つすべてを同時に設定する): PUT _cluster/settings {"persistent":{"cluster.routing.allocation.disk.watermark.low":"88%","cluster.routing.allocation.disk.watermark.high":"93%","cluster.routing.allocation.disk.watermark.flood_stage":"96%"}}。解決したら、同じ設定を null にしてデフォルトに戻す (transient 設定は非推奨のため使わない)。恒久対応: ILM によるライフサイクル管理、定期的なインデックスの整理、容量計画。flood stage によりインデックスが読み取り専用になった場合は、ブロックを別途解除する。