노드 eviction / 예기치 않은 노드 재부팅 원인 진단

명령어

# 1) When, which node, evicted by whom: CRS alert log (on every node)
grep -E "CRS-1601|CRS-1607|CRS-1608|CRS-1609|CRS-1610|CRS-1611|CRS-1612|CRS-8011" \
  $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/alert.log
# 2) CSS details: was the network heartbeat or the disk heartbeat lost
grep -iE "evict|misscount|heartbeat|disk HB|network HB" \
  $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/ocssd.trc | tail -100
# 3) Who triggered the reboot (cssdagent/cssdmonitor):
ls -lt $ORACLE_BASE/diag/crs/$(hostname -s)/crs/trace/ohasd_cssd*.trc
# 4) OS resources at the time of the event (Cluster Health Monitor):
oclumon dumpnodeview -allnodes -s "2026-01-15 03:10:00" -e "2026-01-15 03:20:00"
# 5) Diagnostic collection from all nodes (AHF/TFA):
tfactl diagcollect -crs -os -last 4h
# 6) OS side: /var/log/messages, journalctl -k (OOM, NIC, multipath, I/O errors)

하는 일

노드 eviction 연쇄를 순서대로 추적한다: CRS alert log의 CRS-16xx 메시지, ocssd.trc의 heartbeat 손실, CHM의 OS 지표, TFA로 수집한 전체 노드 로그.

사용 시점

노드가 예기치 않게 재부팅되거나 클러스터에서 축출(evict)되었을 때, 근본 원인 분석(RCA)과 Oracle Support SR용.

주의

모든 노드에서 이벤트 시점을 포함하는 로그를 수집한다. trace 파일은 순환되므로 증거가 사라질 수 있다. 노드 간 시간대가 같은지 확인한다(CTSS/NTP). 증거를 수집하기 전에 misscount 상향 같은 "조치"를 적용하지 않는다.