Oracle RAC günlük işletim ve arıza senaryoları

Kurulu ve çalışan bir Oracle RAC (Grid Infrastructure 19c) cluster'ının günlük işletimi ve arıza müdahalesi: sağlık kontrolü, node eviction teşhisi, node'u bakıma alma, tüm cluster'ı planlı kapatıp açma, node ekleme ve çıkarma, servis yönetimi (preferred/available, AC/TAC), SCAN/VIP/port/interconnect değişikliği, OCR/OLR yedeği ve geri yükleme, OCR ve voting dosyalarının taşınması. Kurulum rehberi değildir (önce RAC kurulumu); patch için RAC rolling patch, disk group işleri için ASM günlük işletim. Her senaryo teşhis → güvenlik ağı → uygulama → doğrulama → sonrası düzeninde ilerler.

Yapı: Mevcut 2–8 node'lu RAC (Grid Infrastructure 19c; 23ai/26ai farkları notlarda)

Senaryolar

• Cluster sağlık kontrolü (günlük / bakım öncesi) — Hiçbir şey değiştirmez: Clusterware yığını, kaynaklar, OCR/voting, ASM, interconnect, saat ve son uyarılar kontrol edilir. Günlük kontrolde, her bakım ve patch öncesinde ve bir şikâyet geldiğinde ilk iş olarak seçin.
• Bir node cluster'dan atıldı ya da kendiliğinden yeniden başladı (eviction teşhisi) — Salt-okur: bir node beklenmedik biçimde yeniden başladıysa ya da cluster'dan atıldıysa seçin. Clusterware alert log'u, ocssd.trc, işletim sistemi log'ları ve misscount/disktimeout değerleriyle kök nedenin ağ mı, disk mi, işletim sistemi mi olduğu bulunur.
• Bir node'u bakım için durdur ve geri aç — Bir node'da işletim sistemi patch'i, çekirdek ya da donanım bakımı yapılacaksa seçin. Diğer node'lar çalışmaya devam eder; o node'daki instance'ın servisleri taşınır, oturumlar drain süresi sonunda kapanır.
• Tüm cluster'ı planlı kapat ve aç — SAN ya da veri merkezi bakımı gibi tüm node'ların aynı anda kapanması gereken durumlarda seçin. Tam kesinti: tüm veritabanları, ASM ve Clusterware tüm node'larda durur.
• Cluster'a yeni node ekle — Cluster'a yeni bir sunucu katılacaksa seçin (kapasite artışı, donanım yenileme). Kesintisiz: ön kontroller (cluvfy), Grid home (addnode.sh), DB home ve yeni instance (dbca -addInstance).
• Cluster'dan node çıkar — Bir sunucu kalıcı olarak cluster'dan çıkarılacaksa (iade, donanım arızası) seçin. Instance silinir, DB ve Grid home o node'dan kaldırılır, node cluster'dan silinir; diğer node'lar açık kalır.
• Servis ekle, değiştir, taşı ya da sil — Uygulamanın bağlandığı servisi tanımlamak, yerleşimini (preferred/available) ya da failover ayarını (TAF/Application Continuity) değiştirmek veya çalışan servisi başka instance'a taşımak için seçin. Veritabanı açık kalır.
• SCAN, VIP, listener portu ya da interconnect değişikliği — SCAN adı/IP'leri, bir node VIP'i, listener portu ya da private ağ (interconnect) değişecekse seçin. Interconnect değişikliği tüm cluster'ın durmasını ister; diğerleri kısa bağlantı kesintisi yaratır.
• OCR ve OLR yedeği al, yedekleri kontrol et — Kesinti yok: elle OCR yedeği, her node'da OLR yedeği ve yedeklerin cluster disklerinin dışına kopyalanması. Patch, node ekleme/çıkarma, ağ değişikliği gibi riskli her işten önce seçin.
• OCR bozuk ya da CRS disk group'u kayıp: yedekten geri yükle — ocrcheck bozulma gösteriyorsa, CRSD açılmıyorsa (PROT-/PROC- hataları) ya da CRS disk group'u tamamen kaybolduysa seçin. Tüm cluster durur; OCR exclusive modda yedekten yüklenir, disk group kaybolduysa disk group, voting dosyaları ve ASM spfile yeniden oluşturulur.
• Bir node'da Clusterware açılmıyor: OLR bozuk — Diğer node'lar çalışırken yalnız bir node'da crsctl start crs OHASD'yi açamıyorsa ve ocrcheck -local OLR hatası veriyorsa seçin. Yalnız o node etkilenir: OLR yedekten yüklenir.
• OCR ve voting dosyalarını başka disk group'a taşı — Kesintisiz: ocrconfig -add/-delete ve crsctl replace votedisk. Depolama (SAN) değişiminde, CRS disk group'unun yedekliliğini artırırken ya da OCR'yi ikinci bir disk group'a da yazmak için seçin.

Başlamadan önce

• Tüm node'larda root erişimi ve grid/oracle kullanıcılarıyla login shell (sudo -iu grid) var; grid ve oracle profilleri Grid/DB home ortamını yüklüyor.
• Başlamadan önce cluster sağlıklı: tüm node'larda CRS online, açık olması gerekip kapalı kaynak yok. Değilse önce sağlık kontrolü ile sorunu giderin.
• Bakım penceresi ve değişiklik kaydı onaylandı; uygulama ekipleri bilgilendirildi; izleme sisteminde blackout açıldı. …Bu işlem tam kesinti yaratır.…
• Veritabanının güncel RMAN yedeği ve arşiv log yedekleri var… (instance ekleme/silme redo thread ve undo tablespace'i değiştirir)….
• Cluster disklerinin dışında saklanmış bir OCR yedeği (…) var ya da sağlam bir disk group'taki otomatik yedeğin yolu biliniyor. …CRS disk group'u için … yedekliliğe yetecek sayıda boş, tüm node'larda görünen disk hazır.…
• Yeni node (…) mevcut node'larla aynı işletim sistemi sürümü ve çekirdekte; RAC kurulumundaki işletim sistemi hazırlığı ve depolama hazırlığı yapıldı; public/private arayüz adları aynı; paylaşımlı LUN'lar bu node'a da sunuldu; VIP adresi … boşta.
• Olayın yaklaşık zamanı biliniyor. AHF (TFA) kuruluysa tanı toplama tek komutla yapılır; değilse log'lar elle incelenir.

Rehberin aşamaları

• Cluster sağlık kontrolü — Clusterware yığınını tüm node'larda kontrol et · Kaynakların durumunu listele · Veritabanı, servis ve listener durumunu kontrol et · OCR, voting ve OLR bütünlüğünü kontrol et · ASM ve disk group doluluğunu kontrol et · Ağ yapılandırmasını ve saat eşitlemesini kontrol et …
• Tüm cluster'ı durdur — Durdurmadan önce durumu kaydet · OCR'nin elle yedeğini al (güvenlik ağı) · Tüm veritabanlarını durdur · Clusterware'i tüm node'larda durdur · OHASD'yi durdur (…) · Bakım işini yap
• Tüm cluster'ı aç — Clusterware'i başlat (…) · Tüm node'ların cluster'a katılmasını bekle · Veritabanlarının açıldığını doğrula · Açılış sonrası kaynakları karşılaştır
• Yeni node'u hazırlama ve ön kontroller — Mevcut cluster yapılandırmasını kaydet · Yeni node'un işletim sistemi hazırlığını doğrula · /etc/hosts'a yeni node'u ekle (…) · grid kullanıcısı için SSH eşdeğerliğini yeni node'a genişlet · oracle kullanıcısı için SSH eşdeğerliğini yeni node'a genişlet · cvuqdisk RPM'ini yeni node'a gönder …
• Grid Infrastructure'ı yeni node'a genişletme — OCR'nin elle yedeğini al (güvenlik ağı) · Grid home'u yeni node'a genişlet (addnode.sh) · orainstRoot.sh'i çalıştır (yeni node) · root.sh'i çalıştır (yeni node) · grid ortamını yeni node'da ayarla · Yeni node'u cluster'da doğrula
• DB home ve yeni instance — DB home'u yeni node'a genişlet · DB home root.sh'ini çalıştır (yeni node) · oracle ortamını yeni node'da ayarla · Yeni instance'ı ekle (dbca -addInstance) · Servis yapılandırmasına yeni instance'ı ekle · Yeni instance'ı doğrula
• Node ekleme sonrası — Yeni node'un OLR yedeğini al · Yeni yapılandırmanın OCR yedeğini al · İzleme, yedek ve işletim işlerini güncelle
• Instance'ı ve DB home'u kaldırma — Servisleri …'den boşalt (instance açık kalır) · Instance'ı sil (dbca -deleteInstance) · DB home envanterini hedef node'a daralt (…) · DB home'u kaldır (deinstall -local) (…) · Kalan node'larda DB home envanterini güncelle
• Clusterware'i hedef node'dan kaldırma — Pin durumunu kontrol et, gerekirse çöz · Grid home'u kaldır (deinstall -local) (…) · Node'u cluster tanımından sil · Silmeyi doğrula ve artakalan VIP'i kaldır
• Node çıkarma sonrası — Yeni yapılandırmanın OCR yedeğini al · Artakalanları temizle ve kayıtları güncelle
• Servis: teşhis — Servislerin mevcut yapılandırmasını göster
• Servis: uygulama — Servisi ekle ve başlat · Servisin yerleşimini ve ayarlarını değiştir · Servisi yeni yerleşime göre başlat · Servisi başka instance'a taşı · Servisi durdur ve sil
• Servis: doğrulama — Servisin veritabanında ve listener'da göründüğünü doğrula
• Ağ değişikliği: teşhis ve güvenlik ağı — Mevcut ağ yapılandırmasını kaydet · OCR'nin elle yedeğini al (güvenlik ağı) · GPnP profilinin yedeğini al (…)
• SCAN adını / IP'lerini değiştir — Yeni SCAN çözümlemesini doğrula · SCAN VIP ve listener'larını yeni değerlerle yeniden oluştur · Veritabanının remote_listener ayarını güncelle · SCAN üzerinden bağlantıyı doğrula
• OCR ve OLR yedeği — Mevcut OCR yedeklerini ve yedek konumunu göster · OCR'nin elle yedeğini al · Son elle yedeği cluster dışına kopyala ve doğrula · OLR'nin elle yedeğini al (…) · ASM spfile ve parola dosyasını da yedekle
• OCR geri yükleme: teşhis — OCR'nin durumunu ve Clusterware'i kontrol et · Disk group ve diskleri ASM tarafından kontrol et · Geri yüklenecek yedeği doğrula
• OCR geri yükleme: uygulama — Clusterware'i durdur (…) · 1. node'da Clusterware'i exclusive modda başlat · ASM'yi geçici parametre dosyasıyla aç (spfile kayıpsa) · … disk group'unu yeniden oluştur · OCR'yi yedekten geri yükle · Voting dosyalarını yeniden oluştur …
• OCR geri yükleme: doğrulama ve sonrası — Cluster'ı ve OCR'yi doğrula · Yedekten sonraki değişiklikleri kontrol et · Yeni OCR yedeği al ve kök nedeni gider