Oracle RAC : exploitation courante et scénarios de panne

Exploitation courante et intervention sur incident d'un cluster Oracle RAC (Grid Infrastructure 19c) installé et en fonctionnement : contrôle de santé, diagnostic d'éviction de nœud, mise en maintenance d'un nœud, arrêt et redémarrage planifiés de tout le cluster, ajout et suppression de nœuds, gestion des services (preferred/available, AC/TAC), changement de SCAN/VIP/port/interconnect, sauvegarde et restauration de l'OCR/OLR, déplacement de l'OCR et des voting files. Ce n'est pas un guide d'installation (d'abord Installation RAC) ; pour le patch, voir Patch RAC en rolling, pour les disk groups Exploitation courante ASM. Chaque scénario suit l'ordre diagnostic → filet de sécurité → mise en œuvre → vérification → suite.

Topologie: RAC existant de 2 à 8 nœuds (Grid Infrastructure 19c ; différences 23ai/26ai dans les notes)

Scénarios

• Contrôle de santé du cluster (quotidien / avant maintenance) — Ne modifie rien : contrôle de la pile Clusterware, des ressources, de l'OCR/voting, d'ASM, de l'interconnect, de l'heure et des dernières alertes. À choisir pour le contrôle quotidien, avant chaque maintenance ou patch, et en premier lieu lorsqu'une plainte arrive.
• Un nœud a été évincé du cluster ou a redémarré tout seul (diagnostic d'éviction) — Lecture seule : à choisir si un nœud a redémarré de façon inattendue ou a été évincé du cluster. L'alert log de Clusterware, ocssd.trc, les logs du système d'exploitation et les valeurs misscount/disktimeout permettent de déterminer si la cause première est le réseau, le disque ou le système d'exploitation.
• Arrêter un nœud pour maintenance et le redémarrer — À choisir pour un patch du système d'exploitation, une maintenance du noyau ou du matériel sur un nœud. Les autres nœuds continuent de fonctionner ; les services de l'instance de ce nœud sont déplacés et les sessions sont fermées à la fin du délai de drain.
• Arrêter et redémarrer tout le cluster de façon planifiée — À choisir lorsque tous les nœuds doivent être arrêtés en même temps, par exemple pour une maintenance SAN ou datacenter. Interruption totale : toutes les bases, ASM et Clusterware s'arrêtent sur tous les nœuds.
• Ajouter un nouveau nœud au cluster — À choisir lorsqu'un nouveau serveur rejoint le cluster (augmentation de capacité, renouvellement matériel). Sans interruption : contrôles préalables (cluvfy), Grid home (addnode.sh), DB home et nouvelle instance (dbca -addInstance).
• Supprimer un nœud du cluster — À choisir lorsqu'un serveur quitte définitivement le cluster (restitution, panne matérielle). L'instance est supprimée, le DB home et le Grid home sont retirés de ce nœud, le nœud est supprimé du cluster ; les autres nœuds restent ouverts.
• Ajouter, modifier, déplacer ou supprimer un service — À choisir pour définir le service auquel l'application se connecte, modifier son placement (preferred/available) ou son paramétrage de failover (TAF/Application Continuity), ou déplacer un service en cours d'exécution vers une autre instance. La base reste ouverte.
• Changement de SCAN, de VIP, de port du listener ou d'interconnect — À choisir si le nom ou les IP du SCAN, une VIP de nœud, le port du listener ou le réseau privé (interconnect) doivent changer. Le changement d'interconnect exige l'arrêt de tout le cluster ; les autres provoquent une courte coupure des connexions.
• Sauvegarder l'OCR et l'OLR, contrôler les sauvegardes — Sans interruption : sauvegarde manuelle de l'OCR, sauvegarde de l'OLR sur chaque nœud et copie des sauvegardes hors des disques du cluster. À choisir avant toute opération risquée : patch, ajout/suppression de nœud, changement réseau.
• OCR corrompu ou disk group CRS perdu : restaurer depuis la sauvegarde — À choisir si ocrcheck signale une corruption, si CRSD ne démarre pas (erreurs PROT-/PROC-) ou si le disk group CRS est entièrement perdu. Tout le cluster s'arrête ; l'OCR est restauré depuis la sauvegarde en mode exclusif ; si le disk group est perdu, le disk group, les voting files et le spfile ASM sont recréés.
• Clusterware ne démarre pas sur un nœud : OLR corrompu — À choisir si, alors que les autres nœuds fonctionnent, crsctl start crs ne parvient pas à démarrer OHASD sur un seul nœud et que ocrcheck -local renvoie une erreur OLR. Seul ce nœud est concerné : l'OLR est restauré depuis la sauvegarde.
• Déplacer l'OCR et les voting files vers un autre disk group — Sans interruption : ocrconfig -add/-delete et crsctl replace votedisk. À choisir lors d'un changement de stockage (SAN), pour augmenter la redondance du disk group CRS ou pour écrire aussi l'OCR dans un second disk group.

Avant de commencer

• Accès root sur tous les nœuds et login shell avec les utilisateurs grid/oracle (sudo -iu grid) ; les profils grid et oracle chargent l'environnement du Grid home / DB home.
• Avant de commencer, le cluster est sain : CRS online sur tous les nœuds, aucune ressource arrêtée qui devrait être démarrée. Sinon, corrigez d'abord le problème avec le contrôle de santé.
• La fenêtre de maintenance et la demande de changement sont validées ; les équipes applicatives sont informées ; un blackout est ouvert dans la supervision. …Cette opération provoque une interruption totale.…
• La base dispose d'une sauvegarde RMAN récente et de sauvegardes des archive logs… (l'ajout/la suppression d'instance modifie les redo threads et les tablespaces undo)….
• Une sauvegarde OCR conservée hors des disques du cluster (…) est disponible, ou le chemin de la sauvegarde automatique dans un disk group intact est connu. …Pour le disk group CRS, des disques libres en nombre suffisant pour la redondance … et visibles sur tous les nœuds sont prêts.…
• Le nouveau nœud (…) a la même version de système d'exploitation et le même noyau que les nœuds existants ; la préparation du système d'exploitation de l'installation RAC et la préparation du stockage ont été faites ; les noms d'interfaces publique/privée sont identiques ; les LUN partagés sont aussi présentés à ce nœud ; l'adresse VIP … est libre.
• L'heure approximative de l'incident est connue. Si AHF (TFA) est installé, la collecte de diagnostic se fait en une commande ; sinon, les logs sont examinés manuellement.

Phases du guide

• Contrôle de santé du cluster — Vérifier la pile Clusterware sur tous les nœuds · Lister l'état des ressources · Vérifier l'état de la base, des services et des listeners · Vérifier l'intégrité de l'OCR, des voting files et de l'OLR · Vérifier ASM et le remplissage des disk groups · Vérifier la configuration réseau et la synchronisation horaire …
• Arrêter tout le cluster — Enregistrer l'état avant l'arrêt · Sauvegarder manuellement l'OCR (filet de sécurité) · Arrêter toutes les bases · Arrêter Clusterware sur tous les nœuds · Arrêter OHASD (…) · Effectuer la maintenance
• Démarrer tout le cluster — Démarrer Clusterware (…) · Attendre que tous les nœuds rejoignent le cluster · Vérifier que les bases sont ouvertes · Comparer les ressources après démarrage
• Préparation du nouveau nœud et contrôles préalables — Enregistrer la configuration actuelle du cluster · Vérifier la préparation du système d'exploitation du nouveau nœud · Ajouter le nouveau nœud dans /etc/hosts (…) · Étendre l'équivalence SSH de l'utilisateur grid au nouveau nœud · Étendre l'équivalence SSH de l'utilisateur oracle au nouveau nœud · Envoyer le RPM cvuqdisk vers le nouveau nœud …
• Extension de Grid Infrastructure au nouveau nœud — Sauvegarder manuellement l'OCR (filet de sécurité) · Étendre le Grid home au nouveau nœud (addnode.sh) · Exécuter orainstRoot.sh (nouveau nœud) · Exécuter root.sh (nouveau nœud) · Configurer l'environnement grid sur le nouveau nœud · Vérifier le nouveau nœud dans le cluster
• DB home et nouvelle instance — Étendre le DB home au nouveau nœud · Exécuter le root.sh du DB home (nouveau nœud) · Configurer l'environnement oracle sur le nouveau nœud · Ajouter la nouvelle instance (dbca -addInstance) · Ajouter la nouvelle instance à la configuration des services · Vérifier la nouvelle instance
• Après l'ajout du nœud — Sauvegarder l'OLR du nouveau nœud · Sauvegarder l'OCR de la nouvelle configuration · Mettre à jour la supervision, les sauvegardes et les tâches d'exploitation
• Suppression de l'instance et du DB home — Vider les services de … (l'instance reste ouverte) · Supprimer l'instance (dbca -deleteInstance) · Restreindre l'inventaire du DB home au nœud cible (…) · Retirer le DB home (deinstall -local) (…) · Mettre à jour l'inventaire du DB home sur les nœuds restants
• Retrait de Clusterware du nœud cible — Vérifier l'état pin et le lever si nécessaire · Retirer le Grid home (deinstall -local) (…) · Supprimer le nœud de la définition du cluster · Vérifier la suppression et retirer la VIP résiduelle
• Après la suppression du nœud — Sauvegarder l'OCR de la nouvelle configuration · Nettoyer les résidus et mettre à jour les enregistrements
• Service : diagnostic — Afficher la configuration actuelle des services
• Service : mise en œuvre — Ajouter et démarrer le service · Modifier le placement et les paramètres du service · Démarrer le service selon le nouveau placement · Déplacer le service vers une autre instance · Arrêter et supprimer le service
• Service : vérification — Vérifier que le service apparaît dans la base et dans le listener
• Changement réseau : diagnostic et filet de sécurité — Enregistrer la configuration réseau actuelle · Sauvegarder manuellement l'OCR (filet de sécurité) · Sauvegarder le profil GPnP (…)
• Changer le nom / les IP du SCAN — Vérifier la nouvelle résolution du SCAN · Recréer les SCAN VIP et les SCAN listeners avec les nouvelles valeurs · Mettre à jour le paramètre remote_listener de la base · Vérifier la connexion via le SCAN
• Sauvegarde OCR et OLR — Afficher les sauvegardes OCR existantes et leur emplacement · Sauvegarder manuellement l'OCR · Copier la dernière sauvegarde manuelle hors du cluster et la vérifier · Sauvegarder manuellement l'OLR (…) · Sauvegarder aussi le spfile ASM et le fichier de mots de passe
• Restauration de l'OCR : diagnostic — Vérifier l'état de l'OCR et de Clusterware · Vérifier le disk group et les disques côté ASM · Vérifier la sauvegarde à restaurer
• Restauration de l'OCR : mise en œuvre — Arrêter Clusterware (…) · Démarrer Clusterware en mode exclusif sur le nœud 1 · Démarrer ASM avec un fichier de paramètres temporaire (si le spfile est perdu) · Recréer le disk group … · Restaurer l'OCR depuis la sauvegarde · Recréer les voting files …
• Restauration de l'OCR : vérification et suite — Vérifier le cluster et l'OCR · Vérifier les changements postérieurs à la sauvegarde · Prendre une nouvelle sauvegarde OCR et éliminer la cause première