Otmanix’ Blog

Ausgangssituation

Ein Server (server1) wird nicht mehr benötigt, aus dem Rack geschafft und der Name im DNS gelöscht.

Der Backup-Admin merkt nun zunächst einmal, daß das Backup besagten Systems fehlschlägt. Auf Nachfrage bei den Kollegen stellt sich heraus, dass der Server Geschichte ist und auch definitiv kein Backup des Systems mehr aufbewahrt werden muss.

Nun geht es darum sämtliche Spuren des Servers aus dem Backup System (in diesem Fall EMC Networker) zu beseitigen.

Networker Client vollständig löschen

Der Server existiert nicht mehr im DNS, deshalb einen Dummy-Eintrag für server1 in der /etc/hosts am Backup Server erstellen. Falls irgendein schlauer Kollege den Server einfach in der Networker Management Console (NMC) gelöscht bitte selbigen nun wieder hinzufügen.

Nun gilt es am Networker Server alle Spuren des Backup-Clients zu vernichten. Dazu müssen zunächst alle Savesets des Backup Clients aus dem Client Index gelöscht werden, anschließend wird der Client Index selbst gelöscht:

for xxx in `mminfo -av -r "ssid(53)" -c server1`; do nsrmm -d -S $xxx -y; echo delete SSID $xxx ...; done

nsrck -YR server1

rm -r /nsr/index/server1/

Nun muss noch die Mediendatenbank bereinigt werden:

nsrim -c server1 -X

Zuletzt kann der Backup Client in der NMC und der Dummy-Eintrag in der /etc/hosts gelöscht werden.

Achtung! Es folgt Satire…

Am 01.10.09 ist es soweit. In der Keynote beim EMC Forum 2009 zum Thema “Das virtuelle und effiziente Rechenzentrum der Zukunft” treffen sie aufeinander:

Chuck Hollis vs. Rudolf Scharping

Während der eine schon bessere Zeiten erlebt hat…

und zur Vorbereitung des Showdown nun ganz auf Höchstleistungen in Deutschlands sauberster Sportart setzt…

ist Chucky bereits ein knallharter Kerl…

der es mit jedem aufnimmt.

P.S.

Mal ehrlich… wer geht freiwillig zu einer Keynote? Außer Dampfplauderern und Selbstbeweihräucherung gibt es dort meiner Meinung nach nichts zu sehen und zu hören…

Am 23.12.08 kommt die EMC-Bescherung mit Networker 7.5. Einen tollen Artikel zu den Neuerungen gibt es im Storagezilla-Blog.

Im Wesentlichen dreht sich in der kommenden Version alles um mehr Funktionalität im Bereich Virtualisierung. In der Version 7.4.3 wurde, wie bereits hier vorgestellt, die Lizensierung grundlegend geändert. Neben der herkömmlichen Client-Lizenz gibt es jetzt eine Virtual Client-Lizenz, die pro physikalischer Maschine abgerechnet wird. Ab etwa 5 virtuellen Maschinen rechnet sich das.

In der Version 7.5 kommt nun das Thema VMware stark zum Zug. Eine automatische Erkennung der VMware ESX – Topologie über Virtual Center und die grafische Darstellung derselben soll die Komplexität verringern. So ist nun auch VMotion kein Störfaktor mehr. Auch Microsofts Lösung Hyper-V wird besser unterstützt.

Die Deduplizierungslösung Avamar aus dem eigenen Haus ist nun stärker mit Networker verschmolzen. Zukünftig soll nun so nicht nur das zu sichernde Datenvolumen für Filesystemsicherungen reduziert werden, sondern auch für Datenbanken. Das soll dann mit den kommenden Versionen der Networker Module realisiert werden.

Nacharbeiten

Datenbank und Listener per Hand stoppen:

sapserver:oraxyz 2% sqlplus ‘/ as sysdba’

SQL*Plus: Release 10.2.0.2.0 – Production on Sun Nov 30 07:29:28 2008

Copyright (c) 1982, 2005, Oracle.  All Rights Reserved.

Connected to:
Oracle Database 10g Enterprise Edition Release 10.2.0.2.0 – 64bit Production
With the Partitioning and Data Mining options

SQL> shutdown immediate;
Database closed.
Database dismounted.
ORACLE instance shut down.
SQL> exit
Disconnected from Oracle Database 10g Enterprise Edition Release 10.2.0.2.0 – 64bit Production
With the Partitioning and Data Mining options
sapserver:oraxyz 3% lsnrctl stop LISTENER

LSNRCTL for Solaris: Version 10.2.0.2.0 – Production on 30-NOV-2008 07:31:23

Copyright (c) 1991, 2005, Oracle.  All rights reserved.

Connecting to (ADDRESS=(PROTOCOL=IPC)(KEY=XYZ.WORLD))
The command completed successfully
sapserver:oraxyz 4%

Jetzt das problematische Supportpackage 16 aus TP Buffer löschen:

root@sapserver # cd /usr/sap/trans/tmp
root@sapserver # ls -l *70016*
-rw-rw-r–   1 xyzadm   sapsys   18978680 Nov 28 20:44 SAPIB70016.XYZ
-rw-rw-r–   1 xyzadm   sapsys       363 Nov 28 18:54 SAPKKB70016.XYZ
root@sapserver # rm SAPIB70016.XYZ SAPKKB70016.XYZ

Oracle Listener und DB über Cluster starten, SAP über Cluster starten, SAP Applikationsserver starten

In der Datei /oracle/XYZ/saparch/archXYZ.log den letzten Eintrag für die Log Sequence Number auf null setzen.
Siehe dazu auch Hinweis 10170

Original:
#
#ARCHIVE.. 105098 /oracle/XYZ/saparch/XYZarch1_105098_598893149.dbf  2008-11-28 23.31.25  98787840        4307642983  1
#SAVED…. adzjazwt svd  &adzjazwt         2008-11-28 23.43.24      468014       468590
#COPIED… …….. …  …………….. ………. …….. ……….. …………
#DELETED.. adzjazwt svd  2008-11-28 23.43.24
#
#* XYZ  rman_util  adzjazwt svd  2008-11-28 23.40.03  2008-11-28 23.43.43  0  ………..    105088   105098        0        0  ——- 7.00 (36)  @0598893149
#

Änderung:
#ARCHIVE.. 0 /oracle/XYZ/saparch/XYZarch1_105098_598893149.dbf  2008-11-28 23.31.25  98787840        4307642983  1

Wenn das nicht durchgeführt wird funktioniert die Archivelogsicherung nach dem Restore nicht mehr!!!
Nach dem Ändern des Eintrags auf 0 das Archivelog-Backup starten. Nach Fertigstellung des Backups die 0 wieder auf den vorherigen Wert korrigieren.

Nun muss noch eine Vollsicherung des zurückgesicherten SAP ERP Systems durchgeführt werden. Danach ist das System wieder einsatzbereit.

Um zu verhindern, dass sich ungewünscht Leute am SAP ERP anmelden können in der Transaktion ewz5 die user gesperrt und später wieder entsperrt werden.

Update:

Vermeidbar ist der zuvor genannte Workaround um das Archivelogbackup zum Start zu bewegen trotzdem. Laut SAP haben die BRTOOLS ein Problem wenn Archivelogs unterschiedlicher Inkarnationen im selben Archivlog-Ordner liegen. D.h. im Idealfall sichert man vor dem Restore alle Archivelogs der alten Inkarnation oder verschiebt/löscht diese nach dem Restore. Dann läuft auch das Archivelogbackup nach dem Restore ohne Probleme ohne manuellen Eingriff. Das Problem ist identisch wenn mehrere Point in time recoverys hintereinander durchgeführt wurden und deshalb Logs unterschiedlicher Inkarnationen herumliegen.

Öffnen der Datenbank

BR0280I BRRECOVER time stamp: 2008-11-30 07.20.32
BR0655I Control menu 103 – please decide how to proceed
——————————————————————————-
Database point-in-time recovery main menu

1 + Set point-in-time for recovery
2 + Select database backup
3 + Check the status of database files
4 – Restore control files
5 + Restore data files
6 # Restore split incremental control files
7 # Restore and apply incremental backup
8 + Restore and apply archivelog files
9 = Open database and post-processing
10 * Exit program
11 – Reset program status

Standard keys: c – cont, b – back, s – stop, r – refr, h – help
——————————————————————————-
BR0662I Enter your choice:
9
BR0280I BRRECOVER time stamp: 2008-11-30 07.21.24
BR0663I Your choice: ‘9′

BR0614I Database instance XYZ is mounted
BR0064I Database instance XYZ will be shut down now in mode ‘IMMEDIATE’

BR0280I BRRECOVER time stamp: 2008-11-30 07.21.24
BR0670I Enter ‘c[ont]‘ to continue, ‘b[ack]‘ to go back, ’s[top]‘ to abort:
c
BR0280I BRRECOVER time stamp: 2008-11-30 07.21.41
BR0257I Your reply: ‘c’
BR0259I Program execution will be continued…

BR0280I BRRECOVER time stamp: 2008-11-30 07.21.41
BR0307I Shutting down database instance XYZ …

BR0280I BRRECOVER time stamp: 2008-11-30 07.21.46
BR0308I Shutdown of database instance XYZ successful

BR0280I BRRECOVER time stamp: 2008-11-30 07.21.46
BR0657I Input menu 135 – please enter/check input values
——————————————————————————-
Options for opening database instance XYZ

1 ~ Reset logs option (reset_logs) .. [resetlogs]
2 * Open database command (command) . [alter database open resetlogs]

Standard keys: c – cont, b – back, s – stop, r – refr, h – help
——————————————————————————-
BR0662I Enter your choice:
c
BR0280I BRRECOVER time stamp: 2008-11-30 07.22.09
BR0663I Your choice: ‘c’
BR0259I Program execution will be continued…

BR0280I BRRECOVER time stamp: 2008-11-30 07.22.09
BR0786I Database instance XYZ will be opened now in mode ‘resetlogs’
BR0787W No more archivelog files can be applied after database has been opened
BR0675I Do you want to perform this action?
BR0676I Enter ‘y[es]/c[ont]‘ to perform the action, ‘n[o]‘ to skip it, ’s[top]‘ to abort:
c
BR0280I BRRECOVER time stamp: 2008-11-30 07.22.32
BR0257I Your reply: ‘c’
BR0677I The action will be performed…
BR0259I Program execution will be continued…

BR0280I BRRECOVER time stamp: 2008-11-30 07.22.32
BR0304I Starting and opening database instance XYZ …

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.16
BR0305I Start and open of database instance XYZ successful

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.20
BR0319I Control file copy created: /oracle/XYZ/sapbackup/vdzjdabc/cntrlXYZ.new 82255872

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.20
BR0595I Selecting indexes with NOLOGGING created during or after the selected backup bdziwomt.fnr 2008-11-28 02.00.03 …
BR0285I This function can take several seconds/minutes – be patient…

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.24
BR0596I No indexes found with NOLOGGING created during or after the selected backup bdziwomt.fnr 2008-11-28 02.00.03

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.24
BR0716I Database point-in-time recovery completed

BR0280I BRRECOVER time stamp: 2008-11-30 07.23.24
BR0655I Control menu 103 – please decide how to proceed
——————————————————————————-
Database point-in-time recovery main menu

1 + Set point-in-time for recovery
2 + Select database backup
3 + Check the status of database files
4 – Restore control files
5 + Restore data files
6 # Restore split incremental control files
7 # Restore and apply incremental backup
8 + Restore and apply archivelog files
9 + Open database and post-processing
10 = Exit program
11 – Reset program status

Standard keys: c – cont, b – back, s – stop, r – refr, h – help
——————————————————————————-
BR0662I Enter your choice:
c
BR0280I BRRECOVER time stamp: 2008-11-30 07.24.51
BR0663I Your choice: ‘c’
BR0259I Program execution will be continued…
BR0280I BRRECOVER time stamp: 2008-11-30 07.24.51
BR0680I Do you really want to exit BRRECOVER? Enter y[es]/n[o]:
y
BR0280I BRRECOVER time stamp: 2008-11-30 07.25.24
BR0257I Your reply: ‘y’

BR0797I Number of restored/recovered database files: 254/266
BR0798I Number of restored/applied incremental files: 0/0
BR0799I Number of restored/applied archivelog files: 183/183

BR0706I End of database recovery: vdzjdabc.dpt 2008-11-30 07.25.24
BR0280I BRRECOVER time stamp: 2008-11-30 07.25.25
BR0703I BRRECOVER completed successfully with warnings or non-fatal errors

###############################################################################

BR0292I Execution of BRRECOVER finished with return code 1

BR0668I Warnings or errors occurred – you can continue to ignore them or go back to repeat the last action

BR0280I BRTOOLS time stamp: 2008-11-30 07.25.25
BR0670I Enter ‘c[ont]‘ to continue, ‘b[ack]‘ to go back, ’s[top]‘ to abort:
c
BR0280I BRTOOLS time stamp: 2008-11-30 07.25.37
BR0257I Your reply: ‘c’
BR0259I Program execution will be continued…

BR0280I BRTOOLS time stamp: 2008-11-30 07.25.37
BR0656I Choice menu 11 – please make a selection
——————————————————————————-
Restore and recovery

1 = Complete database recovery
2 + Database point-in-time recovery
3 – Tablespace point-in-time recovery
4 – Whole database reset
5 – Restore of individual backup files
6 – Restore and application of archivelog files
7 – Disaster recovery
8 – Reset program status

Standard keys: c – cont, b – back, s – stop, r – refr, h – help
——————————————————————————-
BR0662I Enter your choice:

b
BR0280I BRTOOLS time stamp: 2008-11-30 07.26.44
BR0663I Your choice: ‘b’
BR0673I Going back to the previous menu…

BR0280I BRTOOLS time stamp: 2008-11-30 07.26.44
BR0656I Choice menu 1 – please make a selection
——————————————————————————-
BR*Tools main menu

1 = Instance management
2 – Space management
3 – Segment management
4 – Backup and database copy
5 + Restore and recovery
6 – Check and verification
7 – Database statistics
8 – Additional functions
9 – Exit program

Standard keys: c – cont, b – back, s – stop, r – refr, h – help
——————————————————————————-
BR0662I Enter your choice:
9
BR0280I BRTOOLS time stamp: 2008-11-30 07.28.32
BR0663I Your choice: ‘9′
BR0280I BRTOOLS time stamp: 2008-11-30 07.28.32
BR0680I Do you really want to exit BRTOOLS? Enter y[es]/n[o]:
y
BR0280I BRTOOLS time stamp: 2008-11-30 07.28.35
BR0257I Your reply: ‘y’

BR0280I BRTOOLS time stamp: 2008-11-30 07.28.35
BR0652I BRTOOLS completed successfully