Networker: VTL drive settings
target sessions = 1
max sessions = 1

Networker module for Oracle: example RMAN-script

connect target sys/password@dbsid;

# Known RMAN Performance Problems Oracle DOC-ID 247611.1
# Oracle DOC-ID 358171.1 – improve restore performance
set parallelmediarestore off;

# Oracle Bug 5247609
sql “alter session set optimizer_mode=rule”;

run
{

# include backup of control file for desaster recovery
configure controlfile autobackup on;

# disable Oracle retention policy – use Networker retention policy
# use “crosscheck backup;” and “delete obsolete;” to synchronize
configure retention policy to none;

# autoconfigure Networker “tape” channel
configure channel device type ‘sbt_tape’ parms
‘ENV=(NSR_CLIENT=backupclient.domain.tld)’;

# count for autoconfigured channels
CONFIGURE DEVICE TYPE ‘sbt_tape’ PARALLELISM 4;

# set “filesperset 1″ for dedupe optimization (one datafile per saveset)

# start online full backup
backup full device type ‘sbt_tape’ filesperset 1 (database format ‘NMO%d%s%u’);

# archive all redo logs after online backup
sql ‘alter system archive log current’;

# start archive log backup
backup device type ‘sbt_tape’ filesperset 1 format ‘NMOARC%t%s%p%d%u’ (archivelog all delete input);

}

Networker Module for SAP/Oracle: noteable parameters for UTL-file / brbackup

# This is the sample init.utl file.
# This file contains settings for the NetWorker Module for SAP with
# Oracle (a.k.a. NMSAP).
###########################################################################

# Default Value: 20
# Valid Values: > 0 integer
# Number of savesets to use for backups.
# This parameter will be ignored if ‘ss_group_by_fs’ is set to ‘yes’.
# tune dedupe: set >= count of Oracle datafiles so that 1 saveset contains 1 datafile
savesets = 200

# Default Value: 8
# Valid Values: > 0 integer
# Number of simultaneous savesets/savestreams to send to server.
# Be sure your server and devices are configured to support at least
# as many streams.
# set number of simultaneous savesets, one VTL-drive for each savestream!
parallelism = 4

# Default Value: no
# Valid Values: no/yes
# Group saveset by file system
# If set to ‘yes’, savesets parameter will be ignored
# don’t group savesets, bad for dedupe
ss_group_by_fs = no

Da die Backups zum ersten Mal in der neuen Umgebung laufen handelt es sich logischerweise um Full-Backups. Aber auch hier kann man bereits den Effekt der Inline-Deduplizierung sehen: 2,9TB geschrieben, aber nur 1,3TB belegt (Backup von Home- und Abteilungs-Laufwerken). Nach einigen Sicherungsvorgängen sollte das Verhältnis noch deutlich besser werden.

Auf der zweiten DD670 kann man das bereits erkennen. Dort laufen seit 5 Tagen Filesystem-Backups von Windows, SLES und AIX (Backup OS und Programminstallationen).

Einziger Nachteil der VTLs: Bei der großen Menge drives kann man nsrwatch auch auf einen großen Monitor kaum mehr benutzen und verwendet dann doch lieber die Networker Management Console

Als zentrale Komponente kommt dann eine VTL mit Deduplizierung zum Einsatz – zuletzt war noch EMC mit 2 Datadomain DD670 und Quantum mit 2 DXi6700 im Rennen. Die Entscheidung fiel letztendlich knapp zugunsten von EMC aus.

Nächstes Jahr wird es also hier wieder etwas RZ-techniklastiger im Blog zugehen. Zu berichten gibt es sicherlich genügend.

P.S.

Für dich Anton hier nochmals der Hinweis: Die zukünftige Backuplösung für die Niederlassungen heißt nicht EMC Avatar

Was kann man nun damit anstellen?

Administratoren können sich in einer Linux-Umgebung MHVTL installieren und damit 1-x VTLs simulieren.

Wozu braucht man das?

Echte Bandroboter / VTLs bekommt man nicht gerade zum Schnäppchenpreis. Die Einstiegsgeräte kosten bereits mehrere Tausend Euro. Wenn man nun eine Datensicherungssoftware testen oder das Sichern/Wiederherstellen üben will ist MHVTL eine ideale kostenlose Komponente einer Backup-Testumgebung.

Läuft MHVTL unter Windows, MacOsX, Solaris, BSD, …?

Nein, MHVTL ist als Linux-Kernelmodul implementiert und damit nur auf Linux-Distributionen lauffähig. I.d.R. untersützt aber jede brauchbare Datensicherungssoftware für Windows die Integration von Medienservern unter Linux. Alternativ kann man auch MHVTL mittels ISCSI-Target anderen Betriebssystemen via LAN zur Verfügung stellen. Eine Anleitung für MHVTL via ISCSI dazu findet sich im MHVTL-Forum.

Howto Networker und MHVTL auf OpenSUSE 11.2 in Virtualbox VM

Ich habe in meinem englischen Blog eine Schritt für Schritt Anleitung zur Einrichtung der Datensicherungssicherungssoftware EMC Networker zusammen mit den Sicherungsmedien Disk (AFTD) und VTL (MHVTL) erstellt. Die Installation setzt auf einer virtellen Maschine mit OpenSUSE 11.2 auf.

• Howto MHVTL  – Teil 1
• Howto MHVTL  – Teil 2
• Howto MHVTL  – Teil 3
• Howto MHVTL  – Teil 4
• Howto MHVTL  – Teil 5
• Howto MHVTL  – Teil 6

Für MHVTL gibt es ein Supportforum, das ggf. bei Problemen weiterhelfen kann.

In meinem Beispiel habe ich in der VTL vier LTO4 Bandlaufwerke, 33 Schächte (Schacht 33 für Reinigung) und 4 E/A-Schächte eingestellt. Bestückt ist die VTL mit 20 LTO3 Bändern und 3 Reinigungsbändern.

Start der VTL

pc303420-vm3:/ # /etc/init.d/mhvtl start
vtltape: version 0.18.1
vtltape: version 0.18.1
vtltape: version 0.18.1
vtltape: version 0.18.1
vtllibrary: version 0.18.1
vtllibrary process PID is 6621
done
pc303420-vm3:/ # lsscsi -g
[0:0:0:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sda  /dev/sg0
[0:0:1:0]    disk    VMware,  VMware Virtual S 1.0   /dev/sdb  /dev/sg1
[1:0:0:0]    mediumx SPECTRA  PYTHON           5500  -         /dev/sg6
[1:0:1:0]    tape    IBM      ULT3580-TD4      5500  /dev/st0  /dev/sg2
[1:0:2:0]    tape    IBM      ULT3580-TD4      5500  /dev/st2  /dev/sg4
[1:0:3:0]    tape    IBM      ULT3580-TD4      5500  /dev/st1  /dev/sg3
[1:0:4:0]    tape    IBM      ULT3580-TD4      5500  /dev/st3  /dev/sg5

Inbetriebnahme der VTL im EMC Networker Backupprogramm

pc303420-vm3:/ # inquire -l

-l flag found: searching all LUNs, which may take over 10 minutes per adapter
for some fibre channel adapters.  Please be patient.

scsidev@0.0.0:VMware, VMware Virtual S1.0 |Disk, /dev/sg0
scsidev@0.1.0:VMware, VMware Virtual S1.0 |Disk, /dev/sg1
scsidev@1.0.0:SPECTRA PYTHON          5500|Autochanger (Jukebox), /dev/sg6
S/N: XYZZY
ATNN=SPECTRA PYTHON          XYZZY
WWNN=11223344ABCDEF00
scsidev@1.1.0:IBM     ULT3580-TD4     5500|Tape, /dev/nst0
S/N: XYZZY_A1
ATNN=IBM     ULT3580-TD4     XYZZY_A1
WWNN=11223344ABCDEF01
scsidev@1.2.0:IBM     ULT3580-TD4     5500|Tape, /dev/nst2
S/N: XYZZY_A2
ATNN=IBM     ULT3580-TD4     XYZZY_A2
WWNN=11223344ABCDEF02
scsidev@1.3.0:IBM     ULT3580-TD4     5500|Tape, /dev/nst1
S/N: XYZZY_A3
ATNN=IBM     ULT3580-TD4     XYZZY_A3
WWNN=11223344ABCDEF03
scsidev@1.4.0:IBM     ULT3580-TD4     5500|Tape, /dev/nst3
S/N: XYZZY_A4
ATNN=IBM     ULT3580-TD4     XYZZY_A4
WWNN=11223344ABCDEF04
pc303420-vm3:/ # jbconfig -l

Jbconfig is running on host pc303420-vm3.max-boegl.biz (Linux 2.6.16.60-0.54.5-default),
and is using pc303420-vm3.max-boegl.biz as the NetWorker server.

1) Configure an AlphaStor Library.
2) Configure an Autodetected SCSI Jukebox.
3) Configure an Autodetected NDMP SCSI Jukebox.
4) Configure an SJI Jukebox.
5) Configure an STL Silo.

What kind of Jukebox are you configuring? [1] 2
14484:jbconfig: Scanning SCSI buses; this may take a while …
Installing ‘Spectralogic’ jukebox – scsidev@1.0.0.

What name do you want to assign to this jukebox device? mhvtl
15814:jbconfig: Attempting to detect serial numbers on the jukebox and drives …

15815:jbconfig: Will try to use SCSI information returned by jukebox to configure drives.

Turn NetWorker auto-cleaning on (yes / no) [yes]?
The drives in this jukebox cannot be auto-configured with the available
information. You will need to provide the path for the drives.
Is (any path of) any drive intended for NDMP use? (yes / no) [no]
Is any drive going to have more than one path defined? (yes / no) [no]

Please enter the device path information in one of the following formats:

/dev/nst0 –for local path or
host:device-path –for remote node or NDMP device(s) or
host:drive-letter:directory path –for Windows disk file

Drive  1, element 1
Drive path ? /dev/nst0

Drive  2, element 2
Drive path ? /dev/nst1

Drive  3, element 3
Drive path ? /dev/nst2

Drive  4, element 4
Drive path ? /dev/nst3

Please select the appropriate drive type number:
1) 3480                  25) 9840C                 48) SAIT-2
2) 3570                  26) 9840D                 49) SD3
3) 3590                  27) 9940                  50) sdlt
4) 3592                  28) 9940B                 51) sdlt320
5) 4890                  29) adv_file              52) sdlt600
6) 4mm                   30) Atmos COS             53) SLR
7) 4mm 12GB              31) dlt                   54) T10000
4mm 20GB              32) dlt vs160             55) T10000B
9) 4mm 4GB               33) dlt-s4                56) tkz90
10) 4mm 8GB               34) dlt-v4                57) travan10
11) 4mm DAT160            35) dlt1                  58) TS1120
12) 4mm DAT72             36) dlt7000               59) TS1130
13) 8mm                   37) dlt8000               60) tz85
14) 8mm 20GB              38) file                  61) tz86
15) 8mm 5GB               39) himt                  62) tz87
16) 8mm AIT               40) logical               63) tz88
17) 8mm AIT-2             41) LTO Ultrium           64) tz89
18) 8mm AIT-3             42) LTO Ultrium-2         65) tz90
19) 8mm AIT-4             43) LTO Ultrium-3 66) tzs20
20) 8mm AIT-5             44) LTO Ultrium-4         67) VXA
21) 8mm Mammoth-2         45) optical               68) VXA-172
22) 9490                  46) qic                   69) VXA-2
23) 9840                  47) SAIT-1                70) VXA-320
24) 9840b

Enter the drive type of drive 1? 43
Are all the drives the same model? (yes / no) [yes]

Jukebox has been added successfully

The following configuration options have been set:

> Jukebox description to the control port and model.
> Autochanger control port to the port at which we found it.
> Networker managed tape autocleaning on.
> Barcode reading to on.
> Volume labels that match the barcodes.
> Slot intended to hold cleaning cartridge to 33.  Please insure that a
cleaning cartridge is in that slot
> Number of times we will use a new cleaning cartridge to 5.
> Cleaning interval for the tape drives to 6 months.

You can review and change the characteristics of the autochanger and its
associated devices using the NetWorker Management Console.

Would you like to configure another jukebox? (yes/no) [no]

VTL testen

pc303420-vm3:/ # nsrjb
1:      mhvtl   [enabled]
There is only one enabled and configured jukebox: mhvtl

Jukebox mhvtl: (Ready to accept commands)
14118:nsrjb: No volumes found in the media database…continuing.
slot  volume                            pool  barcode   volume id  recyclable
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
11: -*                                      ULT001L3  -
12: -*                                      ULT002L3  -
13: -*                                      ULT003L3  -
14: -*                                      ULT004L3  -
15: -*                                      ULT005L3  -
16: -*                                      ULT006L3  -
17: -*                                      ULT007L3  -
18: -*                                      ULT008L3  -
19: -*                                      ULT009L3  -
20: -*                                      ULT010L3  -
21: -*                                      ULT011L3  -
22: -*                                      ULT012L3  -
23: -*                                      ULT013L3  -
24: -*                                      ULT014L3  -
25: -*                                      ULT015L3  -
26: -*                                      ULT016L3  -
27: -*                                      ULT017L3  -
28: -*                                      ULT018L3  -
29: -*                                      ULT019L3  -
30: -*                                      ULT020L3  -
31: -*                                      CLN001L1  -
32: -*                                      CLN002L1  -
33: Cleaning Tape (5 uses left)             CLN003L1  -
*not registered in the NetWorker media data base

drive 1 (/dev/nst0) slot   :
drive 2 (/dev/nst1) slot   :
drive 3 (/dev/nst2) slot   :
drive 4 (/dev/nst3) slot   :

Meine Testkonfiguration

SLES10SP3 VM auf VMware Server 2.02

pc303420-vm3:/ # uname -a
Linux pc303420-vm3 2.6.16.60-0.54.5-default #1 Fri Sep 4 01:28:03 UTC 2009 i686 i686 i386 GNU/Linux

pc303420-vm3:/ # cat /etc/issue
Welcome to SUSE Linux Enterprise Server 10 SP3 (i586) – Kernel \r (\l).

pc303420-vm3:/ # rpm -qa | grep lgto
lgtonode-7.6-1
lgtoclnt-7.6-1
lgtoserv-7.6-1
lgtonmc-7.6-1
lgtoman-7.6-1

pc303420-vm3:/etc/mhvtl # cat device.conf

VERSION: 3

# VPD page format:
# <page #> <Length> <x> <x+1>… <x+n>
# NAA format is an 8 hex byte value seperated by ‘:’
# Note: NAA is part of inquiry VPD 0×83
#
# Each ‘record’ is sperated by one (or more) blank lines.
# Each ‘record’ starts at column 1
# Serial num max len is 10.
# Compression: factor <value> enabled [0|1]
#     Where <value> is zlib compression factor 1 = Fastest compression
#                                              9 = Best compression
#         enabled 1 – Compression is enabled,
#         enabled 0 – Compression is disabled

Library: 0 CHANNEL: 0 TARGET: 0 LUN: 0
Vendor identification: SPECTRA
Product identification: PYTHON
Product revision level: 5500
Unit serial number: XYZZY
NAA: 11:22:33:44:ab:cd:ef:00

Drive: 1 CHANNEL: 0 TARGET: 1 LUN: 0
Vendor identification: IBM
Product identification: ULT3580-TD4
Product revision level: 5500
Unit serial number: XYZZY_A1
NAA: 11:22:33:44:ab:cd:ef:01
Compression: factor 1 enabled 1
VPD: b0 04 00 02 01 00

Drive: 2 CHANNEL: 0 TARGET: 2 LUN: 0
Vendor identification: IBM
Product identification: ULT3580-TD4
Product revision level: 5500
Unit serial number: XYZZY_A2
NAA: 11:22:33:44:ab:cd:ef:02
Compression: factor 1 enabled 1
VPD: b0 04 00 02 01 00

Drive: 3 CHANNEL: 0 TARGET: 3 LUN: 0
Vendor identification: IBM
Product identification: ULT3580-TD4
Product revision level: 5500
Unit serial number: XYZZY_A3
NAA: 11:22:33:44:ab:cd:ef:03
Compression: factor 1 enabled 1
VPD: b0 04 00 02 01 00

Drive: 4 CHANNEL: 0 TARGET: 4 LUN: 0
Vendor identification: IBM
Product identification: ULT3580-TD4
Product revision level: 5500
Unit serial number: XYZZY_A4
NAA: 11:22:33:44:ab:cd:ef:04
Compression: factor 1 enabled 1
VPD: b0 04 00 02 01 00

pc303420-vm3:/etc/mhvtl # cat library_contents
VERSION: 2

Drive 1: XYZZY_A1
Drive 2: XYZZY_A2
Drive 3: XYZZY_A3
Drive 4: XYZZY_A4

Picker 1:

MAP 1:
MAP 2:
MAP 3:
MAP 4:

# Slot 1 – ?, no gaps
# Slot N: [barcode]
# [barcode]
# a barcode is comprised of three fields: [Leading] [identifier] [Trailing]
# Leading “CLN” — cleaning tape
# Leading “W” — WORM tape
# Leading “NOBAR” — will appear to have no barcode
# If the barcode is at least 8 character long, then the last two characters are Trailing
# Trailing “S3″ – SDLT600
# Trailing “X4″ – AIT-4
# Trailing “L1″ – LTO 1
# Trailing “TA” – T10000+
# Trailing “JA” – 3592+
# Trailing “JB” – 3592E05+
# Trailing “JW” – WORM 3592+
# Trailing “JX” – WORM 3592E05+
#
Slot 1:
Slot 2:
Slot 3:
Slot 4:
Slot 5:
Slot 6:
Slot 7:
Slot 8:
Slot 9:
Slot 10:
Slot 11: ULT001L3
Slot 12: ULT002L3
Slot 13: ULT003L3
Slot 14: ULT004L3
Slot 15: ULT005L3
Slot 16: ULT006L3
Slot 17: ULT007L3
Slot 18: ULT008L3
Slot 19: ULT009L3
Slot 20: ULT010L3
Slot 21: ULT011L3
Slot 22: ULT012L3
Slot 23: ULT013L3
Slot 24: ULT014L3
Slot 25: ULT015L3
Slot 26: ULT016L3
Slot 27: ULT017L3
Slot 28: ULT018L3
Slot 29: ULT019L3
Slot 30: ULT020L3
Slot 31: CLN001L1
Slot 32: CLN002L1
Slot 33: CLN003L1

Hier noch ein paar Screenshots vom Betrieb der VTL im Networker 7.6 …

P.S.

Die Eval-Version des EMC Networker läßt sich mit “grace” als Auth-Code 6 Wochen lang betreiben.

Sollte jemand beim Erstellen der virtuellen Bänder bzw. beim Aufruf des Tools mktape auf den Bug “mktape error: Structure of MAM incorrect size: 1016″ stoßen bitte hier weiterlesen…

Update

Ich habe ein Howto für MHVTL auf OpenSUSE inkl. Einrichtung Networker geschrieben.

Kurz und knapp gesagt gab es einige Ecken und Kanten und im Nachhinein ist man wieder ein Stück schlauer… Mittlerweile mit Networker 7.4.2 bin ich mit dem Betrieb des Backups i.A. zufrieden und möchte ein paar Gedanken dazu niederschreiben. Man möge mir die häufige Nennung von EMC Produkten verzeihen, aber da kenne ich das Portfolio einigermaßen.

Backup to Disk aka. B2D

Eigentlich handelt es sich oftmals um Backup to Disk to Tape, aber das nur am Rande… Hier gibt es prinzipiell mehrere Ansätze. In erster Linie spielt hier Performance und der Geldbeutel die maßgebende Rolle:

• Storage-interne Replikation (Point in time Copy), z.B. EMC Timefinder Clone für EMC DMX Storage, Applikationsintegration (Exchange, Oracle, …) und GUI mit EMC Replication Manager → Vorteil: sehr schnell, keine Last im SAN, da Replikation Storage-intern → Nachteil: Preis, herstellerabhängig (jeder große Storage-Hersteller hat das aber: z.B. HDS truecopy, Netapp snapvault/snapmanager)
• Spezialfall CDP: relativ neu auf dem Markt sind Produkte für Continous Data Protection, wo eine fortlaufende Replikation stattfindet und ein Restore auf einen nahezu beliebigen Zeitpunkt erfolgen kann, z.B. EMC Recoverpoint → Vorteil: schnelle Wiederherstellung eines nahezu beliebigen Zeitpunkts → Nachteil: noch zu neu…, Skalierbarkeit, Kompatibilität, herstellerabhängig
• Storage-externe Replikation (Point in time Copy), z.B. Sun AVS unter Solaris → Vorteil: Preis, passend für jedes Storage unter Solaris → Nachteil: hohe Last im SAN
• Backup per LAN auf Networker Advanced File Type devices, die wiederum auf Disks des Servers/Storage Nodes liegen. → Vorteil: unbhängig vom Storage-Hersteller, individuell einstellbar → div. “Ecken und Kanten”, langsamer als Storage-Replikation → bei der Nutzung von Storage mit Datendeduplizierung sehr gute Ausnutzung der Kapazität, z.B. mit ASIS bei Netapp Storage
• Spezialfall Dedup: Backup per LAN mit EMC Avamar Appliance und EMC Networker, Avamar Client ist im aktuellen Networker Client bereits integriert → Vorteil: Datendeduplizierung bereits am Client, d.h. unnötige Daten werden nicht per LAN übertragen → Nachteil: herstellerabhängig, langsamer als Storage-Replikation
• Virtual Tape Library (VTL): Disksystem, das sich nach außen wie eine Tape-Library verhält, z.B. EMC DL3D 4000 → Vorteil: einfache Integration und Bedienung → Nachteil: langsamer als Storage-Replikation → bei der Nutzung der EMC VTL gibt es den zus. Nutzen, daß die EMC Networker Storage Node Funktionalität inegriert ist (gleiches gilt für Netbackup), eine Datendeduplizierung ist ebenso integriert

Networker Advanced Filetype Device (AFTD)

Wie bereits angesprochen haben die AFTDs einige Ecken und Kanten.

• Prinzipiell sind AFTDs wie Tape-Laufwerke zu betrachten, in denen man Volumes einlegen kann. Im Gegensatz zu Tapes funktioniert aber Volume-übergreifendes Backup (Spanning) nicht (wenn das erste Volume voll ist wird für das bereits laufende Backup nicht beim nächsten Volume fortgesetzt). Der Nutzen von mehr als einem Volume pro AFTD ist also eher gering.
• Man muß durch rechtzeitiges Auslagern in einen anderen Pool (Staging – i.d.R. auf Tape) verhindern, daß das AFTD 100% Füllgrad erreicht. Dafür muß das Staging konfiguriert werden. Damit einem das AFTD während des Stagings nicht voll läuft (die Aufräumaktion findet erst nach erfolgreichem Staging statt) muß genügend Reserve in der Speicherkapazität des AFTDs vorgesehen werden. 
• Während eines Staging-Vorgangs kann keine Restore-Operation mit Daten des betroffenen AFTD durchgeführt werden. Aus diesem Grund ist es von Vorteil mehrere AFTDs anzulegen und die Staging-Intervalle relativ kurz zu halten.
• Automatisches Cloning von savesets (über Eigenschaft in der savegroup einstallbar) und zeitlich überlappendes Staging führt zu Problemen (saveset ist ggf. bereits gestagt und kann nicht mehr geclont werden). Es gilt bzgl. Restore die selbe Einschränkung wie beim Staging.

ZFS für AFTDs

ZFS bietet einige Vorteile, aber auch Einschränkungen für die Nutzung von AFTDs.

• Mit ZFS-Filesystemen/Mountpoints als Speicher für AFTDs ist die kurzfristige Erweiterung bei Speichermangel kein Problem – einfach dem ZPool zus. Disks spendieren…
• Ohne das Setzen von Quotas teilen sich alle Filesysteme den gemeinsamen Platz, was eine bessere Ausnutzung der vorhandenen Kapazitäten ermöglicht. allerdings funktioniert dann das Staging nur noch sinnvoll auf Basis der Aufbewahrungsfrist.
• ZFS läßt sich schön verwalten – entweder per GUI oder eingängen CLI-Befehlen.
• ZFS sollte nicht ohne Tuning betrieben werden. Um eine gute Performance zu bekommen sollte man Solaris 10 Update 5 einsetzen. Dort kann z.B. der ZFS Cache Flush für externe, batteriegepufferte Storagesysteme abgeschaltet werden. Ein paar sinnvolle Kernelparameter zu ZFS und Networker können dem Screenshot der /etc/system entnommen werden. Eine Anpassung an die eigene Umgebung ist ggf. erforderlich.