Vor einiger Zeit stand ein Austausch der Backup-Hardware an. Damals wurde sich für eine T2000 als Backup-Server, ein SE6140 als Disksystem für Backup to Disk und ein STK SL500 Tapesystem (LTO3) entschieden. Bei dieser Gelegenheit wurde auch die Backupsoftware EMC Networker von 7.2.2 auf 7.4 aktualisiert.
Kurz und knapp gesagt gab es einige Ecken und Kanten und im Nachhinein ist man wieder ein Stück schlauer… Mittlerweile mit Networker 7.4.2 bin ich mit dem Betrieb des Backups i.A. zufrieden und möchte ein paar Gedanken dazu niederschreiben. Man möge mir die häufige Nennung von EMC Produkten verzeihen, aber da kenne ich das Portfolio einigermaßen.
Backup to Disk aka. B2D
Eigentlich handelt es sich oftmals um Backup to Disk to Tape, aber das nur am Rande… Hier gibt es prinzipiell mehrere Ansätze. In erster Linie spielt hier Performance und der Geldbeutel die maßgebende Rolle:
- Storage-interne Replikation (Point in time Copy), z.B. EMC Timefinder Clone für EMC DMX Storage, Applikationsintegration (Exchange, Oracle, …) und GUI mit EMC Replication Manager → Vorteil: sehr schnell, keine Last im SAN, da Replikation Storage-intern → Nachteil: Preis, herstellerabhängig (jeder große Storage-Hersteller hat das aber: z.B. HDS truecopy, Netapp snapvault/snapmanager)
- Spezialfall CDP: relativ neu auf dem Markt sind Produkte für Continous Data Protection, wo eine fortlaufende Replikation stattfindet und ein Restore auf einen nahezu beliebigen Zeitpunkt erfolgen kann, z.B. EMC Recoverpoint → Vorteil: schnelle Wiederherstellung eines nahezu beliebigen Zeitpunkts → Nachteil: noch zu neu…, Skalierbarkeit, Kompatibilität, herstellerabhängig
- Storage-externe Replikation (Point in time Copy), z.B. Sun AVS unter Solaris → Vorteil: Preis, passend für jedes Storage unter Solaris → Nachteil: hohe Last im SAN
- Backup per LAN auf Networker Advanced File Type devices, die wiederum auf Disks des Servers/Storage Nodes liegen. → Vorteil: unbhängig vom Storage-Hersteller, individuell einstellbar → div. “Ecken und Kanten”, langsamer als Storage-Replikation → bei der Nutzung von Storage mit Datendeduplizierung sehr gute Ausnutzung der Kapazität, z.B. mit ASIS bei Netapp Storage
- Spezialfall Dedup: Backup per LAN mit EMC Avamar Appliance und EMC Networker, Avamar Client ist im aktuellen Networker Client bereits integriert → Vorteil: Datendeduplizierung bereits am Client, d.h. unnötige Daten werden nicht per LAN übertragen → Nachteil: herstellerabhängig, langsamer als Storage-Replikation
- Virtual Tape Library (VTL): Disksystem, das sich nach außen wie eine Tape-Library verhält, z.B. EMC DL3D 4000 → Vorteil: einfache Integration und Bedienung → Nachteil: langsamer als Storage-Replikation → bei der Nutzung der EMC VTL gibt es den zus. Nutzen, daß die EMC Networker Storage Node Funktionalität inegriert ist (gleiches gilt für Netbackup), eine Datendeduplizierung ist ebenso integriert
Networker Advanced Filetype Device (AFTD)
Wie bereits angesprochen haben die AFTDs einige Ecken und Kanten.
- Prinzipiell sind AFTDs wie Tape-Laufwerke zu betrachten, in denen man Volumes einlegen kann. Im Gegensatz zu Tapes funktioniert aber Volume-übergreifendes Backup (Spanning) nicht (wenn das erste Volume voll ist wird für das bereits laufende Backup nicht beim nächsten Volume fortgesetzt). Der Nutzen von mehr als einem Volume pro AFTD ist also eher gering.
- Man muß durch rechtzeitiges Auslagern in einen anderen Pool (Staging – i.d.R. auf Tape) verhindern, daß das AFTD 100% Füllgrad erreicht. Dafür muß das Staging konfiguriert werden. Damit einem das AFTD während des Stagings nicht voll läuft (die Aufräumaktion findet erst nach erfolgreichem Staging statt) muß genügend Reserve in der Speicherkapazität des AFTDs vorgesehen werden.
- Während eines Staging-Vorgangs kann keine Restore-Operation mit Daten des betroffenen AFTD durchgeführt werden. Aus diesem Grund ist es von Vorteil mehrere AFTDs anzulegen und die Staging-Intervalle relativ kurz zu halten.
- Automatisches Cloning von savesets (über Eigenschaft in der savegroup einstallbar) und zeitlich überlappendes Staging führt zu Problemen (saveset ist ggf. bereits gestagt und kann nicht mehr geclont werden). Es gilt bzgl. Restore die selbe Einschränkung wie beim Staging.
ZFS für AFTDs
ZFS bietet einige Vorteile, aber auch Einschränkungen für die Nutzung von AFTDs.
- Mit ZFS-Filesystemen/Mountpoints als Speicher für AFTDs ist die kurzfristige Erweiterung bei Speichermangel kein Problem – einfach dem ZPool zus. Disks spendieren…
- Ohne das Setzen von Quotas teilen sich alle Filesysteme den gemeinsamen Platz, was eine bessere Ausnutzung der vorhandenen Kapazitäten ermöglicht. allerdings funktioniert dann das Staging nur noch sinnvoll auf Basis der Aufbewahrungsfrist.
- ZFS läßt sich schön verwalten – entweder per GUI oder eingängen CLI-Befehlen.
- ZFS sollte nicht ohne Tuning betrieben werden. Um eine gute Performance zu bekommen sollte man Solaris 10 Update 5 einsetzen. Dort kann z.B. der ZFS Cache Flush für externe, batteriegepufferte Storagesysteme abgeschaltet werden. Ein paar sinnvolle Kernelparameter zu ZFS und Networker können dem Screenshot der /etc/system entnommen werden. Eine Anpassung an die eigene Umgebung ist ggf. erforderlich.






Hi, how is the cloning and/or reading performance from tape to tape in your environment. Our environment comprises of Solaris 10, T2000 sun cluster, SL8500, LTO3 and Networker 7.4.2 and we have serious issues with cloning performance as it does not come above 65 MB/s and it seems related to the reading speed as this also does not come above the 65MB/s which is way slower than we get with our old environment, Sol 9, 2x V440, SL8500, LTO3, Networker 7.2.2.
Hi Filip,
I don’t do tape to tape clones at the moment so I can’t give you that performance value. Disk to tape staging or backup to tape is about the the same speed as you mentioned. I can’t compare the performance to our old environment with LTO2 and Solaris9 on a V480. Here we had an extreme bottleneck in network performance. We changed to link aggregation on Solaris10 with more nic ports which boosted the overall throughput. We will change to storage-internal B2D (with EMC Timefinder/EMC Replication Manager) for our mission critical databases next year.
Hi Filip, me again
Have a look at:
http://www.sun.com/bigadmin/content/submitted/tapedrive_perftuning.jsp
Also read esg68367, esg53349 and esg57225 in EMC knowledgebase on https://powerlink.emc.com
Here you find sth like this:
…
Starting with 6.0, there are a bunch of new environment variables that can be used to control this sort of behavior:
In addition to the available NSR_DEV_BLOCK_SIZE_xxx, there are now:
NSR_DEV_TAPE_FILE_SIZE_xxx
NSR_DEV_DEFAULT_CAPACITY_xxx
NSR_DEV_LOAD_TIME_xxx
NSR_DEV_LOAD_POLL_INTERVAL_xxx
NSR_DEV_LOAD_TRY_LIMIT_xxx
The default value for the Ultrium is 64k blocks and 16384 blocks between filemarks. To increase the tape file size, try this environment variable:
NSR_DEV_TAPE_FILE_SIZE_LTO_ULTRIUM=nnn
Where nnn is a number greater than 32 and less than 2^64 – 1 (i.e. a real, real big value). A good value to try would be something like 200000 (two hundred thousand). This should decrease the filemarks to about one every 10 to 15 minutes. In general, try to set devices up to write filemarks as often as possible without affecting write performance “too much”. Usually try to keep the impact to under 1% (More filemarks means better tape locating performance during recovers.)
…
Hi, thanks for your info, we have already tried a few of those. Performance tape to tape in our old Networker environment is between 100-120 MB/s, same for reading from tape, which is almost twice as fast as in our new environment. We are going to test Networker 7.4.2 on Sol 10, V240, SL500, LTO3, FLX_210 with UFS to see what the performance is and after that with ZFS. Will keep you posted abt. outcome.