QNAP mit MyCloudNAS, Netgear mit ReadyNAS Photos II sowie Egnyte, Buffalo mit Cloudstation und Thecus mit Thecusshare bieten ähnliche Cloud-Funktionalitäten.

Ich habe mir im weihnachtlichen Konsumrausch ein Synology DS411j zugelegt. In diesem Artikel möchte ich auf Besonderheiten und Fallstricke beim Einsatz von von Photo Station 5 aufmerksam machen.

Auf der Homepage wird zwar der Sachverhalt erklärt. Aber wer liest schon die Anleitung oder Produktbeschreibung vollständig durch? Hier der relevante Absatz:

Eine weitere Option zum Hochladen von Fotos ist Synology Assistant. Mit ihm können Sie Fotos hochladen, ohne die Verwaltungsoberfläche zu öffnen. Wählen Sie einfach die Anwendung Foto-Uploader im Synology Assistant, und Sie erhalten eine intuitive Benutzeroberfläche, die einem Assistenten ähnelt. Der Foto-Uploader vereinfacht das Hochladen und ermöglicht Ihnen das Veröffentlichen von Fotos und Videos, ohne dass ein Browser erforderlich ist. Zusätzlich wandelt der Foto-Uploader die Miniaturansichten der Fotos und Videos mit der Rechnerleistung Ihres Desktops um, was den Vorgang deutlich beschleunigt. Diese kompakte Anwendung wird ergänzt durch die Vorschau der Miniaturansichten und die Auswahl der Videoqualität.

Wenn man sich wundert, warum das Synology-NAS nach dem Betanken mit Photos und Videos via CIFS/NFS permanent ausgelastet ist, hat man obigen Absatz überlesen. Beim Befüllen des NAS werden Miniaturansichten von Bildern und Web-kompatible Versionen von Videos erstellt. Der integrierte ARM-Prozessor ist hier aber schnell hoffnungslos überlastet. Man muß aber deshalb nicht zwangsläufig zu einem NAS mit Intel CPU greifen. Über die Funktion Foto Uploader im Synology assistant kann man diese CPU intensiven Berechnungen am PC/MAC ausführen.

 Jeder sollte das Recht haben, eine eigene Fotosammlung oder ein Blog auf der DiskStation zu besitzen – und genau das bietet Ihnen Photo Station jetzt in DSM.

Standardmäßig richtet das Synology NAS eine Freigabe für Photos ein, z.B.\\nas\photo bzw. http://nas/photo/

Wenn man auf dem Synology NAS individuelle Home-Verzeichnisse pro Benutzer anlegt besteht die Möglichkeit pro Benutzer auch einen Photo-Bereich anzulegen: \\nas\admin\photo bzw. http://nas/~admin/photo/

Zunächst einmal aktiviert man individuelle Home-Verzeichnisse im DSM. Danach aktiviert man Photo Station 5 im DSM, stellt die Qualität für Miniaturansichten ein und vergibt ggf. noch Berechtigungen:

Nun kann jeder DSM Benutzer eine persönliche Photo Station 5 auf Wunsch aktivieren:

Nun wird der Synology Assistant konfiguriert um den Foto-Uploader nutzen zu können:

Danach wählt man den Karteireiter Foto-Uploader aus und bestimmt Quelle und Ziel des Photo/Video-Uploads:

Update

Im Synology Wiki gibt es einen Artikel wie man die Berechnung der Miniaturansicht über die NAS-CPU beschleunigt.

Deshalb hier ein real life Beispiel:

Letztes Wochenende stellten wir unser mySAP.ERP2005 System um. Historisch bedingt lief es zuvor non-Uniode, was dem Resourcenverbrauch zugute kam. Nun sollen aber die Niederlassungen im Ausland auch in den Genuß der SAP-Software in Landessprache kommen. Ein Mischbetrieb zwischen westeuropäischem Zeichensatz und anderen ist aber nicht möglich.

RAM

CPU

Deutlich kann man den knapp doppelten Speicherverbrauch der Oracle-Datenbank nach der Unicode-Migration feststellen. Der CPU-Verbrauch erhöhte sich gering.

P.S.

Das CPU-Verhalten ist allerdings aus der Statistik kaum abzulesen, da die Arbeitstage vor und nach der Migration vom Lastverhalten ziemlich unterschiedlich waren. Es wurden nach der Migration weniger CPU-lastige Jobs gestartet. Die oben genannten Statistiken zeigen das Verhalten der SAP-Zentralinstanz.

Die Tools cpubar und iobar in Aktion:

Im linken Bereich von cpubar sieht man die Auslastung der CPU-cores. Der deutlich größte Teil der Last (gün) wird vom R3load und den Oracle-Prozessen verbraucht. Die vom Betriebssystem selbst bzw. vom Kernel verursachte Last wird rot dargestellt. Der orange Teil stellt dar, dass die cores mehr oder weniger auf IO warten mussten, d.h. von Disk lesen und auf Disk schreiben. Deutlicher wird das am zweiten roten Balken rechts daneben. In der “blocked queue” sieht man wie viele Prozesse aktuell auf IO warten.  Der Speicherverbrauch wird außerdem weiter rechts angezeigt.

iotop Statistik:

Diese iotop-statistik zeigt eines deutlich: Es gibt bei Zugriffen auf Speichermedien mehr relevante Werte als den Durchsatz in MB/s. Interessant ist vor allem auch IOPS (Schreib- und Lesevorgänge). Datenbanken wie Oracle schreiben und lesen i.d.R. in 8kB großen Böcken.

In diesem Beispiel sind die Disks per Multipathing-Software (hier EMC Powerpath) an ein Storagesystem angebunden (hier EMC DMX4). Dabei stehen 2 Dual-Channel 2Gb/s Fibrechannel-HBAs vom Typ Emulex LP9002-DC zur Verfügung. Der HBA-Typ bzw. der daruf verbaute ASIC entscheidet über dessen Leistungsfähigkeit.

Für die Administration unter Windows kann Portable Putty und XMing empfehlen (ssh-Client und X-Server).

Bei bereits konfigurierten Tapedrives kann die Einstellung folgendermaßen ausgelesen werden:

root@xyz # mt -f /dev/rmt/1cbn config

“HP Ultrium 3″, “HP Ultrium LTO 3″, “CFGHPULTRIUMLTO3″;

CFGHPULTRIUMLTO3 = 2,0x3B,0,0×18619,4,0×42,0×42,0×44,0×44,3,60,1200,600,1200,600,600,18000;

Die Werte sollten mit den Empfehlungen vom Hersteller des Tapedrives verglichen werden. In diesem Fall handelt es sich um HP LTO3 drives in einer Sun/STK SL500. HP liefert hier dazu die technischen Daten.
Wie man unten sieht ist die Empfehlung von HP nahezu identisch wie der zuvor per mt ermittelte Wert.
ULTRIUM3 = 2,0x3B,0,0×18659,4,0×44,0×44,0×44,0×44,3, 60,1200,600,1200,600,600,18000;
Laut o.g. Parametern ist die blocksize auf variabel gesetzt, die Variable record size ist nicht auf 64 KB begrenzt.

Sun liefert für viele eigene (OEM-) Produkte bereits passende Voreinstellungen im st-Treiber mit. Diese Voreinstellungen finden sich nicht in der /kernel/drv/st.conf. Für Fremdprodukte muß das allerdings in dieser Datei eingetragen werden.

Durch die variable Blocksize im Treiber kann nun jede Backupanwendung die gewünschte Blocksize mitgeben. Das gilt auch für Solaris-Tools wie ufsdump.

Im EMC Networker kann man sich die verwendete Blocksize im Startprotokoll anzeigen lassen. Dazu muß aber zunächst im Networker start-Skript /etc/init.d/networker eine Umgebungsvariable gesetzt werden.

NSR_DEV_BLOCK_SIZE_MSG=YES
export NSR_DEV_BLOCK_SIZE_MSG

Danach muß der Networker durchgestartet werden.

nsr_shutdown -f -t 10

/etc/init.d/networker start

Jetzt kann man im Startprotokoll die voreingestellten Werte ablesen.

tail -300 /nsr/logs/daemon.raw > – | nsr_render_log – | more

…

nsrd: media notice: name: LTO Ultrium block size = 64 KB
nsrd: media notice: name: LTO Ultrium-2 block size = 64 KB
…

Im Anschluß kann man die ermittelten Werte für jeden Laufwerkstyp an den eigenen Bedarf anpassen. Eine Einführung zum Thema Tape-Performance und passende Werte bietet dieser SUN/Bigadmin-Artikel. Es ist also wieder eine Umgebungsvariable zu setzen. Diese muß pro Laufwerkstyp gesetzt werden.

NSR_DEV_BLOCK_SIZE_MEDIA_TYPE=XXX

MEDIA_TYPE ist die Bezeichnung für den Laufwerks/Medientyp. Hierbei gilt folgende Syntax: Bezeichnung wie in Networker-Startmeldungen, allerdings alles in Großbuchstaben und Leerzeichen sowie Bindestriche durch Unterstriche ersetzen.

z.B. 64kB für LTO2 setzen

NSR_DEV_BLOCK_SIZE_LTO_Ultrium_2=64
export NSR_DEV_BLOCK_SIZE_LTO_Ultrium_2

Hierbei ist auf folgendes zu achten:

Bei Windows verhindert ggf. der Treiber des HBAs eine größere Blocksize als 64kB (ggf. per Registry änderbar). Netapp schreibt auch mit 64kB. In heterogenen Umgebungen kann es also durchaus Sinn machen als Standard bei 64kB zu bleiben. Die Blocksize wird im Networker beim Label-Vorgang auf dem Tape aufgebracht. Tapes mit anders gelabelter Blocksize als im Networker voreingestellt machen i.d.R. Performanceprobleme. Ein nachträgliches Labeln (Datenverlust!) behebt das Problem. Man kann durch Trennung in verschiedene Pools für verschiedene Blocksizes das Problem ggf. umgehen.

Ein weiterer Parameter ist der Abstand für “Markierungen” auf den Tapes, die für das Positionieren wichtig sind. Das Schreiben der Markierungen bremst schnelle Laufwerke aus. Weit auseinander liegende Markierungen bringen zwar höhere Backup-Performance, können aber die Restore-Performance drastisch verschlechtern.

Anzeige der voreingestellten Werte mit:

NSR_DEV_TAPE_FILE_SIZE_MSG=YES

export NSR_DEV_TAPE_FILE_SIZE_MSG

Für LTO2 wird als Kompromiß bei einer Blocksize von 64kB 200000 Blöcke Abstand empfohlen. D.h. nach

12,2GB geschriebenen Daten auf Band wird eine Markierung geschrieben.

NSR_DEV_TAPE_FILE_SIZE_LTO_ULTRIUM=200000

Weitere Parameter für die Networker-Startdatei sind:

NSR_SAVEGRP_SS_OUT_RETENTION
NSR_DEV_DEFAULT_CAPACITY_MEDIA_TYPE
NSR_DEV_LOAD_TIME_MEDIA_TYPE
NSR_DEV_LOAD_POLL_INTERVAL_MEDIA_TYPE
NSR_DEV_LOAD_TRY_LIMIT_MEDIA_TYPE

Hierzu sind noch folgende EMC Knowledgebase-Artikel empfehlenswert: esg53349, esg57225, esg57077 und esg64343. Zu finden unter https://powerlink.emc.com

P.S.

Ich bin schon gespannt auf die unterstützte Sun-Hardware für Monitoringzwecke. Ebenso interessant dürfte die Performance der Anwendung sein – die bisherige Java-Applikation verlangte starke Nerven und viel Kaffee…