Ich habe noch keine Details zum OS des Geräts gefunden, bzgl. ZFS vermute ich aber mal schwer, dass das mit ZFS auf Fuse realisiert wird.

Knapp 1t schwere DMX4s sanft zu bewegen ist gar nicht so einfach.

Die ebenfalls geladenen einarmigen Banditen für die Spielbank wollte der Spediteur nicht herausrücken, obwohl die im RZ einen guten Platz bekommen hätten.

http://www.opensolaris.org/os/community/storage/

SVM, UFS, ZFS – Volumemanager, Filesysteme, Volumes, Snapshots, uvm.

Traditionell wird unter Solaris der SVM als Volumemanager benutzt, UFS ist das Standard-Filesystem. Mit Multiterabyte-Support und Journaling per SVM wurde UFS im Nachhinein aufgebohrt. UFS-Snapshots funktionieren, wirken aber irgendwie wie ein angestückelter Fremdkörper. Das Handling von SVM ist sehr gewöhnungsbedürftig, Freunde gewinnt man so sicherlich nicht. SVM/UFS ist heute nach wie vor für die Spiegelung von lokalen Bootdevices üblich.

Der große Wurf gelang Sun mit ZFS. ZFS ist Volumemanager und Filesystem zugleich. Damit ist die Liste der Features aber noch lange nicht erschöpft. Prinzipiell werden Platten oder Slices (Partitionen) einem Pool zugewiesen, ein entsprechender RAID-Level gesetzt (Striping, Mirroring, RAID-Z) und diverse Parameter wie z.B. Blocksize gesetzt. In einem Pool können dann ZFS-Filesysteme oder Volumes (ähnlich RAW-devices) angelegt und mit Parametern, wie z.B. Quota und Reservierung, versehen werden. Auf Volumes können beliebige Filesysteme aufgebracht werden.

Auf ZFS-Pools, -Filesysteme und -Volumes können Snapshots angewendet werden. Diese können auch geclont und damit beschreibbar wiederverwendet werden.

Mit zfs send/receive können ZFS-Daten über IP repliziert werden.

ZFS Pools können exportiert und auf einem anderen Rechner wieder importiert werden. Geänderte Hardwarepfade, etc. spielen keine Rolle – so lange alle Platten eines Pools zur Verfügung stehen klappt der Import.

ZFS ist (noch?) nicht als Shared Filesystem geeignet. D.h. im Cluster kann es nur für Failoverszenarien eingesetzt werden.

Die Performance von ZFS ist abhängig vom Szenario, wo es zum Einsatz kommen soll. Mittlerweile in den meisten Bereichen UFS ebenbürtig gibt es noch Potential zu VxFS. Tuning ist oft sinnvoll. Je höher das Solaris-Release, desto mehr Möglichkeiten zur Optimierung gibt es.

ZFS bietet neben der eingängen Shell-Kommandos auch ein Webgui.

ZFS hat eingebaute Mechanismen wie “Self Healing” und Schutz gegen “silent data corruption”.

http://blogs.sun.com/chrisg/entry/latency_bubble_in_your_io

http://przemol.blogspot.com/2008/02/zfs-vs-vxfs-vs-ufs-on-x4500-thumper.html

http://blogs.sun.com/SC/entry/why_sunw_nfs_is_required

http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS

http://www.opensolaris.org/os/community/zfs/docs/

http://wiki.edv-widhalm.com/index.php/Solaris_Volume_Manager_%28HowTo%29

http://wiki.edv-widhalm.com/index.php/Zfs_%28HowTo%29

http://www.learning-solaris.com/index.php/category/unix-solaris-storage-volume-management/

http://www.osnews.com/story/19665/Solaris_Filesystem_Choices

http://blogs.digitar.com/jjww/?itemid=52

NAS – iSCSI

Solaris beherrscht iSCSI Initiator (Zugriff auf iSCSI-Volume) und iSCSI Target (Bereitstellen
eines iSCSI Volumes). Dabei kann z.B. ein ZFS Volume als iSCSI Target genutzt werden. Das kann man z.B. nutzen um einem Windows- oder VMware-ESX-Server Diskspace zur Verfügung zu stellen. Von den ZFS Volumes können dann Snapshots erstellt werden.

http://blogs.sun.com/mhuff/entry/introduction_to_iscsi_in_solaris

http://www.opensolaris.org/os/project/iscsitgt/

http://www.opensolaris.org/os/project/isns/

http://blogs.sun.com/lokibear/entry/download_isns_web_based_management

NAS Freigaben – NFS und CIFS

ZFS-Filesysteme beherrschen UNIX- und Windows-ACLs (W2K kompatibel) – damit entfallen viele Hürden als Netzwerkspeicher. Darüber hinaus können in ZFS-Filesystemen NFS- und CIFS-Freigaben als Eigenschaften eingerichtet werden. Eine ADS-Integration ist auch möglich. Der brandneue CIFS-Server mit ZFS-Integration dürfte unter Solaris eine ernsthafte Konkurrenz zu Samba werden.

http://blogs.sun.com/timthomas/entry/opensolaris_as_a_storageos_the

http://blogs.sun.com/dougm/

http://blogs.sun.com/amw/entry/cifs_in_solaris

SAN – Fibrechannel, FCoE

Im Bereich Fibrechannel wurde zuletzt in erster Linie in leichtere Administration auf der Shell investiert. Interessant sind die OpenSolaris-Projekte Comstar und FC over Ethernet. Hier bewegt sich einiges, gerade auch im Bereich Virtualisierung mit NPIV (virtuelle FC-HBAs).

http://www.opensolaris.org/os/project/comstar/

http://www.opensolaris.org/os/project/fcoe/

http://www.opensolaris.org/os/project/npiv/

mpxio – Multipathing

Solaris unterstützt mit mpxio Multipathing für SCSI-, FC-, SAS- und iSCSI-Disks. Speichersysteme mit SCSI SPC-2/3 werrden automatisch erkannt, eine manuelle Zuordnung in der Konfigurationsdatei durch Vendor und Product ist auch möglich, z.B. “EMC SYMMETRIX”. Es wird Failover und Roundrobin als Verfahren unterstützt. Mit dem mpathadm-Kommando ist die Administration sehr eingängig. Durch mpxio wird aus den verschiedenen Hardwarepfaden (verschiedene Controller/Targets, gleiche LUN) ein virtueller Pfad erstellt, der dann für die Konfiguration im Volumemanager benutzt wird.

http://www.opensolaris.org/os/project/mpxio/

last but not least: ZFS in der Praxis … (Achtung! US-Propaganda)

Interessant ist der zugehörige OnePager, in dem Microsoft als Hauptkonkurrent genannt und festgestellt wird, daß bereits der “erste Wurf” des GUIs gut gelungen sein muß um Anwender (nicht nur Sun Kunden sondern Storage-Admins i.A.?) zu überzeugen. Die Software soll mit Solaris 10u5 auch Einzug in das Enterprise-OS mit Support halten.

Genauere Infos liefert der Blog von Gary Horton.

Aha, EMC scheint sich also noch weiter nach unten ausbreiten zu wollen. Mit Masse könnte u.U. wohl auch ein gutes Geschäft zu machen sein…

Die “Fakten”, die beide vorbringen, sind oft unvollständig und zudem kaum nachprüfbar. Eine Entscheidung, wer hier tatsächlich Recht hat/bekommt, wird vor Gericht getroffen werden und das kann dauern. In der Zwischenzeit kann die öffentliche Meinung zu einer Firma aber das Verhalten von Kunden und Aktionären beeinflussen.

Bei der Meinungsmache spielen auch Emotionen einen große Rolle. So versucht Suns CEO Schwartz geschickt die wichtige Open Source Gemeinde auf seine Seite zu ziehen, frei nach dem Motto “ZFS=Open Source=gut gegen WAFL=proprietär=böse“. Dabei wird der Streit zwischen der im Linux-Umfeld verbreiteten GPL-Lizenz und der dazu inkompatiblen von Sun verwendeten CDDL-Lizenz möglichst unter den Teppich gekehrt. Eine Freigabe von ZFS und weiterer unter CDDL-Lizenz stehender Software unter der GPL(v3) will Sun aber wohl tunlichst vermeiden oder zumindest hinauszögern, um sich im Storage-Umfeld und Servermarkt von Linux abgrenzen zu können. Darüber hinaus verweist Schwartz auf das Gericht, welches Netapp für das Verfahren gewählt hat – ein texanisches Provinzgericht, das bereits negativ in Urteilen zu Patentstreitigkeiten aufgefallen ist.

Hitz hingegen verweist auf eine schlecht nachprüfbare Drohung von Seiten Sun aufgrund dessen Netapp die Patentklage einreichte. Darüber hinaus geht er darauf ein, daß Sun durch die Gegenklage Jobs von Netapp-Mitarbeitern in Gefahr bringt und Kunden verunsichert würden.

Für mich sieht es momentan so aus, daß Sun und seine Technologien wie ZFS aktuell willkommene Publicity bekommen. Bis ein Gericht die Sache klärt kann sich Sun als Verteidiger der Open Source darstellen. Dagegen kann Netapp nicht nur einen Imageverlust riskieren. Bei Erfolg der Gegenklage von Sun dürfte wohl eher die Existenz bedroht sein.

Es bleibt also spannend…

Ab OpenSolaris build 77 wird ein im Kernel integrierter CIFS-Server eingeführt, der auf Samba basiert. Dieser unterstützt NFSv4 (inc. Windows-ACLs) und ZFS (integrierter Volumemanager, Quotas, Snapshots, Snapshot-Clones).

Geplant ist darüber hinaus NFSv4 Mirror Mounts (auf NFS-Servern verteilt liegende Daten, die Server-übergreifend transparent für den User im Zugriff sind), ICAP (für Virenscanner-Engines), NDMP und ADS-Integration. Vor kurzem wurde bereits ISCSI-Target bereitgestellt.

Ich glaube damit dürfte der wesentliche Hintergrund zum Patent-Streit zwischen Netapp und Sun klar sein…

• ordentlich verarbeitete Hardware
• für einen vernünftigen Preis
• gut durchdachtes Lüftungskonzept mit unterschiedlichen Klimazonen
• schnelle interne SAS-Platten
• Remotemanagement über ILOM

In der Praxis gibt es dann aber doch wieder Fallstricke:

• Das Lüftungskonzept geht zu Lasten der HDDs, d.h. um den Platz in der Front des Servers als Luftzufuhr für CPU, etc. zu nutzen mussten die großen 3,5” HDDs weichen. Statt dessen wurden geringfügig langsamere 2,5”-SAS-HDDs verbaut.
• Der momentan größte Nachteil der 2,5”-SAS-HDDs ist die zur Zeit max. verfügbare Kapazität von 146GB. Wenn man üblicherweise 4 Disks einbaut und dabei 2x RAID1 konfiguriert, wird auch i.d.R. die erste logische Disk für OS und die zweite für Applikation und Daten verwendet. 146GB sind für diesen Zweck aber nicht gerade üppig. Nun mag jemand vorbringen, daß man auch keine Performancewunder bei einer solchen Konstellation erwarten darf und bei größerer Plattenkapazität die Performance mit Sicherheit nicht besser wird. Das ist soweit auch richtig, für Testsysteme aber eine durchaus übliche Konfiguration. Bei anderen Herstellern, z.B. FSC, gibt es Modelle mit mehr Flexibilität mit lokalen Disks, z.b. bei der RX300S3.
• Nun, dann könnte man auf die Idee kommen und dem System einen FC-HBA spendieren. Sun hat dazu OEM-HBAs von Emulex und QLogic zur Auswahl. Mit einem zentralen SAN-Storage hat man nun auch nicht wirklich Kapazitätsengpässe. Dumm ist allerdings, wenn dieses von EMC ist und SUN sich nicht die Mühe macht auch Betriebssysteme jenseits von Solaris zertifizieren zu lassen. Eine Freigabe von SLES, RHEL oder Windows für X4100/4200 (M2) mit SUN-HBA? Fehlanzeige…

Fazit:

Sun wird seine Bemühungen im X64-Markt noch steigern müssen um Allroundgeräte anbieten zu können.

Dazu zählt u.a.:

• Hardwareumbau
• Bereinigen der Solaris-devices
• Anpassung der SAN-Switch-Konfiguration (Zoning)
• Anpassung der Storage-Konfiguration (Devicemasking)
• Hardwareerkennung
• Anpassung Multipathing

Alle PDFs dazu finden sich im Menü nebenan unter HBA-Tausch unter Solaris.

Heute neu: PDF4 und PDF5

Ich hoffe mit diesem Beispiel aus der Praxis das Geheimnis SAN etwas gelüftet und einen kleinen Einblick in die Solaris-Administration mit EMC-Hardware gegeben zu haben.

Heute neu: PDF1, PDF2 und PDF3

Fortsetzung folgt…

Für Anregungen und konstruktive Kritik bin ich natürlich offen, da ich kein Fulltime-Solaris-Admin bin und auch gerne dazulerne.

vorher:

root@xxx # powermt display
Symmetrix logical device count=19
CLARiiON logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
### HW Path                        Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================
2304 ssm@0/pci@1a/pci@1/lpfc@4     optimal      19      0       -     0      0
2305 ssm@0/pci@1a/pci@1/lpfc@5     failed       18     18       -     0      0
2306 ssm@0/pci@1b/pci@1/lpfc@4     optimal      19      0       -     0      0
2307 ssm@0/pci@1b/pci@1/lpfc@5     optimal      19      0       -     0      0

nachher:

{c} ok boot
Resetting ...
Copying IO PROM to CPU DRAM
.{/N0/SB1/P0} @(#) lpost        5.20.1  2006/06/05 17:38
{/N0/SB1/P0} Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
{/N0/SB1/P0} Use is subject to license terms.
{/N0/SB1/P1} @(#) lpost         5.20.1  2006/06/05 17:38
.{/N0/SB1/P1} Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
.{/N0/SB1/P1} Use is subject to license terms.
...
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4

Sun Fire 6800
OpenFirmware version 5.20.1 (06/05/06 17:37)
Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
SmartFirmware, Copyright (C) 1996-2001.  All rights reserved.
49152 MB memory installed, Serial #zzz
Ethernet address zzz, Host ID: zzz.

Rebooting with command: boot
SunOS Release 5.9 Version Generic_118558-25 64-bit
Copyright 1983-2003 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
NOTICE:
Emulex LightPulse FC SCSI/IP 6.02f
NOTICE: lpfc0: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc0: Fcode Rev 1.50a4
NOTICE: lpfc0: WWPN:10:00:00:00:c9:32:6b:c5 WWNN:20:00:00:00:c9:32:6b:c5 DID 0x81500
NOTICE: lpfc1: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc1: Fcode Rev 1.50a4
NOTICE: lpfc1: WWPN:10:00:00:00:c9:32:6b:c6 WWNN:20:00:00:00:c9:32:6b:c6 DID 0x91500
NOTICE: lpfc2: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc2: Fcode Rev 1.50a4
NOTICE: lpfc2: WWPN:10:00:00:00:c9:30:0d:33 WWNN:20:00:00:00:c9:30:0d:33 DID 0xa1500
NOTICE: lpfc3: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc3: Fcode Rev 1.50a4
NOTICE: lpfc3: WWPN:10:00:00:00:c9:30:0d:34 WWNN:20:00:00:00:c9:30:0d:34 DID 0xb1500
WARNING: forceload of misc/md_trans failed
WARNING: forceload of misc/md_raid failed
WARNING: forceload of misc/md_hotspares failed
obpsym: symbolic debugging is available.
Hardware watchdog enabled
configuring IPv4 interfaces: ce0 ce1.
Hostname: xxx
Setting up paths
The system is coming up.  Please wait.
checking ufs filesystems
/dev/md/rdsk/d40: is logging.
/dev/md/rdsk/d36: is logging.
/dev/md/rdsk/d32: is logging.
/dev/md/rdsk/d33: is logging.
/dev/md/rdsk/d30: is logging.
/dev/md/rdsk/d35: is logging.
/dev/md/rdsk/d31: is logging.
Starting cpudiagd ... done.
starting rpc services: rpcbind keyserv done.
...
The system is ready.

xxx console login: root
Password:
Last login: Sat Jul 21 11:42:29 from yyy
Jul 21 12:05:52 xxx login: ROOT LOGIN /dev/console
Sun Microsystems Inc.   SunOS 5.9       Generic May 2002
You have new mail.
Sun Microsystems Inc.   SunOS 5.9       Generic May 2002
You have new mail.
Sourcing //.profile-EIS.....

DISPLAY=

root@xxx # powermt display
Symmetrix logical device count=19
CLARiiON logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
### HW Path                        Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================
2304 ssm@0/pci@1a/pci@1/lpfc@4     optimal      19      0       -     0      0
2305 ssm@0/pci@1a/pci@1/lpfc@5     optimal      19      0       -     0      0
2306 ssm@0/pci@1b/pci@1/lpfc@4     optimal      19      0       -     0      0
2307 ssm@0/pci@1b/pci@1/lpfc@5     optimal      19      0       -     0      0

Solaris und EMC-Storage ist eine feine Sache. Es gibt da allerdings Einiges, das man beachten sollte. Hilfreich dabei ist zum einen die aktuelle Support-Matrix als PDF zu lesen oder online den E-Lab-Navigator zu benutzen, der einem genaueste Infos zu möglichen Konstellationen aus Server, HBA, Switch, Storage, Multipathing-Software, Betriebssystem, Filesystem, Cluster, etc. anzeigt.

Die (heterogene) Storage-Landschaft kann über die Software EMC ControlCenter komfortabel verwaltet werden. Von Konfiguration und Reporting bis zu Provisioning ist alles möglich.
Neben Suns MPxIO bietet auch EMC eine Multipathing Software namens Powerpath, die auf allen relevanten Betriebssystmen verfügbar ist.

EMC Storage unterstützt auf Host-Seite unter Solaris FC-HBAs von Sun, Emulex und QLogic.

emc-host-connectivity-guide-for-sun-solaris.pdf

emc-faq-sun-solaris-native-hbas-and-drivers.pdf