http://www.opensolaris.org/os/community/storage/

SVM, UFS, ZFS – Volumemanager, Filesysteme, Volumes, Snapshots, uvm.

Traditionell wird unter Solaris der SVM als Volumemanager benutzt, UFS ist das Standard-Filesystem. Mit Multiterabyte-Support und Journaling per SVM wurde UFS im Nachhinein aufgebohrt. UFS-Snapshots funktionieren, wirken aber irgendwie wie ein angestückelter Fremdkörper. Das Handling von SVM ist sehr gewöhnungsbedürftig, Freunde gewinnt man so sicherlich nicht. SVM/UFS ist heute nach wie vor für die Spiegelung von lokalen Bootdevices üblich.

Der große Wurf gelang Sun mit ZFS. ZFS ist Volumemanager und Filesystem zugleich. Damit ist die Liste der Features aber noch lange nicht erschöpft. Prinzipiell werden Platten oder Slices (Partitionen) einem Pool zugewiesen, ein entsprechender RAID-Level gesetzt (Striping, Mirroring, RAID-Z) und diverse Parameter wie z.B. Blocksize gesetzt. In einem Pool können dann ZFS-Filesysteme oder Volumes (ähnlich RAW-devices) angelegt und mit Parametern, wie z.B. Quota und Reservierung, versehen werden. Auf Volumes können beliebige Filesysteme aufgebracht werden.

Auf ZFS-Pools, -Filesysteme und -Volumes können Snapshots angewendet werden. Diese können auch geclont und damit beschreibbar wiederverwendet werden.

Mit zfs send/receive können ZFS-Daten über IP repliziert werden.

ZFS Pools können exportiert und auf einem anderen Rechner wieder importiert werden. Geänderte Hardwarepfade, etc. spielen keine Rolle – so lange alle Platten eines Pools zur Verfügung stehen klappt der Import.

ZFS ist (noch?) nicht als Shared Filesystem geeignet. D.h. im Cluster kann es nur für Failoverszenarien eingesetzt werden.

Die Performance von ZFS ist abhängig vom Szenario, wo es zum Einsatz kommen soll. Mittlerweile in den meisten Bereichen UFS ebenbürtig gibt es noch Potential zu VxFS. Tuning ist oft sinnvoll. Je höher das Solaris-Release, desto mehr Möglichkeiten zur Optimierung gibt es.

ZFS bietet neben der eingängen Shell-Kommandos auch ein Webgui.

ZFS hat eingebaute Mechanismen wie “Self Healing” und Schutz gegen “silent data corruption”.

http://blogs.sun.com/chrisg/entry/latency_bubble_in_your_io

http://przemol.blogspot.com/2008/02/zfs-vs-vxfs-vs-ufs-on-x4500-thumper.html

http://blogs.sun.com/SC/entry/why_sunw_nfs_is_required

http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS

http://www.opensolaris.org/os/community/zfs/docs/

http://wiki.edv-widhalm.com/index.php/Solaris_Volume_Manager_%28HowTo%29

http://wiki.edv-widhalm.com/index.php/Zfs_%28HowTo%29

http://www.learning-solaris.com/index.php/category/unix-solaris-storage-volume-management/

http://www.osnews.com/story/19665/Solaris_Filesystem_Choices

http://blogs.digitar.com/jjww/?itemid=52

NAS – iSCSI

Solaris beherrscht iSCSI Initiator (Zugriff auf iSCSI-Volume) und iSCSI Target (Bereitstellen
eines iSCSI Volumes). Dabei kann z.B. ein ZFS Volume als iSCSI Target genutzt werden. Das kann man z.B. nutzen um einem Windows- oder VMware-ESX-Server Diskspace zur Verfügung zu stellen. Von den ZFS Volumes können dann Snapshots erstellt werden.

http://blogs.sun.com/mhuff/entry/introduction_to_iscsi_in_solaris

http://www.opensolaris.org/os/project/iscsitgt/

http://www.opensolaris.org/os/project/isns/

http://blogs.sun.com/lokibear/entry/download_isns_web_based_management

NAS Freigaben – NFS und CIFS

ZFS-Filesysteme beherrschen UNIX- und Windows-ACLs (W2K kompatibel) – damit entfallen viele Hürden als Netzwerkspeicher. Darüber hinaus können in ZFS-Filesystemen NFS- und CIFS-Freigaben als Eigenschaften eingerichtet werden. Eine ADS-Integration ist auch möglich. Der brandneue CIFS-Server mit ZFS-Integration dürfte unter Solaris eine ernsthafte Konkurrenz zu Samba werden.

http://blogs.sun.com/timthomas/entry/opensolaris_as_a_storageos_the

http://blogs.sun.com/dougm/

http://blogs.sun.com/amw/entry/cifs_in_solaris

SAN – Fibrechannel, FCoE

Im Bereich Fibrechannel wurde zuletzt in erster Linie in leichtere Administration auf der Shell investiert. Interessant sind die OpenSolaris-Projekte Comstar und FC over Ethernet. Hier bewegt sich einiges, gerade auch im Bereich Virtualisierung mit NPIV (virtuelle FC-HBAs).

http://www.opensolaris.org/os/project/comstar/

http://www.opensolaris.org/os/project/fcoe/

http://www.opensolaris.org/os/project/npiv/

mpxio – Multipathing

Solaris unterstützt mit mpxio Multipathing für SCSI-, FC-, SAS- und iSCSI-Disks. Speichersysteme mit SCSI SPC-2/3 werrden automatisch erkannt, eine manuelle Zuordnung in der Konfigurationsdatei durch Vendor und Product ist auch möglich, z.B. “EMC SYMMETRIX”. Es wird Failover und Roundrobin als Verfahren unterstützt. Mit dem mpathadm-Kommando ist die Administration sehr eingängig. Durch mpxio wird aus den verschiedenen Hardwarepfaden (verschiedene Controller/Targets, gleiche LUN) ein virtueller Pfad erstellt, der dann für die Konfiguration im Volumemanager benutzt wird.

http://www.opensolaris.org/os/project/mpxio/

last but not least: ZFS in der Praxis … (Achtung! US-Propaganda)

Interessant ist der zugehörige OnePager, in dem Microsoft als Hauptkonkurrent genannt und festgestellt wird, daß bereits der “erste Wurf” des GUIs gut gelungen sein muß um Anwender (nicht nur Sun Kunden sondern Storage-Admins i.A.?) zu überzeugen. Die Software soll mit Solaris 10u5 auch Einzug in das Enterprise-OS mit Support halten.

Genauere Infos liefert der Blog von Gary Horton.

Dazu zählt u.a.:

• Hardwareumbau
• Bereinigen der Solaris-devices
• Anpassung der SAN-Switch-Konfiguration (Zoning)
• Anpassung der Storage-Konfiguration (Devicemasking)
• Hardwareerkennung
• Anpassung Multipathing

Alle PDFs dazu finden sich im Menü nebenan unter HBA-Tausch unter Solaris.

Heute neu: PDF4 und PDF5

Ich hoffe mit diesem Beispiel aus der Praxis das Geheimnis SAN etwas gelüftet und einen kleinen Einblick in die Solaris-Administration mit EMC-Hardware gegeben zu haben.

Heute neu: PDF1, PDF2 und PDF3

Fortsetzung folgt…

Für Anregungen und konstruktive Kritik bin ich natürlich offen, da ich kein Fulltime-Solaris-Admin bin und auch gerne dazulerne.

vorher:

root@xxx # powermt display
Symmetrix logical device count=19
CLARiiON logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
### HW Path                        Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================
2304 ssm@0/pci@1a/pci@1/lpfc@4     optimal      19      0       -     0      0
2305 ssm@0/pci@1a/pci@1/lpfc@5     failed       18     18       -     0      0
2306 ssm@0/pci@1b/pci@1/lpfc@4     optimal      19      0       -     0      0
2307 ssm@0/pci@1b/pci@1/lpfc@5     optimal      19      0       -     0      0

nachher:

{c} ok boot
Resetting ...
Copying IO PROM to CPU DRAM
.{/N0/SB1/P0} @(#) lpost        5.20.1  2006/06/05 17:38
{/N0/SB1/P0} Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
{/N0/SB1/P0} Use is subject to license terms.
{/N0/SB1/P1} @(#) lpost         5.20.1  2006/06/05 17:38
.{/N0/SB1/P1} Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
.{/N0/SB1/P1} Use is subject to license terms.
...
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4
!!! LP9002 Fcode, Copyright (c) 2005 Emulex !!!  Version 1.50a4

Sun Fire 6800
OpenFirmware version 5.20.1 (06/05/06 17:37)
Copyright 2006 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
SmartFirmware, Copyright (C) 1996-2001.  All rights reserved.
49152 MB memory installed, Serial #zzz
Ethernet address zzz, Host ID: zzz.

Rebooting with command: boot
SunOS Release 5.9 Version Generic_118558-25 64-bit
Copyright 1983-2003 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
NOTICE:
Emulex LightPulse FC SCSI/IP 6.02f
NOTICE: lpfc0: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc0: Fcode Rev 1.50a4
NOTICE: lpfc0: WWPN:10:00:00:00:c9:32:6b:c5 WWNN:20:00:00:00:c9:32:6b:c5 DID 0x81500
NOTICE: lpfc1: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc1: Fcode Rev 1.50a4
NOTICE: lpfc1: WWPN:10:00:00:00:c9:32:6b:c6 WWNN:20:00:00:00:c9:32:6b:c6 DID 0x91500
NOTICE: lpfc2: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc2: Fcode Rev 1.50a4
NOTICE: lpfc2: WWPN:10:00:00:00:c9:30:0d:33 WWNN:20:00:00:00:c9:30:0d:33 DID 0xa1500
NOTICE: lpfc3: Firmware Rev 3.92A3 (C2D3.92A3)
NOTICE: lpfc3: Fcode Rev 1.50a4
NOTICE: lpfc3: WWPN:10:00:00:00:c9:30:0d:34 WWNN:20:00:00:00:c9:30:0d:34 DID 0xb1500
WARNING: forceload of misc/md_trans failed
WARNING: forceload of misc/md_raid failed
WARNING: forceload of misc/md_hotspares failed
obpsym: symbolic debugging is available.
Hardware watchdog enabled
configuring IPv4 interfaces: ce0 ce1.
Hostname: xxx
Setting up paths
The system is coming up.  Please wait.
checking ufs filesystems
/dev/md/rdsk/d40: is logging.
/dev/md/rdsk/d36: is logging.
/dev/md/rdsk/d32: is logging.
/dev/md/rdsk/d33: is logging.
/dev/md/rdsk/d30: is logging.
/dev/md/rdsk/d35: is logging.
/dev/md/rdsk/d31: is logging.
Starting cpudiagd ... done.
starting rpc services: rpcbind keyserv done.
...
The system is ready.

xxx console login: root
Password:
Last login: Sat Jul 21 11:42:29 from yyy
Jul 21 12:05:52 xxx login: ROOT LOGIN /dev/console
Sun Microsystems Inc.   SunOS 5.9       Generic May 2002
You have new mail.
Sun Microsystems Inc.   SunOS 5.9       Generic May 2002
You have new mail.
Sourcing //.profile-EIS.....

DISPLAY=

root@xxx # powermt display
Symmetrix logical device count=19
CLARiiON logical device count=0
Invista logical device count=0
==============================================================================
----- Host Bus Adapters ---------  ------ I/O Paths -----  ------ Stats ------
### HW Path                        Summary   Total   Dead  IO/Sec Q-IOs Errors
==============================================================================
2304 ssm@0/pci@1a/pci@1/lpfc@4     optimal      19      0       -     0      0
2305 ssm@0/pci@1a/pci@1/lpfc@5     optimal      19      0       -     0      0
2306 ssm@0/pci@1b/pci@1/lpfc@4     optimal      19      0       -     0      0
2307 ssm@0/pci@1b/pci@1/lpfc@5     optimal      19      0       -     0      0