Otmanix' Blog » ZFS

flying zones für Arme – Teil 3: Liveupgrade und ZFS für zoneroot

otmanix — Sat, 11 Apr 2009 08:31:01 +0000

Wie im letzten Artikel berichtet bin ich beim Liveupgrade über ein Problem gestolpert. Ausgangssituation war eine Solaris10u6-Installation mit ZFS-root-filesystem und eine zone, die sich in einem seperaten ZFS-Pool auf shared disks befand. Das sollte die Möglichkeit der Zonenmigration auf einen anderen phys. Rechner bieten.

Das lucreate-Kommando des Solaris Liveupgrade verschluckte sich aber am seperaten ZFS-Pool. Deshalb führte ich das Patchen zunächst ohne Zone durch (detached) und machte dann einen upgrade-on-attach.

Trotzdem wollte ich nun wissen, warum das nicht komplett mit Liveupgrade klappte. Nach etwas Experimentieren stellte sich heraus, dass lucreate nicht mit dem Zonen-Root direkt im ZFS-Pool umgehen kann. Das Zonen-Root muss in einem untergeordneten Filesystem des Pools liegen.

Hier der Beweis (die Zone wurde bereits von /zone1 nach /zone1/zoneroot umgezogen):

bash-3.00# lustatus
Boot Environment           Is       Active Active    Can    Copy
Name                       Complete Now    On Reboot Delete Status
————————– ——– —— ——— —— ———-
s10x_u6wos_07b             yes      no     no        yes    -
s10u6_recpatches           yes      yes    yes       no     -

bash-3.00# lucreate -n zone_lu_test
Checking GRUB menu…
System has findroot enabled GRUB
Analyzing system configuration.
Comparing source boot environment file systems with the
file system(s) you specified for the new boot environment. Determining
which file systems should be in the new boot environment.
Updating boot environment description database on all BEs.
Updating system configuration files.
Creating configuration for boot environment .
Source boot environment is .
Creating boot environment .
Cloning file systems from boot environment to create boot environment .
Creating snapshot for on .
Creating clone for on .
Setting canmount=noauto for in zone on .
Creating snapshot for on .
Creating clone for on .
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
File propagation successful
Copied GRUB menu from PBE to ABE
No entry for BE in GRUB menu
Population of boot environment successful.
Creation of boot environment successful.

bash-3.00# zfs list
NAME                                         USED AVAIL REFER MOUNTPOINT
patches                                     2.69G 5.12G 2.69G /patches
rpool                                       6.63G 1.19G    40K /rpool
rpool/ROOT                                  5.24G 1.19G    18K legacy
rpool/ROOT/s10u6_recpatches                 1.39G 1.19G 4.48G /
rpool/ROOT/s10u6_recpatches@zone_lu_test    82.5K      - 4.48G -
rpool/ROOT/s10x_u6wos_07b                   3.86G 1.19G 3.81G /
rpool/ROOT/s10x_u6wos_07b@s10u6_recpatches 50.5M      - 3.81G -
rpool/ROOT/zone_lu_test                      163K 1.19G 4.48G /
rpool/dump                                   900M 1.19G   900M -
rpool/export                                  37K 1.19G    19K /export
rpool/export/home                             18K 1.19G    18K /export/home
rpool/swap                                   512M 1.45G   244M -
testpool                                     155M   202K   154M /testpool
zone1                                        871M 1.10G   871M /zone1
zone1/zoneroot                                18K 1.10G    18K /zone1/zoneroot
zone1/zoneroot@zone_lu_test                     0      -    18K -
zone1/zoneroot-zone_lu_test                     0 1.10G    18K /zone1/zoneroot-zone_lu_test

Nachtrag

Heute habe ich den Liveupgradetest weitergeführt und eine gehörige Überraschung erlebt.

bash-3.00# cd /patches/java_es_required_os_patches_solaris10-x86

bash-3.00# luupgrade -n zone_lu_test -s /patches/java_es_required_os_patches_solaris10-x86 -t `cat patch_order`
System has findroot enabled GRUB
No entry for BE in GRUB menu
Validating the contents of the media .
The media contains 19 software patches that can be added.
Mounting the BE .
ERROR: mount point is already in use, mounted on
ERROR: failed to create mount point for file system
ERROR: unmounting partially mounted boot environment file systems
ERROR: cannot mount boot environment by icf file
cat: cannot open /tmp/.luupgrade.tmp.12595
ERROR: Unable to mount ABE disk slices: < >.
ERROR: Unable to mount the BE .

bash-3.00# zfs list
NAME                                         USED AVAIL REFER MOUNTPOINT
patches                                     2.88G 4.93G 2.88G /patches
rpool                                       6.63G 1.18G    40K /rpool
rpool/ROOT                                  5.25G 1.18G    18K legacy
rpool/ROOT/s10u6_recpatches                 1.40G 1.18G 4.49G /
rpool/ROOT/s10u6_recpatches@zone_lu_test     103K      - 4.49G -
rpool/ROOT/s10x_u6wos_07b                   3.86G 1.18G 3.81G /
rpool/ROOT/s10x_u6wos_07b@s10u6_recpatches 50.5M      - 3.81G -
rpool/ROOT/zone_lu_test                      172K 1.18G 4.49G /a/
rpool/dump                                   900M 1.18G   900M -
rpool/export                                  37K 1.18G    19K /export
rpool/export/home                             18K 1.18G    18K /export/home
rpool/swap                                   512M 1.44G   244M -
testpool                                     155M   202K   154M /testpool
zone1                                        871M 1.10G   871M /zone1
zone1/zoneroot                                18K 1.10G    18K /zone1/zoneroot
zone1/zoneroot@zone_lu_test                     0      -    18K -
zone1/zoneroot-zone_lu_test                     0 1.10G    18K /zone1/zoneroot-zone_lu_test

So, so… Das klappt wohl nicht wie geplant.

bash-3.00# lumount zone_lu_test /b
ERROR: unable to mount zones:
cannot mount ‘/zone1/zoneroot’: directory is not empty
zoneadm: zone ‘zone1′: zone root /zone1/zoneroot/root already in use by zone zone1
zoneadm: zone ‘zone1′: call to zoneadmd failed
ERROR: unable to mount zone in
ERROR: unmounting partially mounted boot environment file systems
ERROR: No such file or directory: error unmounting
ERROR: umount: warning: rpool/ROOT/zone_lu_test not in mnttab
umount: rpool/ROOT/zone_lu_test no such file or directory
ERROR: cannot unmount
ERROR: cannot mount boot environment by name

bash-3.00# zfs list
NAME                                         USED AVAIL REFER MOUNTPOINT
patches                                     2.88G 4.93G 2.88G /patches
rpool                                       6.63G 1.18G    40K /rpool
rpool/ROOT                                  5.25G 1.18G    18K legacy
rpool/ROOT/s10u6_recpatches                 1.40G 1.18G 4.49G /
rpool/ROOT/s10u6_recpatches@zone_lu_test     116K      - 4.49G -
rpool/ROOT/s10x_u6wos_07b                   3.86G 1.18G 3.81G /
rpool/ROOT/s10x_u6wos_07b@s10u6_recpatches 50.5M      - 3.81G -
rpool/ROOT/zone_lu_test                      172K 1.18G 4.49G /b
rpool/dump                                   900M 1.18G   900M -
rpool/export                                  37K 1.18G    19K /export
rpool/export/home                             18K 1.18G    18K /export/home
rpool/swap                                   512M 1.44G   244M -
testpool                                     155M   202K   154M /testpool
zone1                                        871M 1.10G   871M /zone1
zone1/zoneroot                                18K 1.10G    18K /zone1/zoneroot
zone1/zoneroot@zone_lu_test                     0      -    18K -
zone1/zoneroot-zone_lu_test                     0 1.10G    18K /zone1/zoneroot

bash-3.00# lumount
s10u6_recpatches on /

Also irgendwie scheint der lumount mit der Zone azf seperaten ZFS-Pool nicht zurecht zu kommen.

Fazit

Gibt es also tatsächlich nur upgrade-on-attach als funktionierende Variante für Zonen auf seperaten ZFS-Pools? Hat hier jemand Anregungen oder Erfahrungen? Bitte die Kommentarfunktion nutzen…

flying zones für Arme – Teil 2: Liveupgrade mit Solaris10 Update6 und ZFS-root

otmanix — Fri, 10 Apr 2009 19:10:28 +0000

Zuletzt habe ich darüber geschrieben wie man mit Vmware Server 2.01 und Solaris10 ein sog. “flying zones”-Szenario aufbauen kann. D.h. man installiert eine Solaris-Zone auf einer shared disk und kann dann eine sog. Zonenmigration durchführen. D.h. die Zone und die Filesysteme der Zone werden am ersten Rechner exportiert und am zweiten Rechner wird das Ganze dann wieder importiert.

serielles Patching und Zonen

Ein leidiges Thema, insbesondere bei Solaris Zonen, ist das Installieren von Patches. In regelmäßigen Abständen wird man z.B. dazu angehalten das “recommended patch cluster” zu installieren. In der Regel befinden sich Kernelpatches in den Patch-Sammlungen, so dass eine Installation im Single-User-Modus erforderlich ist. Zudem müssen auch alle Zonen beim Patchen verfügbar sein (nicht detached!). Das Standard-Patchinstallationstool von Sun arbeitet dann die Patchinstallation sequentiell ab. Bei einer größeren Anzahl Zonen kann das u.U. zeitkrisch werden.

Parallel Patching, Solaris Liveupgrade, Neuerungen in Solaris10u6 10/08

Gute Neuigkeiten gibt es bei Jeff Victor. Demnächst soll also eine neue Version des patchadd-Kommandos das parallele Patchen von Zonen beherrschen. Aber auch das ist u.U. noch zu zeitinsiv. Seit längerem gibt es bereits die Software Solaris Liveupgrade, die zum Patchen oder Upgraden auf ein neues Release benutzt werden kann. Dabei wird zunächst vom laufenden Solaris eine Kopie erzeugt, ein sog. boot environment (BE), auf der dann die Patches bzw. das Upgrade angewendet werden. Das ganze passiert im normalen Onlinebetrieb. Ist die Aktionen abgeschlossen, wird vom alternativen BE gebootet. Gibt es Ärger hat man ein Fallback auf das verherige BE.

Zunächst wurde Liveupgrade “zone aware” gemacht. D.h. auch Zonen können seit einiger Zeit damit aktualisiert werden. Im Solaris10u6 kam dann die Unterstützung für ZFS-root (ZFS-Pool als Bootumgebung für das Rootfilesystem) und “upgrade-on-attach”. War eine Zone beim Upgrade detached und hat somit einen älteren Stand kann nun beim Attach die Aktualisierung nachgeholt werden.

Infos zum Thema gibt es hier:

Solaris 10 10/08 Installation Guide: Solaris Live Upgrade and Upgrade Planning

Solution 206844: Solaris[TM] Live Upgrade Software: Minimum Patch Requirements

Solaris Liveupgrade bei S10u6 im Praxiseinsatz

Ich möchte also nun die Umgebung aus dem letzten Artikel auf Basis Solaris10u6 mit Hilfe von Liveupgrade auf das aktuelle recommended patch cluster patchen.

bash-3.00# cat /etc/release
Solaris 10 10/08 s10x_u6wos_07b X86
Copyright 2008 Sun Microsystems, Inc. All Rights Reserved.
Use is subject to license terms.
Assembled 27 October 2008

# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
1 zone1            running    /zone1                         native   shared

# lustatus
ERROR: No boot environments are configured on this system
ERROR: cannot determine list of all boot environment names

# lucreate -n s10u6_recpatches
Checking GRUB menu…
Analyzing system configuration.
No name for current boot environment.
INFORMATION: The current boot environment is not named – assigning name .
Current boot environment is named .
Creating initial configuration for primary boot environment .
The device is not a root device for any boot environment; cannot get BE ID.
PBE configuration successful: PBE name PBE Boot Device .
Comparing source boot environment file systems with the
file system(s) you specified for the new boot environment. Determining
which file systems should be in the new boot environment.
Updating boot environment description database on all BEs.
Updating system configuration files.
Creating configuration for boot environment .
Source boot environment is .
Creating boot environment .
Cloning file systems from boot environment to create boot environment .
Creating snapshot for on .
Creating clone for on .
Setting canmount=noauto for in zone on .
Creating snapshot for on .
cannot create ‘.’: missing dataset name
Creating clone for on .
ERROR: cannot create ‘zone1-s10u6_recpatches’: missing dataset name
ERROR: Unable to clone <> on <>.
/usr/lib/lu/luclonefs: zone1@s10u6_recpatches: not found
cannot open ‘zone1-s10u6_recpatches’: dataset does not exist
cannot open ‘zone1-s10u6_recpatches’: dataset does not exist
cannot open ‘zone1-s10u6_recpatches’: dataset does not exist
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
File propagation successful
Copied GRUB menu from PBE to ABE
No entry for BE in GRUB menu
Population of boot environment successful.
Creation of boot environment successful.

# lustatus
Boot Environment           Is       Active Active    Can    Copy
Name                       Complete Now    On Reboot Delete Status
————————– ——– —— ——— —— ———-
s10x_u6wos_07b             yes      yes    yes       no     -
s10u6_recpatches           yes      no     no        yes    -

bash-3.00# zpool list
NAME    SIZE   USED AVAIL    CAP HEALTH ALTROOT
rpool 7.94G 6.78G 1.15G    85% ONLINE -
zone1 1.98G   546M 1.45G    26% ONLINE -

bash-3.00# zfs list
NAME                                         USED AVAIL REFER MOUNTPOINT
rpool                                       7.07G   766M 38.5K /rpool
rpool/ROOT                                  5.68G   766M    18K legacy
rpool/ROOT/s10u6_recpatches                  156K   766M 3.77G /a/
rpool/ROOT/s10x_u6wos_07b                   5.68G   766M 5.67G /
rpool/ROOT/s10x_u6wos_07b@s10u6_recpatches 12.0M      - 3.77G -
rpool/dump                                   900M   766M   900M -
rpool/export                                  37K   766M    19K /export
rpool/export/home                             18K   766M    18K /export/home
rpool/swap                                   512M 1.03G   222M -
zone1                                        546M 1.42G   545M /zone1
zone1@s10u6_recpatches                       619K      -   545M -

bash-3.00# cd /patches/10_x86_Recommended

bash-3.00# lumount s10u6_recpatches /a
ERROR: unable to mount zones:
/a/zone1 must not be group readable.
/a/zone1 must not be group executable.
/a/zone1 must not be world readable.
/a/zone1 must not be world executable.
could not verify zonepath /a/zone1 because of the above errors.
zoneadm: zone zone1 failed to verify
ERROR: unable to mount zone in
ERROR: unmounting partially mounted boot environment file systems
ERROR: No such file or directory: error unmounting
ERROR: umount: warning: rpool/ROOT/s10u6_recpatches not in mnttab
umount: rpool/ROOT/s10u6_recpatches no such file or directory
ERROR: cannot unmount
ERROR: cannot mount boot environment by name

bash-3.00# lustatus
Boot Environment           Is       Active Active    Can    Copy
Name                       Complete Now    On Reboot Delete Status
————————– ——– —— ——— —— ———-
s10x_u6wos_07b             yes      yes    yes       no     -
s10u6_recpatches           yes      no     no        yes    -

bash-3.00# ludelete s10u6_recpatches
System has findroot enabled GRUB
Checking if last BE on any disk…
ERROR: unable to mount zones:
/.alt.s10u6_recpatches/zone1 must not be group readable.
/.alt.s10u6_recpatches/zone1 must not be group executable.
/.alt.s10u6_recpatches/zone1 must not be world readable.
/.alt.s10u6_recpatches/zone1 must not be world executable.
could not verify zonepath /.alt.s10u6_recpatches/zone1 because of the above errors.
zoneadm: zone zone1 failed to verify
ERROR: unable to mount zone in
ERROR: unmounting partially mounted boot environment file systems
ERROR: No such file or directory: error unmounting
ERROR: umount: warning: rpool/ROOT/s10u6_recpatches not in mnttab
umount: rpool/ROOT/s10u6_recpatches no such file or directory
ERROR: cannot unmount
ERROR: cannot mount boot environment by name
ERROR: Failed to mount BE .
ERROR: Failed to mount BE .
cat: cannot open /tmp/.lulib.luclb.dsk.5254.s10u6_recpatches
ERROR: This boot environment is the last BE on the above disk.
ERROR: Deleting this BE may make it impossible to boot from this disk.
ERROR: However you may still boot solaris if you have BE(s) on other disks.
ERROR: You *may* have to change boot-device order in the BIOS to accomplish this.
ERROR: If you still want to delete this BE , please use the force option (-f).
Unable to delete boot environment.

bash-3.00# ludelete -f s10u6_recpatches
System has findroot enabled GRUB
No entry for BE in GRUB menu
Determining the devices to be marked free.
Updating boot environment configuration database.
Updating boot environment description database on all BEs.
Updating all boot environment configuration databases.
Boot environment deleted.

bash-3.00# lustatus
Boot Environment           Is       Active Active    Can    Copy
Name                       Complete Now    On Reboot Delete Status
————————– ——– —— ——— —— ———-
s10x_u6wos_07b             yes      yes    yes       no     -

bash-3.00# zfs list
NAME                        USED AVAIL REFER MOUNTPOINT
rpool                      7.11G   715M 38.5K /rpool
rpool/ROOT                 5.73G   715M    18K legacy
rpool/ROOT/s10x_u6wos_07b 5.73G   715M 5.73G /
rpool/dump                  900M   715M   900M -
rpool/export                 37K   715M    19K /export
rpool/export/home            18K   715M    18K /export/home
rpool/swap                  512M   984M   243M -
zone1                       546M 1.42G   545M /zone1
zone1@s10u6_recpatches      619K      -   545M -

bash-3.00# zfs destroy zone1@s10u6_recpatches

Na bravo! Das war ja der totale Reinfall…

Scheinbar kommt Liveupgrade nicht damit klar, dass die Zone in einem seperaten ZFS-Pool liegt. Das ist aber für die Zonenmigration unabdingbar.

neuer Versuch – Liveupgrade ohne Zonen, nur für ZFS-root

Dazu also erst einmal die Zone1 verschwinden lassen…

bash-3.00# zoneadm -z zone1 detach

bash-3.00# metaset -s zone1data -r

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1
horst2
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

bash-3.00# zpool export zone1

bash-3.00# zpool list
NAME      SIZE   USED AVAIL    CAP HEALTH ALTROOT
patches 7.94G 2.69G 5.25G    33% ONLINE -
rpool    7.94G 4.93G 3.01G    62% ONLINE -

bash-3.00# lucreate -n s10u6_recpatches
Checking GRUB menu…
System has findroot enabled GRUB
Analyzing system configuration.
Comparing source boot environment file systems with the
file system(s) you specified for the new boot environment. Determining
which file systems should be in the new boot environment.
Updating boot environment description database on all BEs.
Updating system configuration files.
Creating configuration for boot environment .
Source boot environment is .
Creating boot environment .
Cloning file systems from boot environment to create boot environment .
Creating snapshot for on .
Creating clone for on .
Setting canmount=noauto for in zone on .
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
File propagation successful
Copied GRUB menu from PBE to ABE
No entry for BE in GRUB menu
Population of boot environment successful.
Creation of boot environment successful.

Na gut, das Erstellen des alternate BE hat also soweit geklappt. Nun zum Patchen..

bash-3.00# cd /patches/10_x86_Recommended/

bash-3.00# luupgrade -n s10u6_recpatches -s /patches/10_x86_Recommended -t `cat patch_order`
System has findroot enabled GRUB
No entry for BE in GRUB menu
Validating the contents of the media .
The media contains 152 software patches that can be added.
Mounting the BE .
Adding patches to the BE .
Validating patches…
Loading patches installed on the system…
Done!
Loading patches requested to install.
Version of package SUNWmctag from directory SUNWmctag in patch 121212-02 differs from the package installed on the system.
Version of package SUNWmcosx from directory SUNWmcosx in patch 121212-02 differs from the package installed on the system.
Version of package SUNWmcon from directory SUNWmcon in patch 121212-02 differs from the package installed on the system.
Version of package SUNWmcos from directory SUNWmcos in patch 121212-02 differs from the package installed on the system.
Done!
The following requested patches have packages not installed on the system
Package SUNWgzipS from directory SUNWgzipS in patch 120720-02 is not installed on the system. Changes for package SUNWgzipS will not be applied to the system.
Package SUNWbzipS from directory SUNWbzipS in patch 126869-03 is not installed on the system. Changes for package SUNWbzipS will not be applied to the system.
Package SUNWbreg from directory SUNWbreg in patch 121454-02 is not installed on the system. Changes for package SUNWbreg will not be applied to the system.
Package SUNWdc from directory SUNWdc in patch 121454-02 is not installed on the system. Changes for package SUNWdc will not be applied to the system.
Package SUNWbreg from directory SUNWbreg in patch 121454-02 is not installed on the system. Changes for package SUNWbreg will not be applied to the system.
Package SUNWdc from directory SUNWdc in patch 121454-02 is not installed on the system. Changes for package SUNWdc will not be applied to the system.
Package SUNWsmaS from directory SUNWsmaS in patch 120273-25 is not installed on the system. Changes for package SUNWsmaS will not be applied to the system.
Package SUNWsmbaS from directory SUNWsmbaS in patch 119758-14 is not installed on the system. Changes for package SUNWsmbaS will not be applied to the system.
Package SUNWpostgr-jdbcS from directory SUNWpostgr-jdbcS in patch 123591-09 is not installed on the system. Changes for package SUNWpostgr-jdbcS will not be applied to the system.
Package SUNWpostgrS from directory SUNWpostgrS in patch 123591-09 is not installed on the system. Changes for package SUNWpostgrS will not be applied to the system.
Package SUNWpostgr-tclS from directory SUNWpostgr-tclS in patch 123591-09 is not installed on the system. Changes for package SUNWpostgr-tclS will not be applied to the system.
Package SUNWkxplt from directory SUNWkxplt in patch 120415-23 is not installed on the system. Changes for package SUNWkxplt will not be applied to the system.
Package SUNWinleu from directory SUNWinleu in patch 120415-23 is not installed on the system. Changes for package SUNWinleu will not be applied to the system.
Package SUNWhkleu from directory SUNWhkleu in patch 120415-23 is not installed on the system. Changes for package SUNWhkleu will not be applied to the system.
Package SUNWcxplt from directory SUNWcxplt in patch 120415-23 is not installed on the system. Changes for package SUNWcxplt will not be applied to the system.
Package SUNWhleu from directory SUNWhleu in patch 120415-23 is not installed on the system. Changes for package SUNWhleu will not be applied to the system.
Package SUNWhleu2 from directory SUNWhleu2 in patch 120415-23 is not installed on the system. Changes for package SUNWhleu2 will not be applied to the system.
Package SUNWkleu from directory SUNWkleu in patch 120415-23 is not installed on the system. Changes for package SUNWkleu will not be applied to the system.
Package SUNWtleu from directory SUNWtleu in patch 120415-23 is not installed on the system. Changes for package SUNWtleu will not be applied to the system.
Package SUNWhkplt from directory SUNWhkplt in patch 120415-23 is not installed on the system. Changes for package SUNWhkplt will not be applied to the system.
Package SUNWinplt from directory SUNWinplt in patch 120415-23 is not installed on the system. Changes for package SUNWinplt will not be applied to the system.
Package SUNWtxplt from directory SUNWtxplt in patch 120415-23 is not installed on the system. Changes for package SUNWtxplt will not be applied to the system.
Package SUNWhxplt from directory SUNWhxplt in patch 120415-23 is not installed on the system. Changes for package SUNWhxplt will not be applied to the system.
Package SUNWsunpinyin from directory SUNWsunpinyin in patch 120415-23 is not installed on the system. Changes for package SUNWsunpinyin will not be applied to the system.
Package SUNWsibi from directory SUNWsibi in patch 119082-25 is not installed on the system. Changes for package SUNWsibi will not be applied to the system.
Package SUNWapchS from directory SUNWapchS in patch 122912-15 is not installed on the system. Changes for package SUNWapchS will not be applied to the system.
Package SUNWgrubS from directory SUNWgrubS in patch 138884-01 is not installed on the system. Changes for package SUNWgrubS will not be applied to the system.
Package SUNWsibi from directory SUNWsibi in patch 124629-10 is not installed on the system. Changes for package SUNWsibi will not be applied to the system.
Package SUNWsibi from directory SUNWsibi in patch 119253-31 is not installed on the system. Changes for package SUNWsibi will not be applied to the system.
Package SUNWTkS from directory SUNWTkS in patch 137872-02 is not installed on the system. Changes for package SUNWTkS will not be applied to the system.
Package SUNWipmiS from directory SUNWipmiS in patch 119765-06 is not installed on the system. Changes for package SUNWipmiS will not be applied to the system.
Package SUNWj5jmp from directory SUNWj5jmp in patch 118668-19 is not installed on the system. Changes for package SUNWj5jmp will not be applied to the system.
Package SUNWpngS from directory SUNWpngS in patch 137081-01 is not installed on the system. Changes for package SUNWpngS will not be applied to the system.
Package SUNWsibi from directory SUNWsibi in patch 124631-24 is not installed on the system. Changes for package SUNWsibi will not be applied to the system.
Package SUNWgtarS from directory SUNWgtarS in patch 139100-01 is not installed on the system. Changes for package SUNWgtarS will not be applied to the system.
Package SUNWbindS from directory SUNWbindS in patch 119784-10 is not installed on the system. Changes for package SUNWbindS will not be applied to the system.
Package SUNWzebraS from directory SUNWzebraS in patch 126207-04 is not installed on the system. Changes for package SUNWzebraS will not be applied to the system.
Package SUNWcleu2 from directory SUNWcleu2 in patch 120413-09 is not installed on the system. Changes for package SUNWcleu2 will not be applied to the system.
Package SUNWmysqlS from directory SUNWmysqlS in patch 120293-02 is not installed on the system. Changes for package SUNWmysqlS will not be applied to the system.
Package SUNWimagickS from directory SUNWimagickS in patch 136883-02 is not installed on the system. Changes for package SUNWimagickS will not be applied to the system.
Package SUNWapch2S from directory SUNWapch2S in patch 120544-14 is not installed on the system. Changes for package SUNWapch2S will not be applied to the system.
Package SUNWlxmlS from directory SUNWlxmlS in patch 125732-04 is not installed on the system. Changes for package SUNWlxmlS will not be applied to the system.
The following requested patches are already installed on the system
Requested patch 120720-02 is already installed on the system.
Requested patch 121297-01 is already installed on the system.
Requested patch 122035-05 is already installed on the system.
Requested patch 118344-14 is already installed on the system.
Requested patch 118919-21 is already installed on the system.
Requested patch 120901-03 is already installed on the system.
Requested patch 121334-04 is already installed on the system.
Requested patch 123840-04 is already installed on the system.
Requested patch 127756-01 is already installed on the system.
Requested patch 117435-02 is already installed on the system.
Requested patch 121264-01 is already installed on the system.
Requested patch 119575-02 is already installed on the system.
Requested patch 113000-07 is already installed on the system.
Requested patch 138218-01 is already installed on the system.
Requested patch 121454-02 is already installed on the system.
Requested patch 121454-02 is already installed on the system.
Requested patch 118855-36 is already installed on the system.
Requested patch 126424-03 is already installed on the system.
Requested patch 122641-06 is already installed on the system.
Requested patch 125548-02 is already installed on the system.
Requested patch 125504-02 is already installed on the system.
Requested patch 120012-14 is already installed on the system.
Requested patch 127128-11 is already installed on the system.
Requested patch 119318-01 is already installed on the system.
Requested patch 123612-05 is already installed on the system.
Requested patch 123591-09 is already installed on the system.
Requested patch 128412-01 is already installed on the system.
Requested patch 125542-03 is already installed on the system.
Requested patch 121976-01 is already installed on the system.
Requested patch 138182-01 is already installed on the system.
Requested patch 120202-06 is already installed on the system.
Requested patch 119082-25 is already installed on the system.
Requested patch 138884-01 is already installed on the system.
Requested patch 137138-09 is already installed on the system.
Requested patch 124445-01 is already installed on the system.
Requested patch 126541-02 is already installed on the system.
Requested patch 136999-05 is already installed on the system.
Requested patch 137872-02 is already installed on the system.
Requested patch 138276-01 is already installed on the system.
Requested patch 119765-06 is already installed on the system.
Requested patch 138362-01 is already installed on the system.
Requested patch 119811-05 is already installed on the system.
Requested patch 120330-02 is already installed on the system.
Requested patch 138323-02 is already installed on the system.
Requested patch 128001-01 is already installed on the system.
Requested patch 124189-02 is already installed on the system.
Requested patch 138270-02 is already installed on the system.
Requested patch 119131-33 is already installed on the system.
Requested patch 119901-06 is already installed on the system.
Requested patch 137081-01 is already installed on the system.
Requested patch 123614-01 is already installed on the system.
Requested patch 138624-02 is already installed on the system.
Requested patch 118960-03 is already installed on the system.
Requested patch 128329-01 is already installed on the system.
Requested patch 136840-01 is already installed on the system.
Requested patch 121013-02 is already installed on the system.
Requested patch 119116-34 is already installed on the system.
Requested patch 124458-01 is already installed on the system.
Requested patch 124998-01 is already installed on the system.
Requested patch 138877-01 is already installed on the system.
Requested patch 126207-04 is already installed on the system.
Requested patch 120236-01 is already installed on the system.
Requested patch 138266-01 is already installed on the system.
Requested patch 138105-01 is already installed on the system.
Requested patch 127854-02 is already installed on the system.
Requested patch 138374-02 is already installed on the system.
Requested patch 137033-01 is already installed on the system.
Requested patch 119813-08 is already installed on the system.
Requested patch 120293-02 is already installed on the system.
Requested patch 123939-01 is already installed on the system.
Requested patch 137094-01 is already installed on the system.
Requested patch 121096-02 is already installed on the system.
Requested patch 124939-03 is already installed on the system.
Requested patch 119987-03 is already installed on the system.
Requested patch 137322-01 is already installed on the system.
Requested patch 119904-02 is already installed on the system.
Requested patch 120831-06 is already installed on the system.
Requested patch 126441-01 is already installed on the system.
Requested patch 125280-05 is already installed on the system.
The following requested patches do not update any packages installed on the system
No Packages from patch 121212-02 are installed on the system.
Checking patches that you specified for installation.
Done!
The following requested patches will not be installed because
they have been made obsolete by other patches already
installed on the system or by patches you have specified for installation.
0 All packages from patch 118844-20 are patched by higher revision patches.
1 All packages from patch 122661-08 are patched by higher revision patches.
2 All packages from patch 124205-05 are patched by higher revision patches.
The following requested patches will not be installed because
the packages they patch are not installed on this system.
0 No Packages from patch 120415-23 are installed on the system.
1 No Packages from patch 120413-09 are installed on the system.
Approved patches will be installed in this order:
126869-03 126420-02 119255-65 126539-02 121119-15 120273-25 119758-14 126366-14
120740-05 119060-45 120411-30 122912-15 141009-01 125556-02 137122-06 138628-07
124629-10 119253-31 138372-06 125540-06 137128-05 119214-18 140775-03 123896-10
118668-19 139499-04 121309-16 119314-26 122213-32 139463-02 125185-11 121395-03
138857-02 118669-19 140384-01 120200-15 124631-24 138264-03 139100-01 138286-02
119784-10 119091-32 138224-03 138882-02 139482-01 138242-05 140145-01 119247-35
120223-31 139580-02 125165-13 125953-18 139501-02 139561-02 125333-05 139484-05
141015-01 124394-09 140456-01 136883-02 120095-22 125720-28 120544-14 125732-04
126364-07 138254-02 138867-02 138889-08
Checking installed patches…
Verifying sufficient filesystem capacity (dry run method)…
Installing patch packages…
Patch 126869-03 has been successfully installed.
See /a/var/sadm/patch/126869-03/log for details
Patch packages installed:
SUNWbzip
SUNWsfman
Checking installed patches…
Verifying sufficient filesystem capacity (dry run method)…
Installing patch packages…
Patch 126420-02 has been successfully installed.
See /a/var/sadm/patch/126420-02/log for details
Patch packages installed:
SUNWcsr
SUNWcsu
…
Patch 138889-08 has been successfully installed.
See /a/var/sadm/patch/138889-08/log for details
Patch packages installed:
SUNWcakr
SUNWckr
SUNWcpcu
SUNWcsd
SUNWcsl
SUNWcslr
SUNWcsr
SUNWcsu
SUNWdtrc
SUNWesu
SUNWhea
SUNWib
SUNWibsdpib
SUNWipfh
SUNWipfu
SUNWmdb
SUNWmdbr
SUNWnxge
SUNWos86r
SUNWrds
SUNWroute
SUNWtavor
Unmounting the BE .
The patch add to the BE completed.

Nach dem erfolgreichen Patchen nun also vom neuen BE starten…

bash-3.00# luactivate s10u6_recpatches
System has findroot enabled GRUB
Generating boot-sign, partition and slice information for PBE
Saving existing file in top level dataset for BE as //etc/bootsign.prev.
A Live Upgrade Sync operation will be performed on startup of boot environment .

Generating boot-sign for ABE
Saving existing file in top level dataset for BE as //etc/bootsign.prev.
Generating partition and slice information for ABE
Copied boot menu from top level dataset.
Generating multiboot menu entries for PBE.
Generating multiboot menu entries for ABE.
Disabling splashimage
Re-enabling splashimage
No more bootadm entries. Deletion of bootadm entries is complete.
GRUB menu default setting is unaffected
Done eliding bootadm entries.

**********************************************************************

The target boot environment has been activated. It will be used when you
reboot. NOTE: You MUST NOT USE the reboot, halt, or uadmin commands. You
MUST USE either the init or the shutdown command when you reboot. If you
do not use either init or shutdown, the system will not boot using the
target BE.

**********************************************************************

In case of a failure while booting to the target BE, the following process
needs to be followed to fallback to the currently working boot environment:

1. Boot from Solaris failsafe or boot in single user mode from the Solaris
Install CD or Network.

2. Mount the Parent boot environment root slice to some directory (like
/mnt). You can use the following command to mount:

mount -Fzfs /dev/dsk/c1t0d0s0 /mnt

3. Run utility with out any arguments from the Parent boot
environment root slice, as shown below:

/mnt/sbin/luactivate

4. luactivate, activates the previous working boot environment and
indicates the result.

5. Exit Single User mode and reboot the machine.

**********************************************************************

Modifying boot archive service
Propagating findroot GRUB for menu conversion.
File propagation successful
File propagation successful
File propagation successful
File propagation successful
Deleting stale GRUB loader from all BEs.
File deletion successful
File deletion successful
File deletion successful
Activation of boot environment successful.

bash-3.00# lustatus
Boot Environment           Is       Active Active    Can    Copy
Name                       Complete Now    On Reboot Delete Status
————————– ——– —— ——— —— ———-
s10x_u6wos_07b             yes      yes    no        no     -
s10u6_recpatches           yes      no     yes       no     -

bash-3.00# init 6
updating /platform/i86pc/boot_archive
…

Achtung: Es muss zwingend mit init oder shutdown neu gestartet werden!

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            configured /zone1                         native   shared

bash-3.00# zpool import zone1

bash-3.00# zpool list
NAME      SIZE   USED AVAIL    CAP HEALTH ALTROOT
patches 7.94G 2.69G 5.25G    33% ONLINE -
rpool    7.94G 6.36G 1.58G    80% ONLINE -
zone1    1.98G   547M 1.45G    26% ONLINE -

bash-3.00# metaset -s zone1data -t

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1
horst2             Yes
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

Patchen der Zone mit ugrade-on-attach

bash-3.00# zoneadm -z zone1 attach
These patches installed on the source system are inconsistent with this system:
118668: version mismatch
(17) (19)
118669: version mismatch
(17) (19)
119060: version mismatch
(44) (45)
119091: version mismatch
(31) (32)
119214: version mismatch
(17) (18)
119247: version mismatch
(34) (35)
119253: version mismatch
(29) (31)
119255: version mismatch
(59) (65)
119314: version mismatch
(24) (26)
119758: version mismatch
(12) (14)
119784: version mismatch
(07) (10)
120095: version mismatch
(21) (22)
120200: version mismatch
(14) (15)
120223: version mismatch
(29) (31)
120273: version mismatch
(23) (25)
120411: version mismatch
(29) (30)
120544: version mismatch
(11) (14)
120740: version mismatch
(04) (05)
121119: version mismatch
(13) (15)
121309: version mismatch
(14) (16)
121395: version mismatch
(01) (03)
122213: version mismatch
(28) (32)
122912: version mismatch
(13) (15)
123896: version mismatch
(05) (10)
124394: version mismatch
(08) (09)
124629: version mismatch
(09) (10)
124631: version mismatch
(19) (24)
125165: version mismatch
(12) (13)
125185: version mismatch
(08) (11)
125333: version mismatch
(03) (05)
125540: version mismatch
(04) (06)
125720: version mismatch
(24) (28)
125732: version mismatch
(02) (04)
125953: version mismatch
(17) (18)
126364: version mismatch
(06) (07)
126366: version mismatch
(12) (14)
126420: version mismatch
(01) (02)
126539: version mismatch
(01) (02)
126869: version mismatch
(02) (03)
136883: version mismatch
(01) (02)
137122: version mismatch
(03) (06)
137128: version mismatch
(02) (05)
138224: version mismatch
(02) (03)
138242: version mismatch
(01) (05)
138254: version mismatch
(01) (02)
138264: version mismatch
(02) (03)
138286: version mismatch
(01) (02)
138372: version mismatch
(02) (06)
138628: version mismatch
(02) (07)
138857: version mismatch
(01) (02)
138867: version mismatch
(01) (02)
138882: version mismatch
(01) (02)
These patches installed on this system were not installed on the source system:
125556-02
138889-08
139100-01
139463-02
139482-01
139484-05
139499-04
139501-02
139561-02
139580-02
140145-01
140384-01
140456-01
140775-03
141009-01
141015-01

bash-3.00# zoneadm -z zone1 attach -u
Getting the list of files to remove
Removing 1209 files
Remove 198 of 198 packages
Installing 1315 files
Add 198 of 198 packages
Updating editable files
The file within the zone contains a log of the zone update.

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            installed /zone1                         native   shared

bash-3.00# zoneadm -z zone1 boot

bash-3.00# zlogin zone1
[Connected to zone 'zone1' pts/4]
Last login: Thu Apr 9 09:06:23 on pts/5
Sun Microsystems Inc. SunOS 5.10 Generic January 2005
#
# exit
[Connection to zone 'zone1' pts/4 closed]

Upgrade-on-attach zum Patchen der Zone hat hier wunder geklappt.

weiterer Test nach Einspielen des recommended patch clusters

Nachdem nun Solaris10u6 mit neuestem recommended patch cluster installiert ist möchte ich das Liveupgrade inclusive Zone nochmals testen.

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
2 zone1            running    /zone1                         native   shared

bash-3.00# lucreate -n s10u6_zonetest
Checking GRUB menu…
System has findroot enabled GRUB
Analyzing system configuration.
Comparing source boot environment file systems with the
file system(s) you specified for the new boot environment. Determining
which file systems should be in the new boot environment.
Updating boot environment description database on all BEs.
Updating system configuration files.
Creating configuration for boot environment .
Source boot environment is .
Creating boot environment .
Cloning file systems from boot environment to create boot environment .
Creating snapshot for on .
Creating clone for on .
Setting canmount=noauto for in zone on .
Creating snapshot for on .
cannot create ‘.’: missing dataset name
Creating clone for on .
ERROR: cannot create ‘zone1-s10u6_zonetest’: missing dataset name
ERROR: Unable to clone <> on <>.
/usr/lib/lu/luclonefs: zone1@s10u6_zonetest: not found
cannot open ‘zone1-s10u6_zonetest’: dataset does not exist
cannot open ‘zone1-s10u6_zonetest’: dataset does not exist
cannot open ‘zone1-s10u6_zonetest’: dataset does not exist
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
Saving existing file in top level dataset for BE as //boot/grub/menu.lst.prev.
File propagation successful
Copied GRUB menu from PBE to ABE
No entry for BE in GRUB menu
Population of boot environment successful.
Creation of boot environment successful.
bash-3.00#

bash-3.00# ludelete -n s10u6_zonetest -f
System has findroot enabled GRUB
No entry for BE in GRUB menu
Determining the devices to be marked free.
Updating boot environment configuration database.
Updating compare databases on boot environment .
Updating boot environment description database on all BEs.
Updating all boot environment configuration databases.
Boot environment deleted.

bash-3.00# zfs destroy zone1@s10u6_zonetest

Tja, auch nach Installieren der aktuell empfohlen Patches klappt das nicht wie gewünscht.

Hat jemand zu diesem Thema eigene Erfahrungen oder Workarounds? Auf Kommentare oder Tips würde ich mich freuen…

ZFS Webgui Patch

otmanix — Sat, 04 Apr 2009 20:11:29 +0000

Wer das ZFS Webgui vermisst hat – hier die relevanten Patches um es wieder lauffähig zu bekommen:

141105 — < 01 — 1 SunOS 5.10_x86: ZFS Administration Java Web Console Patch
141104 — < 01 — 1 SunOS 5.10: ZFS Administration Java Web Console Patch

Mit patchadd installieren und danach den Webserver durchstarten: /usr/sbin/smcwebserver restart

Anschliessend wie gewohnt https://localhost:6789/zfs/zfsmodule/Index aufrufen.

NAS-Box mit ZFS auf der Cebit

otmanix — Sun, 01 Mar 2009 07:48:31 +0000

Thecus (Halle 13, D85) stellt auf der Cebit neue NAS-Systeme vor, darunter auch das N5500 mit 5 Disks. Das Gerät soll stromsparend und leise arbeiten, mit einem Intel Celeron ausgestattet sein und als Filesysteme ext3, XFS und ZFS unterstützen.

Ich habe noch keine Details zum OS des Geräts gefunden, bzgl. ZFS vermute ich aber mal schwer, dass das mit ZFS auf Fuse realisiert wird.

Links am 29.06.08

otmanix — Sun, 29 Jun 2008 19:54:51 +0000

Der Serverraum – bequem erreichbar durch die Damentoilette
Chuck Hollis von EMC über “Do it yourself Storage”
Mike Dillon von Sun zum aktuellen Stand des Patentstreits Sun ZFS vs. Netapp WAFL
Dave Hitz von Netapp im o.g. Patentstreit zu ZFS und OpenSource

Backup Teil 3 – Networker 7.4.2 – neue Features

otmanix — Sat, 14 Jun 2008 17:40:55 +0000

Mit dem Servicepack 2 für Networker 7.4 kann man die Backupsoftware wieder sinnvoll produktiv nutzen. Zahlreiche Bugs wurden beseitigt und neue Features kamen hinzu.

integrierte Softwareverteilung

Eine nützliche Funktionalität ist die integrierte Softwareverteilung. Dazu muß man zunächst Networker-Software (Client und Module) in ein Softwarerepository einchecken. Im Anschluß ist es möglich Remote-Aktualisierungen vorzunehmen. Es werden allerdings best. minimale Versionen vorausgesetzt, damit das funktioniert (z.B. Client 7.3). Auch wenn der Wizard manachmal etwas träge ist – dieses Feature spart wirklich Zeit.

neue Probleme dank neuer Authentifizierung

Gut gemeint zum Thema Security ist eine neue Authentifizierungsmethode der Clients gegenüber dem Server. Ein Blick in des Log des Networker-Daemons erzeugt allerdings einen Schreikrampf. Nach offenen Calls und Eskalation selbiger bei EMC lautete deren Empfehlung: “…zumindest bei den betroffenen Clients die alte Authentifizierung wieder einschalten.”

Das macht man so: Zunächst in den Diagnose Modus schalten

Danach die Konfiguration des betroffenen Networker Clients starten:

Auth Methods auf 0.0.0.0/0,oldauth stellen (natürlich auch per CLI mit nsradmin möglich) und danach Dienst/daemon des Networker-Clients (nsrexec) durchstarten.

weitere Änderungen in 7.4.2

Die Networker Management Console (NMC) unterstützt jetzt auch Java2 1.6
Änderungen an der Lizensierung, u.a. sind keine Client Packs mehr notwendig. Ebenso werden keine speziellen Cluster Client Connections mehr für Cluster Nodes benötigt, eine Standard Client Connection ist ausreichend.
für das Backup des SYSTEM STATE bei Windows-Rechnern wird nun standardmäßig VSS benutzt (Achtung: Open File Manager zusammen mit VSS macht nur Ärger! Deshalb OFM VSS Dienst abschalten und save operations im Networker Client auf VSS:*=off stellen.
Nicht ganz neu, aber für Umsteiger von Networker bis einschließlich 7.2.x relevant: das Administrationsprogramm nwadmin entfällt und wird durch NMC ersetzt. Das Networker User Programm wird nach wie vor für Restores und ad hoc Sicherungen benutzt.
Diverse Wizards kamen zuletzt noch hinzu, über deren Umsetzung und Sinn man trefflich streiten kann.
Bei der Library Bedienung wurden gravierende Mängel im GUI beseitigt. Nun ist auch funktionierende Mehrfachselektion auf Volumes möglich. Außerdem können verschiedene Operationen gleichzeitig ausgeführt werden (z.B. 1 Band labeln und gleichzeitig 2 Mounts durchführen).
Zahleiche neue Reports stehen per NMC bereit. Hier macht sich bei Auswertungen z.B. die niedrige Single Thread Performance des T1-Prozessors im NW-Server bemerkbar.
Die neue Version setzt immer mehr auf Multithreading, was bei der Wahl einer geeigneten CPU durchaus eine Rolle spielen sollte. Mein Favorit wäre aktuell die T2-CPU, da sie zus. Floatingpoint-Performance bei hoher Anzahl Threads bietet.
Es gab einige Neuerungen im Bereich Internationalisierung, Zeichensätze/Unicode. Als Folge daraus werden nun Log-Dateien im raw-Format gespeichert, die sinnvoll nur mit dem nsr_render_log Tool betrachtet werden können.
Clones können dank neuem Pool-Atrribut eine unterschiedliche Aufbewahrungsfrist haben.
Der Avamar-Client für Datendeduplizierung wurde in den Networker Client integriert.

weitere Infos zu den Neuerungen gibt es hier: Networker 7.4.2 technical notes

Backup Teil 1 – Backup to Disk

otmanix — Sat, 14 Jun 2008 09:42:40 +0000

Vor einiger Zeit stand ein Austausch der Backup-Hardware an. Damals wurde sich für eine T2000 als Backup-Server, ein SE6140 als Disksystem für Backup to Disk und ein STK SL500 Tapesystem (LTO3) entschieden. Bei dieser Gelegenheit wurde auch die Backupsoftware EMC Networker von 7.2.2 auf 7.4 aktualisiert.

Kurz und knapp gesagt gab es einige Ecken und Kanten und im Nachhinein ist man wieder ein Stück schlauer… Mittlerweile mit Networker 7.4.2 bin ich mit dem Betrieb des Backups i.A. zufrieden und möchte ein paar Gedanken dazu niederschreiben. Man möge mir die häufige Nennung von EMC Produkten verzeihen, aber da kenne ich das Portfolio einigermaßen.

Backup to Disk aka. B2D

Eigentlich handelt es sich oftmals um Backup to Disk to Tape, aber das nur am Rande… Hier gibt es prinzipiell mehrere Ansätze. In erster Linie spielt hier Performance und der Geldbeutel die maßgebende Rolle:

Storage-interne Replikation (Point in time Copy), z.B. EMC Timefinder Clone für EMC DMX Storage, Applikationsintegration (Exchange, Oracle, …) und GUI mit EMC Replication Manager → Vorteil: sehr schnell, keine Last im SAN, da Replikation Storage-intern → Nachteil: Preis, herstellerabhängig (jeder große Storage-Hersteller hat das aber: z.B. HDS truecopy, Netapp snapvault/snapmanager)
Spezialfall CDP: relativ neu auf dem Markt sind Produkte für Continous Data Protection, wo eine fortlaufende Replikation stattfindet und ein Restore auf einen nahezu beliebigen Zeitpunkt erfolgen kann, z.B. EMC Recoverpoint → Vorteil: schnelle Wiederherstellung eines nahezu beliebigen Zeitpunkts → Nachteil: noch zu neu…, Skalierbarkeit, Kompatibilität, herstellerabhängig
Storage-externe Replikation (Point in time Copy), z.B. Sun AVS unter Solaris → Vorteil: Preis, passend für jedes Storage unter Solaris → Nachteil: hohe Last im SAN
Backup per LAN auf Networker Advanced File Type devices, die wiederum auf Disks des Servers/Storage Nodes liegen. → Vorteil: unbhängig vom Storage-Hersteller, individuell einstellbar → div. “Ecken und Kanten”, langsamer als Storage-Replikation → bei der Nutzung von Storage mit Datendeduplizierung sehr gute Ausnutzung der Kapazität, z.B. mit ASIS bei Netapp Storage
Spezialfall Dedup: Backup per LAN mit EMC Avamar Appliance und EMC Networker, Avamar Client ist im aktuellen Networker Client bereits integriert → Vorteil: Datendeduplizierung bereits am Client, d.h. unnötige Daten werden nicht per LAN übertragen → Nachteil: herstellerabhängig, langsamer als Storage-Replikation
Virtual Tape Library (VTL): Disksystem, das sich nach außen wie eine Tape-Library verhält, z.B. EMC DL3D 4000 → Vorteil: einfache Integration und Bedienung → Nachteil: langsamer als Storage-Replikation → bei der Nutzung der EMC VTL gibt es den zus. Nutzen, daß die EMC Networker Storage Node Funktionalität inegriert ist (gleiches gilt für Netbackup), eine Datendeduplizierung ist ebenso integriert

Networker Advanced Filetype Device (AFTD)

Wie bereits angesprochen haben die AFTDs einige Ecken und Kanten.

Prinzipiell sind AFTDs wie Tape-Laufwerke zu betrachten, in denen man Volumes einlegen kann. Im Gegensatz zu Tapes funktioniert aber Volume-übergreifendes Backup (Spanning) nicht (wenn das erste Volume voll ist wird für das bereits laufende Backup nicht beim nächsten Volume fortgesetzt). Der Nutzen von mehr als einem Volume pro AFTD ist also eher gering.
Man muß durch rechtzeitiges Auslagern in einen anderen Pool (Staging – i.d.R. auf Tape) verhindern, daß das AFTD 100% Füllgrad erreicht. Dafür muß das Staging konfiguriert werden. Damit einem das AFTD während des Stagings nicht voll läuft (die Aufräumaktion findet erst nach erfolgreichem Staging statt) muß genügend Reserve in der Speicherkapazität des AFTDs vorgesehen werden.
Während eines Staging-Vorgangs kann keine Restore-Operation mit Daten des betroffenen AFTD durchgeführt werden. Aus diesem Grund ist es von Vorteil mehrere AFTDs anzulegen und die Staging-Intervalle relativ kurz zu halten.
Automatisches Cloning von savesets (über Eigenschaft in der savegroup einstallbar) und zeitlich überlappendes Staging führt zu Problemen (saveset ist ggf. bereits gestagt und kann nicht mehr geclont werden). Es gilt bzgl. Restore die selbe Einschränkung wie beim Staging.

ZFS für AFTDs

ZFS bietet einige Vorteile, aber auch Einschränkungen für die Nutzung von AFTDs.

Mit ZFS-Filesystemen/Mountpoints als Speicher für AFTDs ist die kurzfristige Erweiterung bei Speichermangel kein Problem – einfach dem ZPool zus. Disks spendieren…
Ohne das Setzen von Quotas teilen sich alle Filesysteme den gemeinsamen Platz, was eine bessere Ausnutzung der vorhandenen Kapazitäten ermöglicht. allerdings funktioniert dann das Staging nur noch sinnvoll auf Basis der Aufbewahrungsfrist.
ZFS läßt sich schön verwalten – entweder per GUI oder eingängen CLI-Befehlen.
ZFS sollte nicht ohne Tuning betrieben werden. Um eine gute Performance zu bekommen sollte man Solaris 10 Update 5 einsetzen. Dort kann z.B. der ZFS Cache Flush für externe, batteriegepufferte Storagesysteme abgeschaltet werden. Ein paar sinnvolle Kernelparameter zu ZFS und Networker können dem Screenshot der /etc/system entnommen werden. Eine Anpassung an die eigene Umgebung ist ggf. erforderlich.

heureka! ZFS Boot auf Sparc betriebsbereit…

otmanix — Sat, 07 Jun 2008 12:28:37 +0000

Wie berichtet wurden die notwendigen Änderungen für ZFS Boot auf Sparc und Integration in den Installer (nur im Text-Modus!) im build90 integriert. Heute habe ich das auf meiner Sun Blade 1000 erfolgreich getestet:

Im Installer ist kein RAID1 möglich – aber nachträglich:

bash-3.2# zpool status
  Pool: rpool
 Status: ONLINE
 scrub: Keine erforderlich
config:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          c1t1d0s0  ONLINE       0     0     0

Fehler: Keine bekannten Datenfehler

bash-3.2# zpool attach -f rpool c1t1d0s0 c1t2d0s0
bash-3.2# zpool status
  Pool: rpool
 Status: ONLINE
Zustand: Mindestens ein Gerät wird derzeit neu gespiegelt.  Der Pool funktioniert,
        möglicherweise in herabgestuftem Zustand, weiter.
Aktion: Warten Sie, bis die neue Spiegelung abgeschlossen ist.
 scrub: resilver in progress for 0h0m, 4,56% done, 0h3m to go
config:

        NAME          STATE     READ WRITE CKSUM
        rpool         ONLINE       0     0     0
          mirror      ONLINE       0     0     0
            c1t1d0s0  ONLINE       0     0     0
            c1t2d0s0  ONLINE       0     0     0

Fehler: Keine bekannten Datenfehler

Update:

Das ZFS-Handbuch für OpenSolaris gibt es hier. Darin sind die Neuerungen für ZFS Boot beschrieben und Auswirkungen auf die Liveupgrade Funktionalität. Ebenso wird die Migration von UFS Boot auf ZFS Boot beschrieben. Darüber hinaus wird auch die Integration von ZFS Boot für Jumpstart erklärt.

ZFS Boot bei SXCE b90

otmanix — Thu, 05 Jun 2008 14:40:37 +0000

Hier die Neuerungen im Setup bei SXCE b90:

und nach der Installation:

man sehe und staune

SXCE b90 verfügbar

otmanix — Thu, 05 Jun 2008 05:10:28 +0000

Solaris Express Community Edition build 90 steht zum Download bereit. Damit dürfte nun ZFS Boot auch unter Sparc möglich sein und sollte im Text-basierten Installer zur Auswahl stehen. Ich werde das mal bei Gelegenheit auf meiner SunBlade1000 ausprobieren – Bericht … Weiterlesen →

ZFS Boot ab Solaris 10u6?

otmanix — Sun, 25 May 2008 19:59:40 +0000

Bekanntlich gibt es bereits OpenSolaris-Binärdistributionen, die ZFS auf Boot-Devices unterstützen. Dazu gehört u.a. das OpenSolaris 2008.05. Die Einschränkung lautet aber derzeit: nur für X86/X64 verfügbar. Mit Nevada build88 kam der lang erwartete Putback für ZFS Boot, der das auch unter Sparc ermöglichen wird.

Zum Download ist das in Kürze als SXCE (Solaris Express Community Edition) verfügbar. Dabei wird aber vorerst nur der textbasierte Installer die Auswahl für ZFS ermöglichen (ab build 90).

Laut dem Blog von Robin Guo, Mitarbeiter am ZFS-Projekt, arbeitet Sun eifrig auf die Integration in Solaris 10 Update 6 hin.

Das sind doch erfreuliche Aussichten! Ich bin allerdings gespannt wie nun das Thema Liveupgrade aussehen wird – darf hier Project Indiana aka OpenSolaris 2008.05 Pate stehen? Dieses dürfte durch den Putback in der nächsten Version dann auch für Sparc erhältlich sein.

Gerüchteküche: ZFS auf Linux?

otmanix — Sun, 18 May 2008 05:36:22 +0000

Bilder sagen oft wesentlich mehr als Worte.

Jeff Bonwick, Chief Technical Officer (CTO) of Storage Technologies bei Sun, hat in seinem jüngsten Blogbeitrag Photos mit Linus Torvalds und dem vielversprechenden Hinweis “stay tuned” veröffentlicht. Man sollte dazu auch wissen, daß Bonwick Leiter des ZFS-Entwicklungsteams ist.

Was man nun in dieses Treffen hineininterpretieren kann überlasse ich dem Leser. Nur so viel vorab: das Thema CDDL und GPL v2/3 dürfte eine Rolle gespielt haben.

Interessant dazu dürfte der Blogeintrag von Jim Grisanzio, Mitglied des OGB, und die Auflösung des Bilderrätsels im Blog von Leon Koll sein.

Project COMSTAR – SCSI Target im build90

otmanix — Sun, 11 May 2008 19:15:33 +0000

Das Projekt “Common Multiprotocol SCSI Target” hat es mit dem build90 zurück in den OpenSolaris-Code geschafft. Was bringt das nun für neue Features? Prinzipiell ist das Ziel des Projekts OpenSolaris als Storageplattform in die Lage zu versetzen in einem Fibrechannel-SAN Plattenplatz per SCSI-LUNs zur Verfügung zu stellen.

Üblicherweise werden bisher für solche Aufgaben spezielle Storagesysteme von z.B. EMC, Hitachi, oder HP eingesetzt. Aus technologischer Sicht ähnelt der Ansatz von OpenSolaris am ehesten dem von Netapp, die auch mit Standardhardware und optimiertem OS (ontap) arbeiten.

Das OpenSolaris-System stellt sich also nach außen im FC-SAN als SCSI Target dar (vgl. dazu auch ISCSI Target). Rechner mit FC-HBAs (Emulex, QLogic, …) können dann per SAN auf die bereitgestellten LUNs zugreifen.

LUN erstellen

Im OpenSolaris muß zunächst eine LUN im “Backing Store” mit dem sbdadm-Kommando erstellt werden. Dazu kann Plattenplatz in Form einer Disk, Datei oder eines ZFS-Volumes dienen. Die Größe der LUN kann im Nachhinein erweitert werden.

Hostgruppe erstellen

Mit dem stmfadm-Kommando wird im Anschluß eine sog. Hostgruppe erstellt, die z.B. alle WWPNs der gewünschten Initiator enthält (also alle HBA-Ports eines Rechners, die auf diese LUN zugreifen soll).

Mapping

Danach wird das Mapping mit dem stmfadm-Befehl durchgeführt. Die LUN wird nach außen sichtbar auf den HBA-Ports des OpenSolaris-Systems exportiert, welche dann die SCSI-Targets darstellen.

Zoning

Am FC-Switch bzw. in der Fabric muß obligatorischerweise noch das Zoning durchgeführt werden.

Zugriff auf die LUN

Am Rechner mit dem Initiator (OS ist dabei egal) ist nun (autom.) Persistent Binding angesagt. Daraufhin kann die Disk im Volumemanager des Betriebssystems verwendet werden.

Wissenswertes…

Der für die LUN benötigte Platz im Backingstore wird dynamisch, also nach Bedarf allokiert. Bestimmte Initialisierungsverfahren wollen aber alle Blöcke einer Disk beschreiben und belegen damit trotzdem bereits initial die volle zugewiesene Kapazität.

Am Rechner mit dem SCSI-Initiator muß eine Multipathing-Software aktiv sein wenn die LUNs über mehrere Initiator-HBAs und/oder Target-HBAs angesprochen wird. Im Gegensatz zu (Open) Solaris und Linux bringt Windows kein Multipathing im Auslieferungszustand mit, deshalb benötigt man z.B. EMC Powerpath oder Symantec/Veritas DMP.

Parameter für SAP/Oracle-Testsystem auf Solaris10u5, EMC und ZFS

otmanix — Thu, 01 May 2008 15:21:42 +0000

- Anschluß EMC DMX-Speichersystem an Sun Fire V490
- Sun/Emulex-FC-HBAs an SAN-Switch
- UFS für / und swap auf internen FC-Disks
- Mirroring der Boot-Disk per SVM
- ZFS für EMC Disks
- Multpathing per mpxio
- Solaris 10 u5 enthält alle relevanten EMC und SAP/Oracle recommended Patches

Informationshilfen:
http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS – ZFS tuning
http://www.sun.com/bigadmin/content/submitted/svm_mirroring.jsp – SVM Bootdisk Mirroring
http://powerlink.emc.com > EMC E-Lab-Navigator für Supportmatrix

E-Lab-Navigator Supportmatrix für EMC DMX und SF V490

Tools:

https://HOSTNAME:6789/zfs/zfsmodule/Index – ZFS Webgui

Installiertes Solaris-Release?
# cat /etc/release
Solaris 10 5/08 s10s_u5wos_10 SPARC
Copyright 2008 Sun Microsystems, Inc. All Rights Reserved.
Use is subject to license terms.
Assembled 24 March 2008

Kernelparameter für SVM, ZFS, EMC, SAP/Oracle
# cat /etc/system

…
* Begin MDD root info (do not edit)
rootdev:/pseudo/md@0:0,10,blk
set md:mirrored_root_flag=1
* End MDD root info (do not edit)

* ZFS
* http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide

* disk-cache flush aus
set zfs:zfs_nocacheflush=1

* 4GB RAM max. fuer ZFS-Arc-Cache (0xWERT , WERT = MB*1024*1024 > HEX)
set zfs:zfs_arc_max=0×100000000

* File-Level-Prefetching
* set zfs:zfs_prefetch_disable = 1

* Device-Level-Prefetching (13 = 8k-Bloecke fuer disks reads, OLTP-tuning)
set zfs:zfs_vdev_cache_bshift = 13

* Device-Level-Prefetching ausschalten
* set zfs:zfs_vdev_cache_max = 0×1

* Device I/O Queue Size (I/O Concurrency)
* I/O queue depth pro LUN, default=35
* bei lokalen SATA-disks auf 10 setzen
* ansonsten gleich ssd_max_throttle setzen
set zfs:zfs_vdev_max_pending = 32

* EMC

* Queue-Laenge (empfohlen 20, bei Metadevices ggf. 32)
set ssd:ssd_max_throttle=32

* Timeout in HEX, recommended 0x3c = 60s bei multipathing, sonst 0×78
set ssd:ssd_io_time=0x3c

* Verzoegerung bis device als offline betrachtet wird
set fcp:fcp_offline_delay=20

* SAP / Oracle

* max. file descriptors pro Prozess
set rlim_fd_cur=8192

* security: stack nicht ausfuehrbar
set noexec_user_stack=1

Emulex-Treiber für Anschluß an SAN-Switch konfigurieren
# cat emlxs.conf
…
# +++ Variables relating to IP networking support. +++
#
# network-on: Enable/Disable IP networking support in the driver.
#
# 0 = Disables IP networking suppport in the driver.
# 1 = Enables IP networking suppport in the driver.
#
# Range: Min:0 Max:1 Default:1
#
#network-on=1;
network-on=0;
#
# +++ Fibre Channel specific parameters +++
#
# topology: link topology for initializing the Fibre Channel connection.
#
# 0 = attempt loop mode, if it fails attempt point-to-point mode
# 2 = attempt point-to-point mode only
# 4 = attempt loop mode only
# 6 = attempt point-to-point mode, if it fails attempt loop mode
#
# Set point-to-point mode if you want to run as an N_Port.
# Set loop mode if you want to run as an NL_Port.
#
# Range: Min:0 Max:6 Default:0
#
#topology=0;
topology=2;
# link-speed: Sets the link speed setting for initializing the Fibre Channel
# connection.
#
# 0 = auto select
# 1 = 1 Gigabaud
# 2 = 2 Gigabaud
# 4 = 4 Gigabaud
# 8 = 8 Gigabaud
#
# Range: Min:0 Max:8 Default:0
#
link-speed=0;
…

Multipathing konfigurieren
# cat fp.conf
…
#
# I/O multipathing feature (MPxIO) can be enabled or disabled using
# mpxio-disable property. Setting mpxio-disable=”no” will activate
# I/O multipathing; setting mpxio-disable=”yes” disables the feature.
#
# Global mpxio-disable property:
#
# To globally enable MPxIO on all fp ports set:
# mpxio-disable=”no”;
#
# To globally disable MPxIO on all fp ports set:
# mpxio-disable=”yes”;
#
# Per port mpxio-disable property:
#
# You can also enable or disable MPxIO on a per port basis.
# Per port settings override the global setting for the specified ports.
# To disable MPxIO on port 0 whose parent is /pci@8,600000/SUNW,qlc@4 set:
# name=”fp” parent=”/pci@8,600000/SUNW,qlc@4″ port=0 mpxio-disable=”yes”;
#
# NOTE: If you just want to enable or disable MPxIO on all fp ports, it is
# better to use stmsboot(1M) as it also updates /etc/vfstab.
#
#
# You can describe a list of target port WWNs and LUN numbers which will
# not be configured. LUN numbers will be interpreted as decimal. White
# spaces and ‘,’ can be used in the list of LUN numbers.
#
# pwwn-lun-blacklist=
# “target-port-wwn,lun-list”
#
# To prevent LUNs 1 and 2 from being configured for target
# port 510000f010fd92a1 and target port 510000e012079df1, set:
#
# pwwn-lun-blacklist=
# “510000f010fd92a1,1,2″,
# “510000e012079df1,1,2″;
#
# mpxio einschalten
mpxio-disable=”no”;
# mpxio fuer interne FC disks ausschalten
name=”fp” parent=”/pci@9,600000/SUNW,qlc@2″ port=0 mpxio-disable=”yes”;

Multipathing für Zusammenarbeit mit EMC DMX konfigurieren
# cat /kernel/drv/scsi_vhci.conf
…
# Load balancing global configuration: setting load-balance=”none” will cause
# all I/O to a given device (which supports multipath I/O) to occur via one
# path. Setting load-balance=”round-robin” will cause each path to the device
# to be used in turn.
#
load-balance=”round-robin”;
#
# Automatic failback configuration
# possible values are auto-failback=”enable” or auto-failback=”disable”
auto-failback=”enable”;
#
# For enabling MPxIO support for 3rd party symmetric device need an
# entry similar to following in this file. Just replace the “SUN SENA”
# part with the Vendor ID/Product ID for the device, exactly as reported by
# Inquiry cmd.
#
# device-type-scsi-options-list =
# “SUN SENA”, “symmetric-option”;
#
# symmetric-option = 0×1000000;
# Konfiguration fuer EMC Symmetrix
# zwischen EMC und SYMMETRIX 5 Leerzeichen!!!
device-type-scsi-options-list = “EMC SYMMETRIX”, “symmetric-option”;
symmetric-option = 0×1000000;

Zum Aktivieren der Konfiguration:
# reboot — -r

Dies stellt nur eine kurze Übersicht der relevanten Parameter für ein Testsystem dar. Kommentare und konstruktive Kritik sind willkommen

Solaris als Storageserver

otmanix — Mon, 21 Apr 2008 20:34:21 +0000

“Wo liegt der Reiz an Solaris?” werde ich immer wieder gefragt. Eines der Sahnestücke von Solaris ist meiner Meinung nach der Einsatz als universelle Storageplattform auf LowCost-Hardware, z.B. als günstiger Ersatz für einen Netapp-Filer. Wer die Opensolaris-Entwicklung etwas mitverfolgt erlebt hier beinahe monatlich neue Features im Storageumfeld. Hier ist bei weitem noch kein Ende der Entwicklung in Sicht.

http://www.opensolaris.org/os/community/storage/

SVM, UFS, ZFS – Volumemanager, Filesysteme, Volumes, Snapshots, uvm.

Traditionell wird unter Solaris der SVM als Volumemanager benutzt, UFS ist das Standard-Filesystem. Mit Multiterabyte-Support und Journaling per SVM wurde UFS im Nachhinein aufgebohrt. UFS-Snapshots funktionieren, wirken aber irgendwie wie ein angestückelter Fremdkörper. Das Handling von SVM ist sehr gewöhnungsbedürftig, Freunde gewinnt man so sicherlich nicht. SVM/UFS ist heute nach wie vor für die Spiegelung von lokalen Bootdevices üblich.

Der große Wurf gelang Sun mit ZFS. ZFS ist Volumemanager und Filesystem zugleich. Damit ist die Liste der Features aber noch lange nicht erschöpft. Prinzipiell werden Platten oder Slices (Partitionen) einem Pool zugewiesen, ein entsprechender RAID-Level gesetzt (Striping, Mirroring, RAID-Z) und diverse Parameter wie z.B. Blocksize gesetzt. In einem Pool können dann ZFS-Filesysteme oder Volumes (ähnlich RAW-devices) angelegt und mit Parametern, wie z.B. Quota und Reservierung, versehen werden. Auf Volumes können beliebige Filesysteme aufgebracht werden.

Auf ZFS-Pools, -Filesysteme und -Volumes können Snapshots angewendet werden. Diese können auch geclont und damit beschreibbar wiederverwendet werden.

Mit zfs send/receive können ZFS-Daten über IP repliziert werden.

ZFS Pools können exportiert und auf einem anderen Rechner wieder importiert werden. Geänderte Hardwarepfade, etc. spielen keine Rolle – so lange alle Platten eines Pools zur Verfügung stehen klappt der Import.

ZFS ist (noch?) nicht als Shared Filesystem geeignet. D.h. im Cluster kann es nur für Failoverszenarien eingesetzt werden.

Die Performance von ZFS ist abhängig vom Szenario, wo es zum Einsatz kommen soll. Mittlerweile in den meisten Bereichen UFS ebenbürtig gibt es noch Potential zu VxFS. Tuning ist oft sinnvoll. Je höher das Solaris-Release, desto mehr Möglichkeiten zur Optimierung gibt es.

ZFS bietet neben der eingängen Shell-Kommandos auch ein Webgui.

ZFS hat eingebaute Mechanismen wie “Self Healing” und Schutz gegen “silent data corruption”.

http://blogs.sun.com/chrisg/entry/latency_bubble_in_your_io

http://przemol.blogspot.com/2008/02/zfs-vs-vxfs-vs-ufs-on-x4500-thumper.html

http://blogs.sun.com/SC/entry/why_sunw_nfs_is_required

http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS

http://www.opensolaris.org/os/community/zfs/docs/

http://wiki.edv-widhalm.com/index.php/Solaris_Volume_Manager_%28HowTo%29

http://wiki.edv-widhalm.com/index.php/Zfs_%28HowTo%29

http://www.learning-solaris.com/index.php/category/unix-solaris-storage-volume-management/

http://www.osnews.com/story/19665/Solaris_Filesystem_Choices

http://blogs.digitar.com/jjww/?itemid=52

NAS – iSCSI

Solaris beherrscht iSCSI Initiator (Zugriff auf iSCSI-Volume) und iSCSI Target (Bereitstellen
eines iSCSI Volumes). Dabei kann z.B. ein ZFS Volume als iSCSI Target genutzt werden. Das kann man z.B. nutzen um einem Windows- oder VMware-ESX-Server Diskspace zur Verfügung zu stellen. Von den ZFS Volumes können dann Snapshots erstellt werden.

http://blogs.sun.com/mhuff/entry/introduction_to_iscsi_in_solaris

http://www.opensolaris.org/os/project/iscsitgt/

http://www.opensolaris.org/os/project/isns/

http://blogs.sun.com/lokibear/entry/download_isns_web_based_management

NAS Freigaben – NFS und CIFS

ZFS-Filesysteme beherrschen UNIX- und Windows-ACLs (W2K kompatibel) – damit entfallen viele Hürden als Netzwerkspeicher. Darüber hinaus können in ZFS-Filesystemen NFS- und CIFS-Freigaben als Eigenschaften eingerichtet werden. Eine ADS-Integration ist auch möglich. Der brandneue CIFS-Server mit ZFS-Integration dürfte unter Solaris eine ernsthafte Konkurrenz zu Samba werden.

http://blogs.sun.com/timthomas/entry/opensolaris_as_a_storageos_the

http://blogs.sun.com/dougm/

http://blogs.sun.com/amw/entry/cifs_in_solaris

SAN – Fibrechannel, FCoE

Im Bereich Fibrechannel wurde zuletzt in erster Linie in leichtere Administration auf der Shell investiert. Interessant sind die OpenSolaris-Projekte Comstar und FC over Ethernet. Hier bewegt sich einiges, gerade auch im Bereich Virtualisierung mit NPIV (virtuelle FC-HBAs).

http://www.opensolaris.org/os/project/comstar/

http://www.opensolaris.org/os/project/fcoe/

http://www.opensolaris.org/os/project/npiv/

mpxio – Multipathing

Solaris unterstützt mit mpxio Multipathing für SCSI-, FC-, SAS- und iSCSI-Disks. Speichersysteme mit SCSI SPC-2/3 werrden automatisch erkannt, eine manuelle Zuordnung in der Konfigurationsdatei durch Vendor und Product ist auch möglich, z.B. “EMC SYMMETRIX”. Es wird Failover und Roundrobin als Verfahren unterstützt. Mit dem mpathadm-Kommando ist die Administration sehr eingängig. Durch mpxio wird aus den verschiedenen Hardwarepfaden (verschiedene Controller/Targets, gleiche LUN) ein virtueller Pfad erstellt, der dann für die Konfiguration im Volumemanager benutzt wird.

http://www.opensolaris.org/os/project/mpxio/

last but not least: ZFS in der Praxis … (Achtung! US-Propaganda)