EMC hatte einen product manager und Leute aus der Entwicklung (siehe Photo) über den großen Teich fliegen lassen und Trainer aus dem Schulungscenter Schwalbach bereitgestellt um Kundenfeedback direkt entgegenzunehmen, an Diskussionen teilzunehmen und Auskunft zur Roadmap zu geben.

Rückblick

Mit der Übernahme von Avamar und Datadomain (und zuvor Legato) war eine Umstrukturierung bei EMC überfällig. Gerade im Networker-Umfeld hinkte die Entwicklung in einigen Punkten dem Markt hinterher, was mit dem kürzlich erschienenem Networker 7.6.2 und NMM 2.3 endlich kompensiert wurde. Die EMC BRS Division erweckt heute den Eindruck sich intern sortiert und strategisch neu ausgerichtet zu haben.

Fazit

Als Kunde möchte ich mich bei EMC hiermit für die gelungene Veranstaltung bedanken. Sehr positiv fand ich den direkten Kontakt zu Entwicklung und Produktmanagement. Alleine die Möglichkeit RFE bei dieser Gelegenheit einzukippen und direktes Feedback zu Machbarkeit und Chancen auf Realisierung zu bekommen ist aus meiner Sicht die Anreise wert. Die Frage/Antwort-Stunde und die entstandenen Diskusssionen während der Vorträge fand ich überwiegend positiv. Im Gegensatz zu anderen Herstellerveranstaltungen hielten sich hier die Marketing stunts in engen Grenzen, was wohl dem überwiegend Admin-lastigen Publikum zuzuschreiben war Die Gespräche mit anderen Kunden in den Pausen waren einerseits interessant und informativ, anderseits fiel manches auch in die Kategorie “geteiltes Leid ist halbes Leid”

Mein Dank auch an Hr. Lehner, der sich mit einer Kundenpräsentation vorgewagt und damit eine fruchtbare Diskussion angestoßen hatte. Aus meiner Sicht ist diese Veranstaltung ein echter Pflichttermin für Leute, die Networker einsetzen.

Tatverdächtiger: NPIV-Nutzung im VIO in Kombination mit Cisco SAN

Vorwurf: bei Änderung im SAN, also z.B. Kabel (ab-) stecken oder Zoning hinzufügen, reagiert LPAR mit virtuellem FC-HBA (NPIV) “überrascht”

Lösung: IBM Lab ist dran, stay tuned…

Sun Microsystems hat Solaris10 eine interessante OS-Virtualisierungslösung kostenlos beigelegt – Solaris Zones, ähnlich zu BSD jails. Im Gegensatz zu XVM (Xen im Solaris-Kernel für X86) oder Logical Domains (Hypervisor für CMT/Niagara) gibt es bei Zones kaum Overhead durch die Virtualisierung. Zudem steht es sowohl im Sparc- als auch im X86-Umfeld zur Verfügung. In einer Zone werden Resourcen der sog. “globalen Zone” genutzt. Es gibt aber auch z.T. die Möglichkeit dediziert Resourcen zuzuweisen, z.B. einen eigenen IP-Stack. Den OS-Kernel hingegen gibt es nur einmal. Die Kombination von OS-Virtualisierung mit Zones und dem Resourcemanagement wird als Container bezeichnet.

Container werden i.d.R. genutzt um Applikationen oder Applikationsschichten voneinander abzuschotten und die Resourcenverteilung zu steuern. So kann ein Container ein SAP ERP Entwicklungs- und Testsystem beinhalten und ein weiterer das Produktionssystem. Die Systeme haben je eine eigene Netzwerkkonfiguration und können weiche oder harten Grenzen für CPU-Auslastung und Speicherverbrauch besitzen.

flying zones

Heruntergefahrene Zonen kann man klonen oder exportieren. Kopiert man die Filesysteme der Zone auf einen anderen Rechner kann man sie dort importieren und die Zone wieder in Betrieb nehmen. Legt man die Filesysteme auf shared storage kann man durch Zuweisen der relevanten Disks auf allen relevanten Rechnern die Filesysteme je nach Bedarf am passenden System in Betrieb nehmen. Danach kann auch die Zone dort wieder in Betrieb genommen werden. Das Verfahren nennt man Zonenmigration. Das wird genutzt um bei Rechnerausfällen Zonen umzuziehen oder um eine bessere Auslastung der vorhandenen Systeme zu erzielen. Als Basis für den Umzug der Filesysteme kann sowohl ZFS als auch UFS auf shared disk sets genutzt werden.

Möchte man den Umzug von Zonen auf andere Rechner automatisieren, die Verfügbarkeit der Zonen/Rechner überwachen lassen und automische Reaktionen in Problemfällen haben, dann kann man den Sun Cluster 3.2 mit dem Zonenagent einsetzen.

Sun verkauft die Implementierung einer solchen Gesamtlösung unter dem Titel “flying zones“. Dabei wird noch das Monitoringtool N1AA Analyzer beigelegt. Dort kann man z.B. den Resourcenverbrauch von best. Zonen aufsummieren lassen und prüfen, ob das denn so zusammen auf einer best. Hardware laufen würde. Außerdem wird einem noch das Softwareinstallationssystem N1AA ans Herz gelegt.

flying zones für Arme im Eigenbau

Im kostenlosen Vmware Server 2.01 auf meinem PC habe ich eine Testumgebung aufgebaut um die Grundzüge von flying zones nachzustellen und zu testen. Wichtig war mir eine realistische Umgebung wie im Betriebsalltag, deshalb bin ich von 2 virt. Rechenzentren ausgegangen. In jedem virt. RZ befindet sich ein Solaris-Host und ein Storagesystem. Auf das Storagesystem jedes RZs kann jeder Server zugreifen. Die Platten im Storagesystem sind als shared disks konfiguriert. Es soll mit host based mirroring erreicht werden, dass trotz Ausfall eines kompletten Storagesystems den Betrieb der Zone nicht gestört wird, egal auf welchem host die Zone aktiv läuft. Auf den Einsatz kostenpflichtiger Clustersoftware zur Automatisierung verzichte ich in diesem Test.

In der Testumgebung gibt es nur eine Zone. In der Realität wären das natürlich mehr.

Auf jedem Solaris-Host ist Solaris10u6 (10/08) installiert. Dabei wurde ein lokale Platte genutzt um darauf das OS zu installieren. Dabei wurde bereits die neue Funktionalität genutzt ZFS als Rootfilesystem einzusetzen. Eine weitere kleine lokale Platte steht darüber hinaus zur Verfügung. Auf die Grundinstallation der Solaris-hosts gehe ich hier nicht näher ein. Die shared disks sind ebenfalls bereits den hosts bereitgestellt.

Testumgebung auf Vmware Server 2.01

Am Vmware Server ist eigentlich nur die Konfiguration der shared disks interessant. Die Disks werden zunächst in einer virt. Maschine erstellt, dann deren vmx-Dateien angepasst und die relevanten Teile der vmx-Datei in die des anderen hosts übertragen.

Benötigt werden also folgende Platten:

lokale disks pro System:

1 Disk mit >= 5GB für den ZFS-RootPool
1 Disk >= 20MB für die lokale State Database

shared disks (insgesamt):

2 shared Disks (preaallocated) für Zonen-Root (ZFS) 2GB
2 shared Disks (preaallocated) mit Zonen-Daten (UFS) 50MB

relevanter Teil der vmx-Dateien:

scsi1.present = "TRUE"
scsi1.sharedBus = "virtual"
scsi1.virtualDev = "lsilogic"

scsi1:0.present = "TRUE"
scsi1:0.fileName = "D:\Virtual Machines\ext1disk1.vmdk"
scsi1:0.writeThrough = "TRUE"
scsi1:0.mode = "independent-persistent"

scsi1:1.present = "TRUE"
scsi1:1.fileName = "D:\Virtual Machines\ext1disk2.vmdk"
scsi1:1.writeThrough = "TRUE"
scsi1:1.mode = "independent-persistent"

scsi2.present = "TRUE"
scsi2.sharedBus = "virtual"
scsi2.virtualDev = "lsilogic"

scsi2:0.present = "TRUE"
scsi2:0.fileName = "D:\Virtual Machines\ext2disk1.vmdk"
scsi2:0.writeThrough = "TRUE"
scsi2:0.mode = "independent-persistent"

scsi2:1.present = "TRUE"
scsi2:1.fileName = "D:\Virtual Machines\ext2disk2.vmdk"
scsi2:1.writeThrough = "TRUE"
scsi2:1.mode = "independent-persistent"

disk.locking = "FALSE"

Hier ein Blick auf das System nach der Solaris-Installation:

bash-3.00# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
rpool  7.94G  4.65G  3.28G    58%  ONLINE  -

bash-3.00# zpool status rpool
pool: rpool
state: ONLINE
scrub: none requested
config:
NAME        STATE     READ WRITE CKSUM
rpool       ONLINE       0     0     0
c1t0d0s0  ONLINE       0     0     0
errors: No known data errors

bash-3.00# zfs list
NAME                        USED  AVAIL  REFER  MOUNTPOINT
rpool                      5.15G  2.67G  35.5K  /rpool
rpool/ROOT                 3.77G  2.67G    18K  legacy
rpool/ROOT/s10x_u6wos_07b  3.77G  2.67G  3.77G  /
rpool/dump                  900M  2.67G   900M  -
rpool/export                 37K  2.67G    19K  /export
rpool/export/home            18K  2.67G    18K  /export/home
rpool/swap                  512M  3.16G  5.54M  -

bash-3.00# df -h
Filesystem             size   used  avail capacity  Mounted on
rpool/ROOT/s10x_u6wos_07b 7.8G   3.8G   2.7G    59%    /
/devices                 0K     0K     0K     0%    /devices
ctfs                     0K     0K     0K     0%    /system/contract
proc                     0K     0K     0K     0%    /proc
mnttab                   0K     0K     0K     0%    /etc/mnttab
swap                   532M   364K   532M     1%    /etc/svc/volatile
objfs                    0K     0K     0K     0%    /system/object
sharefs                  0K     0K     0K     0%    /etc/dfs/sharetab
/usr/lib/libc/libc_hwcap2.so.1 6.4G   3.8G   2.7G    59%    /lib/libc.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   535M   2.7M   532M     1%    /tmp
swap                   532M    32K   532M     1%    /var/run
rpool/export           7.8G    19K   2.7G     1%    /export
rpool/export/home      7.8G    18K   2.7G     1%    /export/home
rpool                  7.8G    35K   2.7G     1%    /rpool
/hgfs                   16G   4.0M    16G     1%    /hgfs
/tmp/VMwareDnD           0K     0K     0K     0%    /var/run/vmblock

bash-3.00# swap -l
swapfile             dev  swaplo blocks   free
/dev/zvol/dsk/rpool/swap 181,1       8 1048568 1047280

Arbeiten mit den shared disks

ZFS für Zonenroot, RAID1 gespiegelt

bash-3.00# format
Searching for disks...done
AVAILABLE DISK SELECTIONS:
0. c1t0d0 <DEFAULT cyl 4092 alt 2 hd 128 sec 32>
/pci@0,0/pci15ad,1976@10/sd@0,0
1. c1t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,1976@10/sd@1,0
2. c2t0d0 <VMware,-VMware Virtual S-1.0-2.00GB>
/pci@0,0/pci15ad,790@11/pci15ad,1976@0/sd@0,0
3. c2t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,790@11/pci15ad,1976@0/sd@1,0
4. c3t0d0 <VMware,-VMware Virtual S-1.0-2.00GB>
/pci@0,0/pci15ad,790@11/pci15ad,1976@1/sd@0,0
5. c3t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,790@11/pci15ad,1976@1/sd@1,0
Specify disk (enter its number): 0
selecting c1t0d0
[disk formatted]
/dev/dsk/c1t0d0s0 is part of active ZFS pool rpool. Please see zpool(1M).
/dev/dsk/c1t0d0s2 is part of active ZFS pool rpool. Please see zpool(1M).

bash-3.00# zpool create zone1 mirror c2t0d0 c3t0d0
bash-3.00# zpool list zone1
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
zone1  1.98G    94K  1.98G     0%  ONLINE  -

bash-3.00# zpool status zone1
pool: zone1
state: ONLINE
scrub: none requested
config:
NAME        STATE     READ WRITE CKSUM
zone1       ONLINE       0     0     0
mirror    ONLINE       0     0     0
c2t0d0  ONLINE       0     0     0
c3t0d0  ONLINE       0     0     0
errors: No known data errors

bash-3.00# zfs list
NAME                        USED  AVAIL  REFER  MOUNTPOINT
rpool                      5.15G  2.67G  35.5K  /rpool
rpool/ROOT                 3.77G  2.67G    18K  legacy
rpool/ROOT/s10x_u6wos_07b  3.77G  2.67G  3.77G  /
rpool/dump                  900M  2.67G   900M  -
rpool/export                 37K  2.67G    19K  /export
rpool/export/home            18K  2.67G    18K  /export/home
rpool/swap                  512M  3.16G  5.54M  -
zone1                       106K  1.95G    18K  /zone1

Datenbereich mit UFS-Filesystem auf SVM shared disk set, RAID1 gespiegelt

bash-3.00# metaset -s zone1data -a c2t1d0 c3t1d0 -h horst1 horst2
metaset: horst1: there are no existing databases

Es existiert noch keine lokale state database. Deshalb auf horst1 und horst2 die zweite lokale Platte partitionieren und in der Slice7 eine lokale State Database anlegen.

bash-3.00# format
Searching for disks...done
AVAILABLE DISK SELECTIONS:
0. c1t0d0 <DEFAULT cyl 4092 alt 2 hd 128 sec 32>
/pci@0,0/pci15ad,1976@10/sd@0,0
1. c1t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,1976@10/sd@1,0
2. c2t0d0 <VMware,-VMware Virtual S-1.0-2.00GB>
/pci@0,0/pci15ad,790@11/pci15ad,1976@0/sd@0,0
3. c2t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,790@11/pci15ad,1976@0/sd@1,0
4. c3t0d0 <VMware,-VMware Virtual S-1.0-2.00GB>
/pci@0,0/pci15ad,790@11/pci15ad,1976@1/sd@0,0
5. c3t1d0 <DEFAULT cyl 47 alt 2 hd 64 sec 32>
/pci@0,0/pci15ad,790@11/pci15ad,1976@1/sd@1,0
Specify disk (enter its number): 1
selecting c1t1d0
[disk formatted]
FORMAT MENU:
disk       - select a disk
type       - select (define) a disk type
partition  - select (define) a partition table
current    - describe the current disk
format     - format and analyze the disk
fdisk      - run the fdisk program
repair     - repair a defective sector
label      - write label to the disk
analyze    - surface analysis
defect     - defect list management
backup     - search for backup labels
verify     - read and display labels
save       - save new disk/partition definitions
inquiry    - show vendor, product and revision
volname    - set 8-character volume name
!<cmd>     - execute <cmd>, then return
format> fdisk
No fdisk table exists. The default partition for the disk is:
a 100% "SOLARIS System" partition
Type "y" to accept the default partition,  otherwise type "n" to edit the
partition table.
y
quit
format> part
PARTITION MENU:
0      - change `0' partition
1      - change `1' partition
2      - change `2' partition
3      - change `3' partition
4      - change `4' partition
5      - change `5' partition
6      - change `6' partition
7      - change `7' partition
select - select a predefined table
modify - modify a predefined partition table
name   - name the current table
print  - display the current table
label  - write partition map and label to the disk
!<cmd> - execute <cmd>, then return
quit
partition> print
Current partition table (original):
Total disk cylinders available: 46 + 2 (reserved cylinders)
Part      Tag    Flag     Cylinders      Size            Blocks
0 unassigned    wm       0             0         (0/0/0)      0
1 unassigned    wm       0             0         (0/0/0)      0
2     backup    wu       0 - 45       46.00MB    (46/0/0) 94208
3 unassigned    wm       0             0         (0/0/0)      0
4 unassigned    wm       0             0         (0/0/0)      0
5 unassigned    wm       0             0         (0/0/0)      0
6 unassigned    wm       0             0         (0/0/0)      0
7 unassigned    wm       0             0         (0/0/0)      0
8       boot    wu       0 -  0        1.00MB    (1/0/0)   2048
9 unassigned    wm       0             0         (0/0/0)      0
partition> 7
Part      Tag    Flag     Cylinders      Size            Blocks
7 unassigned    wm       0             0         (0/0/0)      0
Enter partition id tag[unassigned]:
Enter partition permission flags[wm]:
Enter new starting cyl[0]:
Enter partition size[0b, 0c, 0e, 0.00mb, 0.00gb]: 46c
partition> print
Current partition table (unnamed):
Total disk cylinders available: 46 + 2 (reserved cylinders)
Part      Tag    Flag     Cylinders      Size            Blocks
0 unassigned    wm       0             0         (0/0/0)      0
1 unassigned    wm       0             0         (0/0/0)      0
2     backup    wu       0 - 45       46.00MB    (46/0/0) 94208
3 unassigned    wm       0             0         (0/0/0)      0
4 unassigned    wm       0             0         (0/0/0)      0
5 unassigned    wm       0             0         (0/0/0)      0
6 unassigned    wm       0             0         (0/0/0)      0
7 unassigned    wm       0 - 45       46.00MB    (46/0/0) 94208
8       boot    wu       0 -  0        1.00MB    (1/0/0)   2048
9 unassigned    wm       0             0         (0/0/0)      0
partition> label
Ready to label disk, continue? y
partition> quit
FORMAT MENU:
disk       - select a disk
type       - select (define) a disk type
partition  - select (define) a partition table
current    - describe the current disk
format     - format and analyze the disk
fdisk      - run the fdisk program
repair     - repair a defective sector
label      - write label to the disk
analyze    - surface analysis
defect     - defect list management
backup     - search for backup labels
verify     - read and display labels
save       - save new disk/partition definitions
inquiry    - show vendor, product and revision
volname    - set 8-character volume name
!<cmd>     - execute <cmd>, then return
quit
format> quit
bash-3.00#

bash-3.00# metadb -a -f c1t1d0s7

bash-3.00# metadb
flags           first blk       block count
a        u         16              8192            /dev/dsk/c1t1d0s7
bash-3.00# echo "set md:mirrored_root_flag=1" >> /etc/system

Auf horst1 nun das shared disk set anlegen.

bash-3.00# metaset -s zone1data -a -h horst1 horst2
metaset: horst2: rpc.metad: Permission denied

Dem Dienst fehlen die Berechtigungen.

Auf horst1

bash-3.00# echo horst2 > /.rhosts

Auf horst2

bash-3.00# echo horst1 > /.rhosts

Auf horst1 nun das shared disk set erstellen:

bash-3.00# metaset -s zone1data -a -h horst1 horst2

bash-3.00# metaset -s zone1data -a c2t1d0 c3t1d0

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1             Yes
horst2
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

bash-3.00# metadb -s zone1data
flags           first blk       block count
a        u         16              8192            /dev/dsk/c2t1d0s7
a        u         16              8192            /dev/dsk/c3t1d0s7

Nun die RAID1-Spiegelung mit Solaris Volummanager (SVM) aufsetzen:

bash-3.00# metainit -s zone1data d11 1 1 c2t1d0s0
zone1data/d11: Concat/Stripe is setup

bash-3.00# metainit -s zone1data d12 1 1 c3t1d0s0
zone1data/d12: Concat/Stripe is setup

bash-3.00# metainit -s zone1data d10 -m d11
zone1data/d10: Mirror is setup

bash-3.00# metattach -s zone1data d10 d12
zone1data/d10: submirror zone1data/d12 is attached

bash-3.00# metastat -s zone1data
zone1data/d10: Mirror
Submirror 0: zone1data/d11
State: Okay
Submirror 1: zone1data/d12
State: Okay
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 86016 blocks (42 MB)
zone1data/d11: Submirror of zone1data/d10
State: Okay
Size: 86016 blocks (42 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c2t1d0s0          0     No            Okay   Yes
zone1data/d12: Submirror of zone1data/d10
State: Okay
Size: 86016 blocks (42 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c3t1d0s0          0     No            Okay   Yes
Device Relocation Information:
Device   Reloc  Device ID
c3t1d0   Yes    id1,sd@f0000000049d7b0e80006e5c10004
c2t1d0   Yes    id1,sd@f0000000049d7b0e80004846b0003

Im Anschluss die Platte mit UFS formatieren:

bash-3.00# newfs /dev/md/zone1data/rdsk/d10
/dev/md/zone1data/rdsk/d10: Unable to find Media type. Proceeding with system determined parameters.
newfs: construct a new file system /dev/md/zone1data/rdsk/d10: (y/n)? y
/dev/md/zone1data/rdsk/d10:     86016 sectors in 42 cylinders of 64 tracks, 32 sectors
42.0MB in 3 cyl groups (16 c/g, 16.00MB/g, 7680 i/g)
super-block backups (for fsck -F ufs -o b=#) at:
32, 32832, 65632,

Konfiguration und Installation der Zone zone1

bash-3.00# zonecfg -z zone1
zone1: No such zone configured
Use 'create' to begin configuring a new zone.
zonecfg:zone1> create
zonecfg:zone1> set zonepath=/zone1
zonecfg:zone1> set autoboot=false
zonecfg:zone1> add fs
zonecfg:zone1:fs> set dir=/daten
zonecfg:zone1:fs> set special=/dev/md/zone1data/dsk/d10
zonecfg:zone1:fs> set raw=/dev/md/zone1data/rdsk/d10
zonecfg:zone1:fs> set type=ufs
zonecfg:zone1:fs> end
zonecfg:zone1> add net
zonecfg:zone1:net> set physical=e100g0
zonecfg:zone1:net> set address=192.168.178.61
zonecfg:zone1:net> end
zonecfg:zone1> exit

bash-3.00# zoneadm list -c
global
zone1

bash-3.00# cat /etc/zones/index
# Copyright 2004 Sun Microsystems, Inc.  All rights reserved.
# Use is subject to license terms.
#
# ident "@(#)zones-index        1.2     04/04/01 SMI"
#
# DO NOT EDIT: this file is automatically generated by zoneadm(1M)
# and zonecfg(1M).  Any manual changes will be lost.
#
global:installed:/
zone1:configured:/zone1:

bash-3.00# cat /etc/zones/zone1.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE zone PUBLIC "-//Sun Microsystems Inc//DTD Zones//EN" "file:///usr/share/lib/xml/dtd/zonecfg.dtd.1">
<!--
DO NOT EDIT THIS FILE.  Use zonecfg(1M) instead.
-->
<zone name="zone1" zonepath="/zone1" autoboot="false">
<inherited-pkg-dir directory="/lib"/>
<inherited-pkg-dir directory="/platform"/>
<inherited-pkg-dir directory="/sbin"/>
<inherited-pkg-dir directory="/usr"/>
<filesystem special="/dev/md/zone1data/dsk/d10" raw="/dev/md/zone1data/rdsk/d10" directory="/daten" type="ufs"/>
<network address="192.168.178.61" physical="e100g0"/>
</zone>

bash-3.00# chmod 700 /zone1

bash-3.00# zoneadm -z zone1 install
Preparing to install zone <zone1>.
Checking <ufs> file system on device </dev/md/zone1data/rdsk/d10> to be mounted at </zone1/root>
Creating list of files to copy from the global zone.
Copying <8135> files to the zone.
Initializing zone product registry.
Determining zone package initialization order.
Preparing to initialize <1186> packages on the zone.
Initialized <1186> packages on zone.
Zone <zone1> is initialized.
The file </zone1/root/var/sadm/system/logs/install_log> contains a log of the zone installation.

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            installed  /zone1                         native   shared

bash-3.00# zoneadm -z zone1 boot

bash-3.00# zlogin -C zone1
[Connected to zone 'zone1' console]
143/143
Reading ZFS config: done.
Select a Language
0. English
1. German
2. es
3. fr
Please make a choice (0 - 3), or press h or ? for help:1
...
Auf welcher Art von Terminal arbeiten Sie?
1) ANSI Standard CRT
2) DEC VT52
3) DEC VT100
4) Heathkit 19
5) Lear Siegler ADM31
6) PC-Konsole
7) Sun-Kommando-Shell
  Sun-Workstation
9) Televideo 910
10) Televideo 925
11) Wyse Modell 50
12) X Terminal Emulator (xterms)
13) CDE Terminal Emulator (dtterm)
14) Andere
Geben Sie die gewünschte Zahl ein und drücken Sie Eingabetaste: 3
...
System identification is completed.
rebooting system due to change(s) in /etc/default/init
[NOTICE: Zone rebooting]
SunOS Release 5.10 Version Generic_137138-09 64-bit
Copyright 1983-2008 Sun Microsystems, Inc.  All rights reserved.
Use is subject to license terms.
Hostname: zone1
Reading ZFS config: done.
zone1 console login: Apr  5 13:33:22 zone1 sendmail[6008]: My unqualified host name (localhost) unknown; sleeping for retry
root
Password:
Apr  5 13:33:44 zone1 login: ROOT LOGIN /dev/console
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005

# svcadm disable svc:*sendmail*

bash-3.00# df -h
Dateisystem           Größe belegt verfügbar Kapazität Eingehängt auf
/                        0K   541M   1,4G    28%    /
/daten                  39M   1,0M    34M     3%    /daten
/dev                   2,0G   541M   1,4G    28%    /dev
/lib                   6,4G   3,8G   2,7G    59%    /lib
/platform              6,4G   3,8G   2,7G    59%    /platform
/sbin                  6,4G   3,8G   2,7G    59%    /sbin
/usr                   6,4G   3,8G   2,7G    59%    /usr
proc                     0K     0K     0K     0%    /proc
ctfs                     0K     0K     0K     0%    /system/contract
mnttab                   0K     0K     0K     0%    /etc/mnttab
objfs                    0K     0K     0K     0%    /system/object
swap                   452M   316K   452M     1%    /etc/svc/volatile
/usr/lib/libc/libc_hwcap2.so.1 6,4G   3,8G   2,7G    59%    /lib/libc.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   452M    36K   452M     1%    /tmp
swap                   452M    12K   452M     1%    /var/run
bash-3.00# exit
# ^D
zone1 console login: ~.
[Connection to zone 'zone1' console closed]

Zonenmigration

Zone exportieren

bash-3.00# zlogin zone1 init 0

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            installed  /zone1                         native   shared

bash-3.00# zoneadm -z zone1 detach
bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            configured /zone1                         native   shared

bash-3.00# ls -l /zone1
total 3343
-rw-r--r--   1 root     root     1618163 Apr  5 14:25 SUNWdetached.xml
drwxr-xr-x  13 root     root          52 Apr  5 14:22 dev
drwxr-xr-x  19 root     root          21 Apr  5 13:44 root

ZFS-Pool mit Zonenroot exportieren

bash-3.00# zpool export zone1

bash-3.00# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
rpool  7.94G  5.02G  2.92G    63%  ONLINE  -

SVM disk set mit UFS-Filesystem für Daten exportieren

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1             Yes
horst2
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

bash-3.00# metaset -s zone1data -r

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1
horst2
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

Auf horst2:

ZFS-Pool importieren

bash-3.00# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
rpool  7.94G  4.65G  3.28G    58%  ONLINE  -

bash-3.00# zpool import
pool: zone1
id: 12609083278336438915
state: ONLINE
action: The pool can be imported using its name or numeric identifier.
config:
zone1       ONLINE
mirror    ONLINE
c2t0d0  ONLINE
c3t0d0  ONLINE

bash-3.00# zpool import zone1

bash-3.00# zpool list
NAME    SIZE   USED  AVAIL    CAP  HEALTH  ALTROOT
rpool  7.94G  4.65G  3.28G    58%  ONLINE  -
zone1  1.98G   544M  1.45G    26%  ONLINE  -

SVM disk set importieren

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1
horst2
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

bash-3.00# metaset -s zone1data -t

bash-3.00# metaset
Set name = zone1data, Set number = 1
Host                Owner
horst1
horst2             Yes
Drive    Dbase
c2t1d0   Yes
c3t1d0   Yes

bash-3.00# metastat -s zone1data d10
zone1data/d10: Mirror
Submirror 0: zone1data/d11
State: Okay
Submirror 1: zone1data/d12
State: Okay
Pass: 1
Read option: roundrobin (default)
Write option: parallel (default)
Size: 86016 blocks (42 MB)
zone1data/d11: Submirror of zone1data/d10
State: Okay
Size: 86016 blocks (42 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c2t1d0s0          0     No            Okay   Yes
zone1data/d12: Submirror of zone1data/d10
State: Okay
Size: 86016 blocks (42 MB)
Stripe 0:
Device     Start Block  Dbase        State Reloc Hot Spare
c3t1d0s0          0     No            Okay   Yes
Device Relocation Information:
Device   Reloc  Device ID
c2t1d0   Yes    id1,sd@f0000000049d7b0e80004846b0003
c3t1d0   Yes    id1,sd@f0000000049d7b0e80006e5c10004

Zone zone1 importieren und wieder in Betrieb nehmen:

bash-3.00# zonecfg -z zone1
zone1: No such zone configured
Use 'create' to begin configuring a new zone.
zonecfg:zone1> create -a /zone1
zonecfg:zone1> exit

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            configured /zone1                         native   shared

bash-3.00# zoneadm -z zone1 attach

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
- zone1            installed  /zone1                         native   shared

bash-3.00# zoneadm -z zone1 boot

bash-3.00# zoneadm list -cv
ID NAME             STATUS     PATH                           BRAND    IP
0 global           running    /                              native   shared
2 zone1            running    /zone1                         native   shared

bash-3.00# zlogin zone1
[Connected to zone 'zone1' pts/5]
Last login: Sun Apr  5 14:22:15 on pts/5
Sun Microsystems Inc.   SunOS 5.10      Generic January 2005

# df -h
Filesystem             size   used  avail capacity  Mounted on
/                        0K   545M   1.4G    28%    /
/daten                  39M   5.0M    30M    15%    /daten
/dev                   2.0G   545M   1.4G    28%    /dev
/lib                   6.4G   3.8G   2.7G    59%    /lib
/platform              6.4G   3.8G   2.7G    59%    /platform
/sbin                  6.4G   3.8G   2.7G    59%    /sbin
/usr                   6.4G   3.8G   2.7G    59%    /usr
proc                     0K     0K     0K     0%    /proc
ctfs                     0K     0K     0K     0%    /system/contract
mnttab                   0K     0K     0K     0%    /etc/mnttab
objfs                    0K     0K     0K     0%    /system/object
swap                   437M   300K   437M     1%    /etc/svc/volatile
/usr/lib/libc/libc_hwcap2.so.1 6.4G   3.8G   2.7G    59%    /lib/libc.so.1
fd                       0K     0K     0K     0%    /dev/fd
swap                   437M    36K   437M     1%    /tmp
swap                   437M    12K   437M     1%    /var/run

# ls -l /daten
total 8176
-rw-r--r--   1 root     root     4165061 Apr  5 14:14 lksf_book_alpha.pdf
drwx------   2 root     root        8192 Apr  5 12:13 lost+found

Fazit

Zonen sind ne nette Sache. Mit der Möglichkeit der Zonenmigration wird das Thema aber erst richtig interessant und RZ-tauglich.

Weiterführende Literatur, etc.

Solaris Volume Manager Administration Guide

ZFS Administration Guide

Solaris Containers

Devices and Filesystems

Solaris10u6 10/08

Blog O’Matty zu shared disks unter Vmware Server 2

P.S.

Der nächste Test wird Liveupgrade mit ZFS-Rootfilesystem und Zonen zum Thema haben…

Bei der automatischen Erkennung stürzte zuletzt das Programm jbconfig ab, deshalb folgt nun die manuelle Variante (bei Sun/STK Librarys habe ich den Absturz noch nicht erlebt).

Zunächst einmal noch ein paar Grundlagen für das Einrichten der Jukebox und Dynamic Drive Sharing:

Für ein Tape drive werden am Host jede Menge Devices angelegt. Für Backup-Programme wird i.d.R. das no rewind – device inc. Hardwarekomprimierung bevorzugt, das die max. Kapizität nutzt. Bei den verwendeten LTO-3-drives könnte man z.B. LTO-2-Kompatibilität nutzen, was aber nur ggf. bei einem gemischten Betrieb von Drives Sinn ergibt.

Beim Dynamic Drive Sharing (DDS) übernimmt der Networker Server (oder ein Storage Node) die Steuerung der Jukebox (Controlpath/Changer/Robotik). Andere Hosts, z.B. auch NDMP-Tapeserver, können auch auf die Drives der Jukebox zugreifen. Für jedes gesharte Drive wird eine DDS-Lizenz benötigt. Die Jukebox wird gestaffelt nach Anzahl Slots lizensiert. Sollen außer dem Networker Server weitere Rechner direkt die Drives nutzen wird dafür eine Dedicated Storage Node – Lizenz benötigt. NAS-Systeme wie Netapp benötigen eine NDMP-Lizenz, die gestaffelt nach Tieren abgerechnet wird.

Aufgrund der vorherigen Auswertung auf dem Backup Server und den NAS-Geräten läßt sich sich eine Zuordnung zwischen WW(P)N und Tape-Device erstellen:

Changer: WWPN 50:03:08:c1:43:97:b0:02 / Lun 1
senbackup1: /dev/scsi/changer/c5t500308C14397B002d1

Tape drive 1: WWPN 50:03:08:c1:43:97:b0:02 / Lun 0
senbackup1: /dev/rmt/6cbn
filer1: nrst16a
sennst1: nrst7a

Tape drive 2: WWPN 50:03:08:c1:43:97:b0:05 / Lun 0
senbackup1: /dev/rmt/7cbn
filer1: nrst17a
sennst1: nrst4a

Tape drive 3: WWPN 50:03:08:c1:43:97:b0:08 / Lun 0
senbackup1: /dev/rmt/8cbn

Mit diesem Wissen kann nun die Jukebox für den EMC Networker konfiguriert werden:

root@senbackup1 # jbconfig

Jbconfig is running on host senbackup1 (SunOS 5.10),
and is using senbackup1 as the NetWorker server.

1) Configure an AlphaStor Library.
2) Configure an Autodetected SCSI Jukebox.
3) Configure an Autodetected NDMP SCSI Jukebox.
4) Configure an SJI Jukebox.
5) Configure an STL Silo.

What kind of Jukebox are you configuring? [1] 4
Enter the number corresponding to the type of jukebox you are installing:
1) ADIC-1200c/ADIC-1200d 20) Exabyte 690D          39) HP-Optical
2) ADIC-VLS              21) Exabyte Jukebox       40) Sony TSL-7000
3) ARC DiamondBack       22) Hitachi ML010 Series  41) Sony TSL-A500C
4) Sun 20Gb 4mm Tape Loader 23) HP-C1553A/Surestore 12000e 42) Sony TSL-AIT
5) Breece Hill Saguaro   24) HP-C1557A/Surestore 12000e 43) Digital 4mm DAT TLZ9L
6) Breece Hill           25) HP C5713A             44) Digital 4mm DAT (TLZxx)
7) Philips Blackjack     26) Hewlett-Packard A4853A 45) Digital TL800 Series
DLI Libra Series      27) Metrum (SCSI)         46) Digital TL810 Series
9) Quantum DLT/Digital DLT 28) Qualstar              47) Digital TL820 Series
10) Exabyte 10e or 10h    29) Spectralogic          48) Digital TL893
11) Exabyte 10i           30) STK 9704/Lago 340     49) Digital TL893
12) Exabyte 18D           31) STK 9708/Lago 380 (SCSI) Datawheel 50) Digital TL896
13) Exabyte 60            32) StorageTek 9730       51) Digital TL896
14) Exabyte 120           33) StorageTek 9738       52) Digital TL899
15) Exabyte 210           34) STK 9708/Lago 380 (SCSI) Datawheel 53) Digital TL899
16) Exabyte 218           35) Dell PowerVault 130T  54) Digital Optical
17) Exabyte 220           36) IBM 3570              55) Digital TK Series
18) Exabyte 230D          37) IBM 7331/IBM 9427     56) Standard SCSI Jukebox
19) Exabyte 400 Series    38) ATL/Odetics SCSI

Choice? 56
Installing an ‘Standard SCSI Jukebox’ jukebox.

What name do you want to assign to this jukebox device? senlib2
39744:jbconfig: Enter the control port of the jukebox in the following format:

scsidev@3.0.0 Pathname of the control port for the jukebox device? /dev/scsi/changer/c5t500308C14397B002d1
15814:jbconfig: Attempting to detect serial numbers on the jukebox and drives …

15815:jbconfig: Will try to use SCSI information returned by jukebox to configure drives.

Turn NetWorker auto-cleaning on (yes / no) [yes]? no
The drives in this jukebox cannot be auto-configured with the available
information. You will need to provide the path for the drives.
Is (any path of) any drive intended for NDMP use? (yes / no) [no] yes
Is any drive going to have more than one path defined? (yes / no) [no] yes

You will be prompted for multiple paths for each drive.
Pressing <Enter> on a null default advances to the next drive.

Please enter the device path information in one of the following formats:

/dev/rmt/1cbn –for local path or
host:device-path –for remote node or NDMP device(s) or
host:drive-letter:directory path –for Windows disk file

After you have entered a device path, you will be prompted for an NDMP
user name for that path’s host. If this device path is not an NDMP device,
press the enter key to advance to the next device path.  For NDMP devices,
you need to enter the user name and password the first time we encounter
that NDMP host. Pressing the enter key for the NDMP user name for any
subsequent device path on the same host will set the user name and password
to those defined the first time. You will not be prompted for the password
in such a case.

Drive  1, element 1
Device path 1 ? /dev/rmt/6cbn
Device path 2 ? filer1:nrst16a
Is this device configured as NDMP? (yes / no) [no]yes
Device path 3 ? sennst1:nrst7a
Is this device configured as NDMP? (yes / no) [no]yes
Device path 4 ?

Drive  2, element 2
Device path 1 ? /dev/rmt/7cbn
Device path 2 ? filer1:nrst17a
Is this device configured as NDMP? (yes / no) [no]yes
Device path 3 ? sennst1:nrst4a
Is this device configured as NDMP? (yes / no) [no]yes
Device path 4 ?

Drive  3, element 3
Device path 1 ? /dev/rmt/8cbn
Device path 2 ?

Please select the appropriate drive type number:
1) 3480                  24) 9840b                 47) optical
2) 3570                  25) 9840C                 48) qic
3) 3590                  26) 9940                  49) SAIT-1
4) 3592                  27) 9940B                 50) SD3
5) 4890                  28) adv_file              51) sdlt
6) 4mm                   29) dlt                   52) sdlt320
7) 4mm 12GB              30) dlt vs160             53) sdlt600
4mm 20GB              31) dlt-s4                54) SLR
9) 4mm 4GB               32) dlt-v4                55) T10000
10) 4mm 8GB               33) dlt1                  56) tkz90
11) 4mm DAT160            34) dlt7000               57) travan10
12) 4mm DAT72             35) dlt8000               58) TS1120
13) 8mm                   36) dst                   59) tz85
14) 8mm 20GB              37) dst (NT)              60) tz86
15) 8mm 5GB               38) dtf                   61) tz87
16) 8mm AIT               39) dtf2                  62) tz88
17) 8mm AIT-2             40) file                  63) tz89
18) 8mm AIT-3             41) himt                  64) tz90
19) 8mm AIT-4             42) logical               65) tzs20
20) 8mm AIT-5             43) LTO Ultrium           66) VXA
21) 8mm Mammoth-2         44) LTO Ultrium-2         67) VXA-172
22) 9490                  45) LTO Ultrium-3         68) VXA-2
23) 9840                  46) LTO Ultrium-4         69) VXA-320

Enter the drive type of drive 1? 45
Are all the drives the same model? (yes / no) [yes] yes

Jukebox has been added successfully

The following configuration options have been set:

> Autocleaning off.
> At least one drive was defined with multiple paths.  All such drives are
defined with a hardware identification as well as a path value to avoid
confusion by uniquely identifying the drive.  The hardware identification
for all drives which have one is always ‘autochanger_name – Drive #’ where
“autochanger_name” is the name you gave to the autochanger that was
just defined, and the # symbol is the drive number.
> Barcode reading to on.
> Volume labels that match the barcodes.

You can review and change the characteristics of the autochanger and its
associated devices using the NetWorker Management Console.

Would you like to configure another jukebox? (yes/no) [no]no

Das manuelle Erstellen der Jukebox hat also geklappt.

Hinweise:

Beim erstmaligen Anlegen eines NDMP-Devices wird ein User/Paßwort für die Authentifizierung am NAS-Gerät abgefragt. In diesem Beispiel sind bereits NDMP-Devices einer anderen Jukebox angelegt, deshalb entfiel die Frage.

Das Autocleaning im Networker sollte wenn möglich nicht benutzt werden und besser die Funtionalität der Tape Library zum Einsatz kommen. Der Networker reinigt nach fest eingestellten Intervallen, auch wenn die Laufwerke ggf. keine Reinigung benötigen. zu häufige Reinigungen verringern die Lebensdauer der Drives.

Der Networker Server läuft auf Solaris 10 Update 5. Zunächst einmal läßt man die Geräteerkennung laufen:

root@senbackup1 # devfsadm

Jetzt die Konfiguration des gezonten HBA-Ports abfragen:

root@senbackup1 # fcinfo hba-port -l
…
HBA Port WWN: 210100e08bb2d018
OS Device Name: /dev/cfg/c5
Manufacturer: QLogic Corp.
Model: 375-3356-01
Firmware Version: 4.2.2
FCode/BIOS Version:  BIOS: 1.24; fcode: 1.26; EFI: 1.8;
Type: N-port
State: online
Supported Speeds: 1Gb 2Gb 4Gb
Current Speed: 4Gb
Node WWN: 200100e08bb2d018

Danach prüfen, welche Geräte auf diesem HBA-Port sichtbar sind:

root@senbackup1 # fcinfo remote-port -p 210100e08bb2d018 -s
…
Remote Port WWN: 500308c14397b002
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500308c14397b001
LUN: 0
Vendor: IBM
Product: ULT3580-TD3
OS Device Name: /dev/rmt/6n
LUN: 1
Vendor: IBM
Product: ULT3583-TL
OS Device Name: /devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0/sgen@w500308c14397b002,1
Remote Port WWN: 500308c14397b005
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500308c14397b004
LUN: 0
Vendor: IBM
Product: ULT3580-TD3
OS Device Name: /dev/rmt/7n
Remote Port WWN: 500308c14397b008
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500308c14397b007
LUN: 0
Vendor: IBM
Product: ULT3580-TD3
OS Device Name: /dev/rmt/8n
…

Alle 3 Tape drives sind sichtbar (Lun 0 am jeweiligen Target), ebenso der Changer (Lun 1 am ersten Target).

Nun mit dem Networker-Kommando inquire bzw. inquire -l die Geräteerkennung starten:

root@senbackup1 # inquire
…
scsidev@5.7.1:IBM     ULT3583-TL      6.10|Autochanger (Jukebox), /dev/scsi/changer/c5t500308C14397B002d1
S/N: 0000013254351000
ATNN=IBM     ULT3583-TL      0000013254351000
scsidev@5.9.0:IBM     ULT3580-TD3     73P5|Tape, /dev/rmt/6cbn
S/N: 1210029684
ATNN=IBM     ULT3580-TD3     1210029684
WWNN=500308C14397B001
WWPN=500308C14397B002
PORT=00000001
scsidev@5.10.0:IBM     ULT3580-TD3     73P5|Tape, /dev/rmt/7cbn
S/N: 1210029712
ATNN=IBM     ULT3580-TD3     1210029712
WWNN=500308C14397B004
WWPN=500308C14397B005
PORT=00000001
scsidev@5.13.0:IBM     ULT3580-TD3     73P5|Tape, /dev/rmt/8cbn
S/N: 1210029552
ATNN=IBM     ULT3580-TD3     1210029552
WWNN=500308C14397B007
WWPN=500308C14397B008
PORT=00000001

Für die Tape drives wurden also Devices mit dem st-Treiber erzeugt. Der Changer wurde mit dem sgen-Treiber erzeugt.

Dazu zunächst auf den beiden Systemen auf der Shell anmelden.

storage show tape zeigt die einzelnen erkannten Tape devices an. Dabei gibt es als Auskunft die WWN des Geräts an (die letzte Stelle ist 1 niedriger als die WWPN!). Damit kann eine Zuordnung zwischen Netapp-Devicenamen und tatsächlichen Tape drive erfolgen (wird später beim Anlegen der Jukebox im Networker benötigt!).

Hier kann man auch eine Eigenart von Netapp-Geräten erkennen. Im Hardwarepfad (Feld Tape Drive) ist der Name des SAN-Switches mit vermerkt. Ein Umhängen der Tape drives an Ports eines anderen Switches in der selben Fabric erzeugt damit neue Devices!!! Das bedeutet eine Umkonfiguration der Jukebox im Networker…

sysconfig -t listet zu allen erkannten Tape drives die erzeugten Devices.

ndmpd status zeigt an ob NDMP auf dem Netapp-NAS-System aktiviert ist und gibt u.a. auch die benutzte NDMP-Version an.

sennst1*> storage show tape
…
Tape Drive:         sansw14:5.2
Description:        IBM     ULT3580-TD3
Serial Number:      1210029712
World Wide Name:    WWN[5:003:08c143:97b004]
Alias Name(s):      st4
Device State:       available

Tape Drive:         sansw14:4.1
Description:        IBM     ULT3580-TD3
Serial Number:      1210029684
World Wide Name:    WWN[5:003:08c143:97b001]
Alias Name(s):      st7
Device State:       available

sennst1*> sysconfig -t
…
Tape drive (sansw14:5.2)  IBM     ULT3580-TD3
rst4l  -  rewind device,        format is: LTO rd only 200GB cmp
nrst4l -  no rewind device,     format is: LTO rd only 200GB cmp
urst4l -  unload/reload device, format is: LTO rd only 200GB cmp
rst4m  -  rewind device,        format is: LTO 2 400GB cmp
nrst4m -  no rewind device,     format is: LTO 2 400GB cmp
urst4m -  unload/reload device, format is: LTO 2 400GB cmp
rst4h  -  rewind device,        format is: LTO 3 400GB
nrst4h -  no rewind device,     format is: LTO 3 400GB
urst4h -  unload/reload device, format is: LTO 3 400GB
rst4a  -  rewind device,        format is: LTO 3 800GB cmp
nrst4a -  no rewind device,     format is: LTO 3 800GB cmp
urst4a -  unload/reload device, format is: LTO 3 800GB cmp

Tape drive (sansw14:4.1)  IBM     ULT3580-TD3
rst7l  -  rewind device,        format is: LTO rd only 200GB cmp
nrst7l -  no rewind device,     format is: LTO rd only 200GB cmp
urst7l -  unload/reload device, format is: LTO rd only 200GB cmp
rst7m  -  rewind device,        format is: LTO 2 400GB cmp
nrst7m -  no rewind device,     format is: LTO 2 400GB cmp
urst7m -  unload/reload device, format is: LTO 2 400GB cmp
rst7h  -  rewind device,        format is: LTO 3 400GB
nrst7h -  no rewind device,     format is: LTO 3 400GB
urst7h -  unload/reload device, format is: LTO 3 400GB
rst7a  -  rewind device,        format is: LTO 3 800GB cmp
nrst7a -  no rewind device,     format is: LTO 3 800GB cmp
urst7a -  unload/reload device, format is: LTO 3 800GB cmp

sennst1*> ndmpd status
ndmpd ON.
No ndmpd sessions active.

filer1*> storage show tape
…
Tape Drive:         sansw14:4.1
Description:        IBM     ULT3580-TD3
Serial Number:      1210029684
World Wide Name:    WWN[5:003:08c143:97b001]
Alias Name(s):      st16
Device State:       available

Tape Drive:         sansw14:5.2
Description:        IBM     ULT3580-TD3
Serial Number:      1210029712
World Wide Name:    WWN[5:003:08c143:97b004]
Alias Name(s):      st17
Device State:       available

filer1*> sysconfig -t
…
Tape drive (sansw14:4.1)  IBM     ULT3580-TD3
rst16l  -  rewind device,        format is: LTO rd only 200GB cmp
nrst16l -  no rewind device,     format is: LTO rd only 200GB cmp
urst16l -  unload/reload device, format is: LTO rd only 200GB cmp
rst16m  -  rewind device,        format is: LTO 2 400GB cmp
nrst16m -  no rewind device,     format is: LTO 2 400GB cmp
urst16m -  unload/reload device, format is: LTO 2 400GB cmp
rst16h  -  rewind device,        format is: LTO 3 400GB
nrst16h -  no rewind device,     format is: LTO 3 400GB
urst16h -  unload/reload device, format is: LTO 3 400GB
rst16a  -  rewind device,        format is: LTO 3 800GB cmp
nrst16a -  no rewind device,     format is: LTO 3 800GB cmp
urst16a -  unload/reload device, format is: LTO 3 800GB cmp

Tape drive (sansw14:5.2)  IBM     ULT3580-TD3
rst17l  -  rewind device,        format is: LTO rd only 200GB cmp
nrst17l -  no rewind device,     format is: LTO rd only 200GB cmp
urst17l -  unload/reload device, format is: LTO rd only 200GB cmp
rst17m  -  rewind device,        format is: LTO 2 400GB cmp
nrst17m -  no rewind device,     format is: LTO 2 400GB cmp
urst17m -  unload/reload device, format is: LTO 2 400GB cmp
rst17h  -  rewind device,        format is: LTO 3 400GB
nrst17h -  no rewind device,     format is: LTO 3 400GB
urst17h -  unload/reload device, format is: LTO 3 400GB
rst17a  -  rewind device,        format is: LTO 3 800GB cmp
nrst17a -  no rewind device,     format is: LTO 3 800GB cmp
urst17a -  unload/reload device, format is: LTO 3 800GB cmp

filer1*> ndmpd status
ndmpd ON.
Session: 36
Active
version:                4
Operating on behalf of primary host.
tape device:    nrst19a
mover state:    Active
data state:     Active
data operation: Backup

Die 3 Ports der IBM 3583 werden über Multimode-LWL-Kabel mit LC-Steckern an einen Brocade-Fibrechannel-Switch angeschloßen. Dieser ist Bestandteil einer Fabric. Die Switches sind mit ISLs (Interswitchlinks) verbunden.

Zunächst einmal sollte man prüfen ob das Fabric-Login geklappt hat und die Ports der Tape drives sichtbar sind. Dazu am Switch anmelden:

Fabric OS (sansw14)
Fabos Version 5.2.2
sansw14 login: admin
Password:
sansw14:admin> switchshow
…
Area Port Media Speed State     Proto
=====================================
…
3   3   id    N4   No_Light
4   4   id    N2   Online           L-Port  1 public
5   5   id    N2   Online           L-Port  1 public
6   6   id    N2   Online           L-Port  1 public
7   7   id    N4   No_Light
…

sansw14:admin> portshow 4
…
portWwn:   20:04:00:05:1e:05:53:86
portWwn of device(s) connected:
50:03:08:c1:43:97:b0:02
Distance:  normal
portSpeed: N2Gbps
…
sansw14:admin> portshow 5
…
portWwn:   20:05:00:05:1e:05:53:86
portWwn of device(s) connected:
50:03:08:c1:43:97:b0:05
Distance:  normal
portSpeed: N2Gbps
…
sansw14:admin> portshow 6
…
portWwn:   20:06:00:05:1e:05:53:86
portWwn of device(s) connected:
50:03:08:c1:43:97:b0:08
Distance:  normal
portSpeed: N2Gbps
…

Das hat ja schon mal gut geklappt. Deshalb kann nun das Zoning erstellt werden. Im Zoning wird in einer Art ACL beschrieben welcher Port eines Hosts auf welchen Port eines Storagesystems zugreifen darf. Hilfreich ist es zunächst für die einzelnen WWPNs (Adressen der Ports, ähnlich MAC-Adressen bei NICs) Aliase zu erstellen und dann im Zoning mit den Aliasen zu arbeiten. Das Ergbnis sieht dann z.B. so aus:

sansw14:admin> zoneshow
…
zone:  filer1_0c_ibm3583_tape1
filer1_0c; ibm3583_tape1
zone:  filer1_0d_ibm3583_tape2
filer1_0d; ibm3583_tape2
zone:  senbackup1_hba1_port1_ibm3583_tape1
ibm3583_tape1; senbackup1_hba1_port1
zone:  senbackup1_hba1_port1_ibm3583_tape2
ibm3583_tape2; senbackup1_hba1_port1
zone:  senbackup1_hba1_port1_ibm3583_tape3
ibm3583_tape3; senbackup1_hba1_port1
zone:  sennst1_10a_ibm3583_tape1
ibm3583_tape1; sennst1_10a
zone:  sennst1_10b_ibm3583_tape2
ibm3583_tape2; sennst1_10b
…
alias: filer1_0c
50:0a:09:80:00:00:ed:cf
alias: filer1_0d
50:0a:09:81:00:00:ed:cf
alias: ibm3583_tape1
50:03:08:c1:43:97:b0:02
alias: ibm3583_tape2
50:03:08:c1:43:97:b0:05
alias: ibm3583_tape3
50:03:08:c1:43:97:b0:08
alias: senbackup1_hba1_port1
21:01:00:e0:8b:b2:d0:18
alias: sennst1_10a
20:00:00:e0:8b:87:d1:59
alias: sennst1_10b
20:01:00:e0:8b:a7:d1:59
…
Effective configuration:
cfg:   zone1
zone:  filer1_0c_ibm3583_tape1
50:0a:09:80:00:00:ed:cf
50:03:08:c1:43:97:b0:02
zone:  filer1_0d_ibm3583_tape2
50:0a:09:81:00:00:ed:cf
50:03:08:c1:43:97:b0:05
zone:  senbackup1_hba1_port1_ibm3583_tape1
50:03:08:c1:43:97:b0:02
21:01:00:e0:8b:b2:d0:18
zone:  senbackup1_hba1_port1_ibm3583_tape2
50:03:08:c1:43:97:b0:05
21:01:00:e0:8b:b2:d0:18
zone:  senbackup1_hba1_port1_ibm3583_tape3
50:03:08:c1:43:97:b0:08
21:01:00:e0:8b:b2:d0:18
zone:  sennst1_10a_ibm3583_tape1
50:03:08:c1:43:97:b0:02
20:00:00:e0:8b:87:d1:59
zone:  sennst1_10b_ibm3583_tape2
50:03:08:c1:43:97:b0:05
20:01:00:e0:8b:a7:d1:59
…
Für die beiden Netapp-Geräte sind nur 2 Ports gezont, da auch nur 2 DDS-Lizenzen verfügbar sind.

Achtung:

Das Aktivieren des Zonings kann zu einer kurzen Unterbrechung der Switch-Verbindung führen. Deshalb solche Aktivitäten möglichst nicht bei laufenden Backups (auf Tape) durchführen.

Die Preisfrage lautet jetzt: ” Was ist mit der Tape Library los? Liegt das Problem auf Seite des Hosts oder Jukebox?”

Dazu erst einmal das Networker-Log in ein brauchbares Format konvertieren:

root # nsr_render_log /nsr/logs/daemon.raw > /tmp/daemon.log

Nun mit dem Editor der Wahl o.ä. zum Ende des Protokolls und dann zum Beginn des Fehlers zurückblättern:

Ende des Logs:

…

7224 08/15/08 19:05:12  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 3547]. Jukebox `senlib3′ is not ready or it is busy.
39078 08/15/08 19:05:13  0 0 2 3 18486 0 senbackup1 nsrlcpd#1 Jukebox error: Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B64d0 failed:MOVE MEDIUM key:2 status:CHECK CONDITION No Additional Sense, Logical Unit Not Ready, Manual Intervention Required
0 08/15/08 19:05:14  2 0 0 1 18471 0 senbackup1 nsrmmgd lcpd 1 at host senbackup1 reported error ‘Jukebox `senlib3′ is not ready or it is busy.’ for the command `4′.
7224 08/15/08 19:05:14  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 3548]. Jukebox `senlib3′ is not ready or it is busy.
4690 08/15/08 19:05:14  2 0 0 1 18471 0 senbackup1 nsrmmgd Jukebox `senlib3′ is not ready or it is busy.
7224 08/15/08 19:05:14  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 3548]. Jukebox `senlib3′ is not ready or it is busy.
12361 08/15/08 19:05:15  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 3547]. Finished with status: retryable

…

Beginn des Fehlers:

…

42506 08/14/08 22:33:05  2 0 0 1 17996 0 senbackup1 nsrd write completion notice: Writing to volume 000061 complete
0 08/14/08 22:34:10  2 0 0 1 17996 0 senbackup1 nsrd Operation 277 started : Unload jukebox device `/dev/rmt/2cbn’..
38752 08/14/08 22:34:12  2 0 0 1 17996 0 senbackup1 nsrd /dev/rmt/2cbn Eject operation in progress
39078 08/14/08 22:36:55  0 0 2 3 18486 0 senbackup1 nsrlcpd#1 Jukebox error: Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B64d0 failed:MOVE MEDIUM key:4 status:CHECK CONDITION No Additional Sense, Diagnostic Failure on Component 0×01
0 08/14/08 22:36:56  2 0 0 1 18471 0 senbackup1 nsrmmgd lcpd 1 at host senbackup1 reported error ‘Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B6
4d0 failed:MOVE MEDIUM key:4 status:CHECK CONDITION No Additional Sense, Diagnostic Failure on Component 0×01′ for the command `5′.
7224 08/14/08 22:36:56  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 277]. Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B64d0
failed:MOVE MEDIUM key:4 status:CHECK CONDITION No Additional Sense, Diagnostic Failure on Component 0×01
4690 08/14/08 22:36:56  2 0 0 1 18471 0 senbackup1 nsrmmgd Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B64d0 failed:MOVE MEDIUM key:4 status:CHECK CONDITION No Additional Sense, Diagnostic Failure on Component 0×01
7224 08/14/08 22:36:56  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 277]. Jukebox `senlib3′ failed to unload the requested volume from de
vice `/dev/rmt/2cbn’.
7224 08/14/08 22:36:56  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 277]. Jukebox:senlib3 access:/dev/scsi/changer/c3t500104F0007E9B64d0
failed:MOVE MEDIUM key:4 status:CHECK CONDITION No Additional Sense, Diagnostic Failure on Component 0×01
12361 08/14/08 22:37:00  2 0 0 1 17996 0 senbackup1 nsrd [Jukebox `senlib3', operation # 277]. Finished with status: retryable
42506 08/14/08 22:37:28  2 0 0 1 17996 0 senbackup1 nsrd media warning: Jukebox `senlib3′ Hardware status of jukebox ‘senlib3′ changed from ‘ready’ to ‘needs
attention’
…

Aha. Scheinbar ist das Entladen eines Tapes fehlgeschlagen. Seitdem reagiert die Jukebox nicht mehr.

Es handelt sich hier um eine Sun/STK SL500 Tape-Library, die per Fibrechannel-Fabric angebunden ist. Jetzt also erst mal prüfen, ob es ggf. Probleme im SAN gibt.

Zunächst einmal gilt es Infos zur Jukebox-Konfiguration in Erfahrung zu bringen. Aus den obigen Fehlermeldungen wissen wir bereits, dass das Jukebox-Changer-Device /dev/scsi/changer/c3t500104F0007E9B64d0 heißt und somit am Controller 3 angeschlossen ist.

root@senbackup1 # ls -l /dev/scsi/changer
total 2
lrwxrwxrwx   1 root     root          89 Sep 11  2007 c3t500104F0007E9B64d0 -> ../../../devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0/sgen@w500104f0007e9b64,0:changer

root # ls -l /dev/rmt/*cbn
lrwxrwxrwx   1 root     root          80 Sep 13  2007 /dev/rmt/0cbn -> ../../devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b71,0:cbn
lrwxrwxrwx   1 root     root          80 Sep 13  2007 /dev/rmt/1cbn -> ../../devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b6e,0:cbn
lrwxrwxrwx   1 root     root          80 Sep 13  2007 /dev/rmt/2cbn -> ../../devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b74,0:cbn
lrwxrwxrwx   1 root     root          80 Sep 13  2007 /dev/rmt/3cbn -> ../../devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b77,0:cbn
lrwxrwxrwx   1 root     root          80 Sep 13  2007 /dev/rmt/4cbn -> ../../devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b7d,0:cbn
lrwxrwxrwx   1 root     root          80 Apr 30 13:34 /dev/rmt/5cbn -> ../../devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0/st@w500104f0007e9b7a,0:cbn

Aus dem Hardwarepfad ist ersichtlich, daß je 3 Laufwerke an 2 seperaten FC-HBAs angeschlossen sind.

root # ls -l /dev/cfg/ | grep devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0
lrwxrwxrwx   1 root     root          56 Aug 24  2007 c3 -> ../../devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0:fc
root # ls -l /dev/cfg/ | grep devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0
lrwxrwxrwx   1 root     root          56 Aug 24  2007 c5 -> ../../devices/pci@7c0/pci@0/pci@9/SUNW,qlc@0,1/fp@0,0:fc

Tape 0,1,2 und die Robotik hängen also am Controller 3, Tape 3,4,5 am Controller 5.

root # fcinfo hba-port -l

…

HBA Port WWN: 2101001b323f0a1d
OS Device Name: /dev/cfg/c3
Manufacturer: QLogic Corp.
Model: 375-3356-01
Firmware Version: 4.2.2
FCode/BIOS Version:  BIOS: 1.24; fcode: 1.26; EFI: 1.8;
Type: N-port
State: online
Supported Speeds: 1Gb 2Gb 4Gb
Current Speed: 4Gb
Node WWN: 2001001b323f0a1d
…

HBA Port WWN: 210100e08bb2d018
OS Device Name: /dev/cfg/c5
Manufacturer: QLogic Corp.
Model: 375-3356-01
Firmware Version: 4.2.2
FCode/BIOS Version:  BIOS: 1.24; fcode: 1.26; EFI: 1.8;
Type: N-port
State: online
Supported Speeds: 1Gb 2Gb 4Gb
Current Speed: 4Gb
Node WWN: 200100e08bb2d018
…

Nun sind also die WWPNs der Controller bekannt. Damit lässt sich abfragen, welche LUNs der Server auf diesen Ports sieht:

root # fcinfo remote-port -p 2101001b323f0a1d -s
Remote Port WWN: 500104f0007e9b64
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b63
LUN: 0
Vendor: STK
Product: SL500
OS Device Name: /devices/pci@7c0/pci@0/pci@8/SUNW,qlc@0,1/fp@0,0/sgen@w500104f0007e9b64,0
…
Remote Port WWN: 500104f0007e9b6e
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b6d
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/1n
Remote Port WWN: 500104f0007e9b71
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b70
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/0n
Remote Port WWN: 500104f0007e9b74
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b73
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/2n

Am Controller 3 sind 3 HP LTO-3 Tape Drives und der Changer der SL500 (über sgen-Treiber) sichtbar.

root # fcinfo remote-port -p 210100e08bb2d018 -s
…
Remote Port WWN: 500104f0007e9b77
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b76
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/3n
Remote Port WWN: 500104f0007e9b7a
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b79
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/5n
Remote Port WWN: 500104f0007e9b7d
Active FC4 Types: SCSI
SCSI Target: yes
Node WWN: 500104f0007e9b7c
LUN: 0
Vendor: HP
Product: Ultrium 3-SCSI
OS Device Name: /dev/rmt/4n

Am Controller 5 sind 3 HP LTO-3 Tape Drives sichtbar.

Fazit: Im SAN scheint es zumindest auf den ersten Blick kein Problem zu geben.

Der Networker bietet auch noch Befehle zum Thema an:

root # inquire -l

-l flag found: searching all LUNs, which may take over 10 minutes per adapter
for some fibre channel adapters.  Please be patient.
…
scsidev@3.3.0:HP      Ultrium 3-SCSI  M21S|Tape, /dev/rmt/1cbn
S/N: HU107120CY
ATNN=HP      Ultrium 3-SCSI  HU107120CY
WWNN=50060B000036F6EA
WWPN=500104F0007E9B6E
WW2N=500104F0007E9B6D
PORT=00000001
scsidev@3.4.0:HP      Ultrium 3-SCSI  M21S|Tape, /dev/rmt/0cbn
S/N: HU107120BG
ATNN=HP      Ultrium 3-SCSI  HU107120BG
WWNN=50060B000036F686
WWPN=500104F0007E9B71
WW2N=500104F0007E9B70
PORT=00000001
scsidev@3.7.0:HP      Ultrium 3-SCSI  L58S|Tape, /dev/rmt/2cbn
S/N: HU10704J3U
ATNN=HP      Ultrium 3-SCSI  HU10704J3U
WWNN=500110A00058B456
WWPN=500104F0007E9B74
WW2N=500104F0007E9B73
PORT=00000001
…
scsidev@5.1.0:HP      Ultrium 3-SCSI  L58S|Tape, /dev/rmt/3cbn
S/N: HU107070AD
ATNN=HP      Ultrium 3-SCSI  HU107070AD
WWNN=500110A00058D182
WWPN=500104F0007E9B77
WW2N=500104F0007E9B76
PORT=00000001
scsidev@5.3.0:HP      Ultrium 3-SCSI  L58S|Tape, /dev/rmt/5cbn
S/N: HU10704J4A
ATNN=HP      Ultrium 3-SCSI  HU10704J4A
WWNN=500110A00058B446
WWPN=500104F0007E9B7A
WW2N=500104F0007E9B79
PORT=00000001
scsidev@5.6.0:HP      Ultrium 3-SCSI  L58S|Tape, /dev/rmt/4cbn
S/N: HU10704J4R
ATNN=HP      Ultrium 3-SCSI  HU10704J4R
WWNN=500110A00058B42A
WWPN=500104F0007E9B7D
WW2N=500104F0007E9B7C
PORT=00000001

Verdächtig: inquire findet die Robotik nicht…

root # jbverify
14866:jbverify:
Jbverify is running on host senbackup1, SunOS 5.10
….
14917:jbverify:
Finished processing stand-alone devices.
14918:jbverify:
Processing jukebox devices…
14920:jbverify:
Processing jukebox senlib3:
39078:jbverify: SYSTEM error: Device busy
39077:jbverify: error, Cannot initialize jukebox! Driver may not be loaded!
14926:jbverify:
Failed while processing jukebox senlib3 on senbackup1
14929:jbverify:
Finished processing jukebox devices.
**********************************************************************

Summary report of jbverify
======= ====== == ========

Hostname   Device Handle    Blocksize  Jukebox  Drv No. Status
——–   ————-    ———  ——-  ——- ——
senbackup1 /AFTD/Exchange/_AF_readonly 131072 N/A N/A   Pass
senbackup1 /AFTD/Arriba/_AF_readonly 131072 N/A N/A     Pass
senbackup1 /AFTD/Windows/_AF_readonly 131072 N/A N/A     Pass
senbackup1 /AFTD/UNIX/_AF_readonly 131072 N/A   N/A     Pass
senbackup1 /AFTD/SQL/_AF_readonly 131072 N/A    N/A     Pass
senbackup1 /AFTD/Exchange   131072     N/A      N/A     Pass
senbackup1 /AFTD/default/_AF_readonly 131072 N/A N/A     Pass
senbackup1 /AFTD/Arriba     131072     N/A      N/A     Pass
senbackup1 /AFTD/UNIX       131072     N/A      N/A     Pass
senbackup1 /AFTD/SQL        131072     N/A      N/A     Pass
senbackup1 /AFTD/default    131072     N/A      N/A     Pass
senbackup1 /AFTD/Windows    131072     N/A      N/A     Pass
senbackup1 Unknown          N/A        senlib3  N/A     Fail

**********************************************************************

14938:jbverify:
Exiting jbverify with failures.

root # jbverify -j -v -v
14866:jbverify:
Jbverify is running on host senbackup1, SunOS 5.10
14890:jbverify:
turning verbose mode on.
14900:jbverify:
No. of retries set by default to 10.
14902:jbverify:
Using senbackup1 as NetWorker server.
14918:jbverify:
Processing jukebox devices…
14920:jbverify:
Processing jukebox senlib3:
39078:jbverify: SYSTEM error: Device busy
39077:jbverify: error, Cannot initialize jukebox! Driver may not be loaded!
14926:jbverify:
Failed while processing jukebox senlib3 on senbackup1
14929:jbverify:
Finished processing jukebox devices.
**********************************************************************

Summary report of jbverify
======= ====== == ========

Hostname   Device Handle    Blocksize  Jukebox  Drv No. Status
——–   ————-    ———  ——-  ——- ——
senbackup1 Unknown          N/A        senlib3  N/A     Fail

**********************************************************************

14938:jbverify:
Exiting jbverify with failures.

Damit wird es nun offensichtlich, dass wohl ein Problem in der Tape-Library selbst besteht. Deshalb nun der Griff zur Library Console:

Oh je, das sieht verdächtig nach Hardware-Problem aus…

Die Code-Änderungen ermöglichen es, daß ein mehrpfadig angebundenes Tape-Laufwerk über MPxIO als nur ein ST-Tape-device dargestellt wird. Die Lösung bietet Failover bei Ausfall des aktiven Pfads, aber kein Loadbalancing.

Hersteller wie IBM bieten für ihre größeren Tapelibraries schon länger Multipathing-Support (inc. Loadbalancing) für verschiedene Betriebssysteme. Dazu muß allerdings der IBM-Tapetreiber benutzt und das kostenpflichtige Multipathing-Feature aktiviert werden. Infos zum IBM Tape Treiber unter Solaris und Multipathing gibt es hier (Seite 188).

Kurz und knapp gesagt gab es einige Ecken und Kanten und im Nachhinein ist man wieder ein Stück schlauer… Mittlerweile mit Networker 7.4.2 bin ich mit dem Betrieb des Backups i.A. zufrieden und möchte ein paar Gedanken dazu niederschreiben. Man möge mir die häufige Nennung von EMC Produkten verzeihen, aber da kenne ich das Portfolio einigermaßen.

Backup to Disk aka. B2D

Eigentlich handelt es sich oftmals um Backup to Disk to Tape, aber das nur am Rande… Hier gibt es prinzipiell mehrere Ansätze. In erster Linie spielt hier Performance und der Geldbeutel die maßgebende Rolle:

• Storage-interne Replikation (Point in time Copy), z.B. EMC Timefinder Clone für EMC DMX Storage, Applikationsintegration (Exchange, Oracle, …) und GUI mit EMC Replication Manager → Vorteil: sehr schnell, keine Last im SAN, da Replikation Storage-intern → Nachteil: Preis, herstellerabhängig (jeder große Storage-Hersteller hat das aber: z.B. HDS truecopy, Netapp snapvault/snapmanager)
• Spezialfall CDP: relativ neu auf dem Markt sind Produkte für Continous Data Protection, wo eine fortlaufende Replikation stattfindet und ein Restore auf einen nahezu beliebigen Zeitpunkt erfolgen kann, z.B. EMC Recoverpoint → Vorteil: schnelle Wiederherstellung eines nahezu beliebigen Zeitpunkts → Nachteil: noch zu neu…, Skalierbarkeit, Kompatibilität, herstellerabhängig
• Storage-externe Replikation (Point in time Copy), z.B. Sun AVS unter Solaris → Vorteil: Preis, passend für jedes Storage unter Solaris → Nachteil: hohe Last im SAN
• Backup per LAN auf Networker Advanced File Type devices, die wiederum auf Disks des Servers/Storage Nodes liegen. → Vorteil: unbhängig vom Storage-Hersteller, individuell einstellbar → div. “Ecken und Kanten”, langsamer als Storage-Replikation → bei der Nutzung von Storage mit Datendeduplizierung sehr gute Ausnutzung der Kapazität, z.B. mit ASIS bei Netapp Storage
• Spezialfall Dedup: Backup per LAN mit EMC Avamar Appliance und EMC Networker, Avamar Client ist im aktuellen Networker Client bereits integriert → Vorteil: Datendeduplizierung bereits am Client, d.h. unnötige Daten werden nicht per LAN übertragen → Nachteil: herstellerabhängig, langsamer als Storage-Replikation
• Virtual Tape Library (VTL): Disksystem, das sich nach außen wie eine Tape-Library verhält, z.B. EMC DL3D 4000 → Vorteil: einfache Integration und Bedienung → Nachteil: langsamer als Storage-Replikation → bei der Nutzung der EMC VTL gibt es den zus. Nutzen, daß die EMC Networker Storage Node Funktionalität inegriert ist (gleiches gilt für Netbackup), eine Datendeduplizierung ist ebenso integriert

Networker Advanced Filetype Device (AFTD)

Wie bereits angesprochen haben die AFTDs einige Ecken und Kanten.

• Prinzipiell sind AFTDs wie Tape-Laufwerke zu betrachten, in denen man Volumes einlegen kann. Im Gegensatz zu Tapes funktioniert aber Volume-übergreifendes Backup (Spanning) nicht (wenn das erste Volume voll ist wird für das bereits laufende Backup nicht beim nächsten Volume fortgesetzt). Der Nutzen von mehr als einem Volume pro AFTD ist also eher gering.
• Man muß durch rechtzeitiges Auslagern in einen anderen Pool (Staging – i.d.R. auf Tape) verhindern, daß das AFTD 100% Füllgrad erreicht. Dafür muß das Staging konfiguriert werden. Damit einem das AFTD während des Stagings nicht voll läuft (die Aufräumaktion findet erst nach erfolgreichem Staging statt) muß genügend Reserve in der Speicherkapazität des AFTDs vorgesehen werden. 
• Während eines Staging-Vorgangs kann keine Restore-Operation mit Daten des betroffenen AFTD durchgeführt werden. Aus diesem Grund ist es von Vorteil mehrere AFTDs anzulegen und die Staging-Intervalle relativ kurz zu halten.
• Automatisches Cloning von savesets (über Eigenschaft in der savegroup einstallbar) und zeitlich überlappendes Staging führt zu Problemen (saveset ist ggf. bereits gestagt und kann nicht mehr geclont werden). Es gilt bzgl. Restore die selbe Einschränkung wie beim Staging.

ZFS für AFTDs

ZFS bietet einige Vorteile, aber auch Einschränkungen für die Nutzung von AFTDs.

• Mit ZFS-Filesystemen/Mountpoints als Speicher für AFTDs ist die kurzfristige Erweiterung bei Speichermangel kein Problem – einfach dem ZPool zus. Disks spendieren…
• Ohne das Setzen von Quotas teilen sich alle Filesysteme den gemeinsamen Platz, was eine bessere Ausnutzung der vorhandenen Kapazitäten ermöglicht. allerdings funktioniert dann das Staging nur noch sinnvoll auf Basis der Aufbewahrungsfrist.
• ZFS läßt sich schön verwalten – entweder per GUI oder eingängen CLI-Befehlen.
• ZFS sollte nicht ohne Tuning betrieben werden. Um eine gute Performance zu bekommen sollte man Solaris 10 Update 5 einsetzen. Dort kann z.B. der ZFS Cache Flush für externe, batteriegepufferte Storagesysteme abgeschaltet werden. Ein paar sinnvolle Kernelparameter zu ZFS und Networker können dem Screenshot der /etc/system entnommen werden. Eine Anpassung an die eigene Umgebung ist ggf. erforderlich.

Üblicherweise werden bisher für solche Aufgaben spezielle Storagesysteme von z.B. EMC, Hitachi, oder HP eingesetzt. Aus technologischer Sicht ähnelt der Ansatz von OpenSolaris am ehesten dem von Netapp, die auch mit Standardhardware und optimiertem OS (ontap) arbeiten.

Das OpenSolaris-System stellt sich also nach außen im FC-SAN als SCSI Target dar (vgl. dazu auch ISCSI Target). Rechner mit FC-HBAs (Emulex, QLogic, …) können dann per SAN auf die bereitgestellten LUNs zugreifen.

LUN erstellen

Im OpenSolaris muß zunächst eine LUN im “Backing Store” mit dem sbdadm-Kommando erstellt werden. Dazu kann Plattenplatz in Form einer Disk, Datei oder eines ZFS-Volumes dienen. Die Größe der LUN kann im Nachhinein erweitert werden.

Hostgruppe erstellen

Mit dem stmfadm-Kommando wird im Anschluß eine sog. Hostgruppe erstellt, die z.B. alle WWPNs der gewünschten Initiator enthält (also alle HBA-Ports eines Rechners, die auf diese LUN zugreifen soll).

Mapping

Danach wird das Mapping mit dem stmfadm-Befehl durchgeführt. Die LUN wird nach außen sichtbar auf den HBA-Ports des OpenSolaris-Systems exportiert, welche dann die SCSI-Targets darstellen.

Zoning

Am FC-Switch bzw. in der Fabric muß obligatorischerweise noch das Zoning durchgeführt werden.

Zugriff auf die LUN

Am Rechner mit dem Initiator (OS ist dabei egal) ist nun (autom.) Persistent Binding angesagt. Daraufhin kann die Disk im Volumemanager des Betriebssystems verwendet werden.

Wissenswertes…

Der für die LUN benötigte Platz im Backingstore wird dynamisch, also nach Bedarf allokiert. Bestimmte Initialisierungsverfahren wollen aber alle Blöcke einer Disk beschreiben und belegen damit trotzdem bereits initial die volle zugewiesene Kapazität.

Am Rechner mit dem SCSI-Initiator muß eine Multipathing-Software aktiv sein wenn die LUNs über mehrere Initiator-HBAs und/oder Target-HBAs angesprochen wird. Im Gegensatz zu (Open) Solaris und Linux bringt Windows kein Multipathing im Auslieferungszustand mit, deshalb benötigt man z.B. EMC Powerpath oder Symantec/Veritas DMP.

Informationshilfen:
http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS – ZFS tuning
http://www.sun.com/bigadmin/content/submitted/svm_mirroring.jsp – SVM Bootdisk Mirroring
http://powerlink.emc.com > EMC E-Lab-Navigator für Supportmatrix

E-Lab-Navigator Supportmatrix für EMC DMX und SF V490

Tools:

https://HOSTNAME:6789/zfs/zfsmodule/Index – ZFS Webgui

Installiertes Solaris-Release?
# cat /etc/release
Solaris 10 5/08 s10s_u5wos_10 SPARC
Copyright 2008 Sun Microsystems, Inc. All Rights Reserved.
Use is subject to license terms.
Assembled 24 March 2008

Kernelparameter für SVM, ZFS, EMC, SAP/Oracle
# cat /etc/system

…
* Begin MDD root info (do not edit)
rootdev:/pseudo/md@0:0,10,blk
set md:mirrored_root_flag=1
* End MDD root info (do not edit)

* ZFS
* http://www.solarisinternals.com/wiki/index.php/ZFS_Evil_Tuning_Guide

* disk-cache flush aus
set zfs:zfs_nocacheflush=1

* 4GB RAM max. fuer ZFS-Arc-Cache (0xWERT , WERT = MB*1024*1024 > HEX)
set zfs:zfs_arc_max=0×100000000

* File-Level-Prefetching
* set zfs:zfs_prefetch_disable = 1

* Device-Level-Prefetching (13 = 8k-Bloecke fuer disks reads, OLTP-tuning)
set zfs:zfs_vdev_cache_bshift = 13

* Device-Level-Prefetching ausschalten
* set zfs:zfs_vdev_cache_max = 0×1

* Device I/O Queue Size (I/O Concurrency)
* I/O queue depth pro LUN, default=35
* bei lokalen SATA-disks auf 10 setzen
* ansonsten gleich ssd_max_throttle setzen
set zfs:zfs_vdev_max_pending = 32

* EMC

* Queue-Laenge (empfohlen 20, bei Metadevices ggf. 32)
set ssd:ssd_max_throttle=32

* Timeout in HEX, recommended 0x3c = 60s bei multipathing, sonst 0×78
set ssd:ssd_io_time=0x3c

* Verzoegerung bis device als offline betrachtet wird
set fcp:fcp_offline_delay=20

* SAP / Oracle

* max. file descriptors pro Prozess
set rlim_fd_cur=8192

* security: stack nicht ausfuehrbar
set noexec_user_stack=1

Emulex-Treiber für Anschluß an SAN-Switch konfigurieren
# cat emlxs.conf
…
# +++ Variables relating to IP networking support. +++
#
# network-on: Enable/Disable IP networking support in the driver.
#
# 0 = Disables IP networking suppport in the driver.
# 1 = Enables IP networking suppport in the driver.
#
# Range: Min:0 Max:1 Default:1
#
#network-on=1;
network-on=0;
#
# +++ Fibre Channel specific parameters +++
#
# topology: link topology for initializing the Fibre Channel connection.
#
# 0 = attempt loop mode, if it fails attempt point-to-point mode
# 2 = attempt point-to-point mode only
# 4 = attempt loop mode only
# 6 = attempt point-to-point mode, if it fails attempt loop mode
#
# Set point-to-point mode if you want to run as an N_Port.
# Set loop mode if you want to run as an NL_Port.
#
# Range: Min:0 Max:6 Default:0
#
#topology=0;
topology=2;
# link-speed: Sets the link speed setting for initializing the Fibre Channel
# connection.
#
# 0 = auto select
# 1 = 1 Gigabaud
# 2 = 2 Gigabaud
# 4 = 4 Gigabaud
# 8 = 8 Gigabaud
#
# Range: Min:0 Max:8 Default:0
#
link-speed=0;
…

Multipathing konfigurieren
# cat fp.conf
…
#
# I/O multipathing feature (MPxIO) can be enabled or disabled using
# mpxio-disable property. Setting mpxio-disable=”no” will activate
# I/O multipathing; setting mpxio-disable=”yes” disables the feature.
#
# Global mpxio-disable property:
#
# To globally enable MPxIO on all fp ports set:
# mpxio-disable=”no”;
#
# To globally disable MPxIO on all fp ports set:
# mpxio-disable=”yes”;
#
# Per port mpxio-disable property:
#
# You can also enable or disable MPxIO on a per port basis.
# Per port settings override the global setting for the specified ports.
# To disable MPxIO on port 0 whose parent is /pci@8,600000/SUNW,qlc@4 set:
# name=”fp” parent=”/pci@8,600000/SUNW,qlc@4″ port=0 mpxio-disable=”yes”;
#
# NOTE: If you just want to enable or disable MPxIO on all fp ports, it is
# better to use stmsboot(1M) as it also updates /etc/vfstab.
#
#
# You can describe a list of target port WWNs and LUN numbers which will
# not be configured. LUN numbers will be interpreted as decimal. White
# spaces and ‘,’ can be used in the list of LUN numbers.
#
# pwwn-lun-blacklist=
# “target-port-wwn,lun-list”
#
# To prevent LUNs 1 and 2 from being configured for target
# port 510000f010fd92a1 and target port 510000e012079df1, set:
#
# pwwn-lun-blacklist=
# “510000f010fd92a1,1,2″,
# “510000e012079df1,1,2″;
#
# mpxio einschalten
mpxio-disable=”no”;
# mpxio fuer interne FC disks ausschalten
name=”fp” parent=”/pci@9,600000/SUNW,qlc@2″ port=0 mpxio-disable=”yes”;

Multipathing für Zusammenarbeit mit EMC DMX konfigurieren
# cat /kernel/drv/scsi_vhci.conf
…
# Load balancing global configuration: setting load-balance=”none” will cause
# all I/O to a given device (which supports multipath I/O) to occur via one
# path. Setting load-balance=”round-robin” will cause each path to the device
# to be used in turn.
#
load-balance=”round-robin”;
#
# Automatic failback configuration
# possible values are auto-failback=”enable” or auto-failback=”disable”
auto-failback=”enable”;
#
# For enabling MPxIO support for 3rd party symmetric device need an
# entry similar to following in this file. Just replace the “SUN SENA”
# part with the Vendor ID/Product ID for the device, exactly as reported by
# Inquiry cmd.
#
# device-type-scsi-options-list =
# “SUN SENA”, “symmetric-option”;
#
# symmetric-option = 0×1000000;
# Konfiguration fuer EMC Symmetrix
# zwischen EMC und SYMMETRIX 5 Leerzeichen!!!
device-type-scsi-options-list = “EMC SYMMETRIX”, “symmetric-option”;
symmetric-option = 0×1000000;

Zum Aktivieren der Konfiguration:
# reboot — -r

Dies stellt nur eine kurze Übersicht der relevanten Parameter für ein Testsystem dar. Kommentare und konstruktive Kritik sind willkommen

http://www.opensolaris.org/os/community/storage/

SVM, UFS, ZFS – Volumemanager, Filesysteme, Volumes, Snapshots, uvm.

Traditionell wird unter Solaris der SVM als Volumemanager benutzt, UFS ist das Standard-Filesystem. Mit Multiterabyte-Support und Journaling per SVM wurde UFS im Nachhinein aufgebohrt. UFS-Snapshots funktionieren, wirken aber irgendwie wie ein angestückelter Fremdkörper. Das Handling von SVM ist sehr gewöhnungsbedürftig, Freunde gewinnt man so sicherlich nicht. SVM/UFS ist heute nach wie vor für die Spiegelung von lokalen Bootdevices üblich.

Der große Wurf gelang Sun mit ZFS. ZFS ist Volumemanager und Filesystem zugleich. Damit ist die Liste der Features aber noch lange nicht erschöpft. Prinzipiell werden Platten oder Slices (Partitionen) einem Pool zugewiesen, ein entsprechender RAID-Level gesetzt (Striping, Mirroring, RAID-Z) und diverse Parameter wie z.B. Blocksize gesetzt. In einem Pool können dann ZFS-Filesysteme oder Volumes (ähnlich RAW-devices) angelegt und mit Parametern, wie z.B. Quota und Reservierung, versehen werden. Auf Volumes können beliebige Filesysteme aufgebracht werden.

Auf ZFS-Pools, -Filesysteme und -Volumes können Snapshots angewendet werden. Diese können auch geclont und damit beschreibbar wiederverwendet werden.

Mit zfs send/receive können ZFS-Daten über IP repliziert werden.

ZFS Pools können exportiert und auf einem anderen Rechner wieder importiert werden. Geänderte Hardwarepfade, etc. spielen keine Rolle – so lange alle Platten eines Pools zur Verfügung stehen klappt der Import.

ZFS ist (noch?) nicht als Shared Filesystem geeignet. D.h. im Cluster kann es nur für Failoverszenarien eingesetzt werden.

Die Performance von ZFS ist abhängig vom Szenario, wo es zum Einsatz kommen soll. Mittlerweile in den meisten Bereichen UFS ebenbürtig gibt es noch Potential zu VxFS. Tuning ist oft sinnvoll. Je höher das Solaris-Release, desto mehr Möglichkeiten zur Optimierung gibt es.

ZFS bietet neben der eingängen Shell-Kommandos auch ein Webgui.

ZFS hat eingebaute Mechanismen wie “Self Healing” und Schutz gegen “silent data corruption”.

http://blogs.sun.com/chrisg/entry/latency_bubble_in_your_io

http://przemol.blogspot.com/2008/02/zfs-vs-vxfs-vs-ufs-on-x4500-thumper.html

http://blogs.sun.com/SC/entry/why_sunw_nfs_is_required

http://www.solarisinternals.com//wiki/index.php?title=Category:ZFS

http://www.opensolaris.org/os/community/zfs/docs/

http://wiki.edv-widhalm.com/index.php/Solaris_Volume_Manager_%28HowTo%29

http://wiki.edv-widhalm.com/index.php/Zfs_%28HowTo%29

http://www.learning-solaris.com/index.php/category/unix-solaris-storage-volume-management/

http://www.osnews.com/story/19665/Solaris_Filesystem_Choices

http://blogs.digitar.com/jjww/?itemid=52

NAS – iSCSI

Solaris beherrscht iSCSI Initiator (Zugriff auf iSCSI-Volume) und iSCSI Target (Bereitstellen
eines iSCSI Volumes). Dabei kann z.B. ein ZFS Volume als iSCSI Target genutzt werden. Das kann man z.B. nutzen um einem Windows- oder VMware-ESX-Server Diskspace zur Verfügung zu stellen. Von den ZFS Volumes können dann Snapshots erstellt werden.

http://blogs.sun.com/mhuff/entry/introduction_to_iscsi_in_solaris

http://www.opensolaris.org/os/project/iscsitgt/

http://www.opensolaris.org/os/project/isns/

http://blogs.sun.com/lokibear/entry/download_isns_web_based_management

NAS Freigaben – NFS und CIFS

ZFS-Filesysteme beherrschen UNIX- und Windows-ACLs (W2K kompatibel) – damit entfallen viele Hürden als Netzwerkspeicher. Darüber hinaus können in ZFS-Filesystemen NFS- und CIFS-Freigaben als Eigenschaften eingerichtet werden. Eine ADS-Integration ist auch möglich. Der brandneue CIFS-Server mit ZFS-Integration dürfte unter Solaris eine ernsthafte Konkurrenz zu Samba werden.

http://blogs.sun.com/timthomas/entry/opensolaris_as_a_storageos_the

http://blogs.sun.com/dougm/

http://blogs.sun.com/amw/entry/cifs_in_solaris

SAN – Fibrechannel, FCoE

Im Bereich Fibrechannel wurde zuletzt in erster Linie in leichtere Administration auf der Shell investiert. Interessant sind die OpenSolaris-Projekte Comstar und FC over Ethernet. Hier bewegt sich einiges, gerade auch im Bereich Virtualisierung mit NPIV (virtuelle FC-HBAs).

http://www.opensolaris.org/os/project/comstar/

http://www.opensolaris.org/os/project/fcoe/

http://www.opensolaris.org/os/project/npiv/

mpxio – Multipathing

Solaris unterstützt mit mpxio Multipathing für SCSI-, FC-, SAS- und iSCSI-Disks. Speichersysteme mit SCSI SPC-2/3 werrden automatisch erkannt, eine manuelle Zuordnung in der Konfigurationsdatei durch Vendor und Product ist auch möglich, z.B. “EMC SYMMETRIX”. Es wird Failover und Roundrobin als Verfahren unterstützt. Mit dem mpathadm-Kommando ist die Administration sehr eingängig. Durch mpxio wird aus den verschiedenen Hardwarepfaden (verschiedene Controller/Targets, gleiche LUN) ein virtueller Pfad erstellt, der dann für die Konfiguration im Volumemanager benutzt wird.

http://www.opensolaris.org/os/project/mpxio/

last but not least: ZFS in der Praxis … (Achtung! US-Propaganda)

• ordentlich verarbeitete Hardware
• für einen vernünftigen Preis
• gut durchdachtes Lüftungskonzept mit unterschiedlichen Klimazonen
• schnelle interne SAS-Platten
• Remotemanagement über ILOM

In der Praxis gibt es dann aber doch wieder Fallstricke:

• Das Lüftungskonzept geht zu Lasten der HDDs, d.h. um den Platz in der Front des Servers als Luftzufuhr für CPU, etc. zu nutzen mussten die großen 3,5” HDDs weichen. Statt dessen wurden geringfügig langsamere 2,5”-SAS-HDDs verbaut.
• Der momentan größte Nachteil der 2,5”-SAS-HDDs ist die zur Zeit max. verfügbare Kapazität von 146GB. Wenn man üblicherweise 4 Disks einbaut und dabei 2x RAID1 konfiguriert, wird auch i.d.R. die erste logische Disk für OS und die zweite für Applikation und Daten verwendet. 146GB sind für diesen Zweck aber nicht gerade üppig. Nun mag jemand vorbringen, daß man auch keine Performancewunder bei einer solchen Konstellation erwarten darf und bei größerer Plattenkapazität die Performance mit Sicherheit nicht besser wird. Das ist soweit auch richtig, für Testsysteme aber eine durchaus übliche Konfiguration. Bei anderen Herstellern, z.B. FSC, gibt es Modelle mit mehr Flexibilität mit lokalen Disks, z.b. bei der RX300S3.
• Nun, dann könnte man auf die Idee kommen und dem System einen FC-HBA spendieren. Sun hat dazu OEM-HBAs von Emulex und QLogic zur Auswahl. Mit einem zentralen SAN-Storage hat man nun auch nicht wirklich Kapazitätsengpässe. Dumm ist allerdings, wenn dieses von EMC ist und SUN sich nicht die Mühe macht auch Betriebssysteme jenseits von Solaris zertifizieren zu lassen. Eine Freigabe von SLES, RHEL oder Windows für X4100/4200 (M2) mit SUN-HBA? Fehlanzeige…

Fazit:

Sun wird seine Bemühungen im X64-Markt noch steigern müssen um Allroundgeräte anbieten zu können.