Netapp

Introduction

Les NetApp sont des serveurs de fichiers, constitué d'une tete, et d'une ou plusieurs baie de disques. Les tetes sont reliées au baies de disques via une ou plusieurs liaisons fibre channel. Plusieurs netapp peuvent etre associé en cluster et/ou en synchronisé entre eu

Installation

Installation de base d'un netapp (Doc fournie à Agarik par le prestataire de Netapp)

Prérequis

    - les disquettes d'installation (8 sur la derniere version)
    - l'archive contenant tout ce qui ne se trouve pas sur les disquette (fournis avec les images des disquettes, il s'agit d'un fichier tar)
    - une machine unix supportant le montage nfs
    - une console serie, VT100 (portable, autre machine...) 

Il est possible que certaine commande indiqué sur cette page ne semble pas disponible sur le netapp. C'est parce ces commandes necessite un niveau de privilege plus élevé. Il existe 3 
niveau de privile:

    admin (utilisation normale)
    advanced (utilisation avancé)
    diag (utilisation reserver au technicien netapp normalement, pour du debuggage, a éviter, a ne pas utiliser sur une machine sous contrat de maintenance netapp sauf si un 
technicien netapp vous le demande expressement). 

on change de niveau avec la commande : priv set LEVEL

Installation de l'OS

On demarre le netapp avec la 1ere disquette, puis on insere au fur et mesure qu'il le demande les disquettes. Quand la derniere disquette a été lu il nous demande ce que l'on souhaite 
faire, dans notre cas, c'est réinitialiser tout les disques, puis installer l'OS. Quand l'initialisation des disques est fini, un setup se lance nous demandant les informations de 
configuration du netapp (hostname, reseau, etc...)

A la fin il nous demande l'ip de la machine ayant les droits d'administration, c'est la machine qui a le droit de monté /vol/vol0 en lecture/ecrite avec les droits root, il faut donc 
indiqué notre machine unix cité plus haut.

Ensuite sur la machine unix d'administration on monte donc la partition /vol/vol0 et ont extrait l'archive contenant le reste de l'OS dans cette partition.

Alors arrive la phase finale de l'installation, sur le netapp on tape la commande : download

cela installe le kernel (le contenu des disquettes) sur chacun des disques du volume /vol/vol0. Et on reboot, l'OS est installé. 

Disque défectueux

Quand un disque tombe en panne, il n'y a rien a faire normalement, le netapp reconstruit automatiquement le volume degradé avec un disque de spare. Attention, si le NetApp n'a plus de 
disque de spare, il s'arretera automatiquement au bout de 24H00. Si le NetApp est correctement configuré il doit envoyer un mail dès qu'un evenement se produit (disque mort, 
prédiction de disque deffectueux, environnement hostile, reboot...).

Si le NetApp est sous contrat de support avec Network Appliance, ils reçoivent également un mail, et normalement un disque de remplacement nous est envoyé dans les délais du contrat 
(4H ou 24H selon le contrat). Notes: les ouvertures de ticket automatique netapp sont parfoit plus rapide que les alertes bb.

Par contre, comme un disque de spare a été consommé, il faut remplacer le disque deffectueux par un nouveau disque.

Si le disque qui est tombé en panne est un disque du volume systeme (vol0) il faut faire de nouveau un download pour que le nouveau disque du volume0 contienne le kernel :
filer*> download

Remplacement de disque

Manipulation physique : Il suffit d'enlever le disque deffectueux et de mettre le nouveau. Si les baie de disques contiennent des emplacement de disque vide, le nouveau disque peut etre mis dans l'un d'entre eux, et non a la place du disque deffectueux (ce qui n'empeche pas de le retirer apres). Le disque deffectueux est repéré par un voyant rouge fixe. Il peut arriver qu'un disque deffectueux n'apparaissent pas avec un voyant rouge fixe.

Dans ce cas, il faut recuper le numero du disque avec la commande : vol status -f

Puis allumer la led du disque avec la commande : priv set advanced / led_on X.Y (ou X.Y est le numero du disque. La led rouge du disque s'allume.)

Quand on a remplacé le disque on remet la led a off : led_off X.Y

Quand le dique est ajouté, 2 cas se présentent :

1. le disque est vierge (ou n'a jamais fait partie d'un volume netapp). Dans ce cas il est automatiquement ajouté a la liste des disques de spares. Pour voir la liste des disques de spares : vol status -s

                                                                            
Spare disks                                                                                                                                                
RAID Disk       Device  HA    SHELF BAY CHAN  Used (MB/blks)    Phys (MB/blks)  
---------       ------  --------------- ----  --------------    --------------
spare           4.17    4     2     1   FC:A  8600/17612800     8683/17783112 (not zeroed) 

2. Le disque n'est pas initialisé(not zeroed), il faut donc le faire: disk zero spares Le disque faisait partie d'un volume sur un autre netapp. Dans ce cas il ne va pas etre pris en compte comme spare. Pour qu'il passe en spare il va falloir detruire le volume qui contient ce disque. Pour voir les volumes on utilise la commande : vol status

          Volume State      Status            Options
            vol1 online     raid_dp           raidsize=8
            vol0 online     raid4             root
         vol1(1) failed     foreign
                            raid4
                            partial

Dans ce cas nous avons un volume nommé vol1(1) qui est étranger et partiel. On va donc le detruire : vol destroy vol1(1) Are you sure you want to destroy this volume? y Volume 'vol1(1)' destroyed.

Puis il faudra egalement le mettre a zero: disk zero spares

Commandes diverses

Une liste plus exaustive se trouve ici (tiré de ce site)

Options

Voici une liste (non exhaustive) de diverses options qui ont été configurées sur nos NetApp 3020c.

• options snmp.access "host=212.43.194.0/24 AND if=e0c"
• options timed.servers ntp.fr.clara.net,fr.pool.ntp.org
• options timed.max_skew 2h
• options ssh1.enable off
• options telnet.enable off
• options rsh.access "host=212.43.194.7 AND if=e0c"

• Mode avancé

priv set advanced : passe en mode expert
sysstat -sux 1 (voir les io)
sysconfig -r
vol options volx (pour fixed size ...) 

• Activation du http

Par défaut, juste le ssh est activé, pour activer le http (se mettre en priv advanced):
options http (voir les options)
options httpd.admin.enable on

• Affichage des disques durs

# Affiche les disques assignés aux deux contrôleurs
disk show
# Affiche les disques d'un contrôleur (nas-a
disk show -o nas-a
# Affiche les disques non assignés à un contrôleur
disk show -n
# Faire clignoter la LED (2 mns)
blink_on <disk_name>
# Arrêter le clignotement de la LED :
blink_off <disk_name>

• Affichage des agrégats

# Affiche l'état (type de raid, options, volumes et raid groups)
aggr status aggr0
# Idem mais avec toutes les options
aggr status aggr0 -v
# Affiche la répartition de l'espace disque
aggr show_space -h aggr0
# Affiche les disques
aggr status aggr0 -d
# Affiche les disques en erreurs
aggr status aggr0 -f
# Affiche les 'raid groups' avec les disques
aggr status aggr0 -r
# Affiche uniquement les disques de remplacement
aggr status aggr0 -s

Volumétrie modification

• Petit Rappel Volumétrie Netapp

 - Aggrégat
 - Volume(s)
 - Qtree(s)

• Infos sur les disques : sysconfig -r

• Infos sur la taille restante de dispo : df -Ah (pour les agrégats), df -ih (pour les volumes)

• Diminution de la volumétrie : netapp-a> vol size volx -10g

• Augmentation de la volumétrie : netapp-a> vol size volx +10g

• Maxfiles

Si le nombre d'inode approche les valeurs maximales autorisées, il n'est alors plus possible de créer des fichiers sur le volume en question.
Ce nombre définit la volumétrie utilisable sur un espace de donée; donc si la volumétrie utile est suffisante mais que le nombre d'inodes disponibles est lui insuffisant, il est alors 
impossible de créer de fichier).
Pour voir les infos sur le maxfile : maxfiles volx [nombre à déterminer]

• Maxdir (idem que pour maxfiles mais concerne les répertoires) : options maxdirsize [nombre à déterminer

• Création d'un Volume : vol create /vol/volx aggr0 [size_en_Go]

• Création d'un Qtree : qtree create /vol/volx/nom_qtree

• Augmentation de la taille d'un lun : lun resize /vol/vol0/nomlun +1800m (ici on augmente la taille de 1800Mo) (il faut bien sur s'assurer avant que le volume ou se trouve ce lun a

de l'espace libre, sinon augmenter la taille du volume avant)

• Afficher les quotas courants : quota report -v [volume]

• Modifier les quotas courants

- avec augmentation de la volumétrie des quotas : netapp-a> quota resize volx
- avec nouveau quota : quota off volx && quota on  volx

SnapShot

/!\ Sur un lun on ne met pas de snapshot : un lun c'est un block device, un snapshot permet de revenir a un etat precedent, mais sur un bloc device, c'est comme si on recuperait son lun apres un crash, pas sur qu'il soit utilisable, donc pas la peine de prendre de la place pour ca /!\

Les snapshot sont une image des données à un instant "T", ls permettent de faire un backup du contenu d'un volume. Les snapshots sont accessibles en nfs a la racine du points de montage (repertoire .snapshot). Le netapp est capable egalement de restorer un volume ou un fichier (mais pas une arborescence de repertoire). Seules les adresses vers les données sont conservés par les snapshors, ce qui explique leur taille réduite par rapport à la volumétrie des données ainsi sauvegardées. Lorsqu'un snapshot est activé sur un volume, une pourcentage de sa volumétrie est affecté pour la sauvegarde des données, ce qui explique la différence entre la volumétrie totale et utile. En général, un snapshot occupe 20% de la volumétrie globale.

• Creer un snapshot : snap create vol name (ou vol est le nom du volume et name le nom du snapshot)

• Visualiser les snapshots d'un volume : snap list volx

• Diminuer / Augmenter la volumétrie d'un Snapshot : snap reserve xx [% réservé au snapshot]

• Ordonnancement des Snapshots : snap sched vol3 x,x,x,x... [ordo]

Verrous Nfs

afficher les verrous par machine : lock status -p nlm -h <hostname>

supprimer les verrous par machine : lock break -p nlm -h <hostanme>

Supprimer un cluster

Quand un netapp a été dans un cluster il a tendance a s'en rappeler, meme apres une réinstallation, meme si on lui enleve tout les disques. Le fait d'etre en configuration cluster 
empeche certaine operation quand le netapp ne vois pas son copain.

Pour deconfigurer le cluster il faut (si on a pas l'OS d'origine) :

    installer un os tout neuf
    enlever les composant hardware : "carte cluster"
    supprimer la configuration cluster dans l'OS (pour cela il faut une license cluster)
        license add XXXXXX (numero de license cluster)
        reboot
        cf disable
        reboot
        license delete cluste
        reboot 

Le netapp a alors enfin quitté définitivement le cluster. 

Cluster, snapvault, SVM

la colonne A se lit : vol create <volume> <aggregat> <taille>

Trouver le nom de l'aggregat dans la première colonne
Aggr_flashpool_1 --> ctrl1-FAS8200MC1N1
Aggr_sata_1 --> ctrl1-FAS8200MC1N2

Se connecter au controlleur 8200 correspondant
Sur le 8200 :
prendre le nom de volume sur la ligne d'avant du excel et faire :
vol show -volume vn_fas8200_<a remplacer> -fields vserver
Utiliser la valeur vserveur retourné pour le reste des commandes
vol create -vserver <vserver> -aggregate <aggregate> -volume <volume> -size <taille>

Lire le pourcentage de snapreserve dans la colonne C
vol modify -vserver <vserver> -volume <volume> -percent-snapshot-space <pourcentage>

vol modify -vserver <vserver> -volume <volume> -fractional-reserve 0
vol modify -vserver <vserver> -volume <volume> -snapdir-access false
vol modify -vserver <vserver> -volume <volume> -snapshot-policy none

Faire un export-policy show -vserver <vserver>
volume modify -vserver <vserver> -volume <volume> -policy <export-policy> 
Dans la commande suivante, utiliser la policy qui n'est pas default, si il y en a plusieurs il faut aller comparer les droits dans la export-policy avec la colonne K
qtree create -vserver <vserver>  -qtree /vol/<nom du Qtree dans la colonne B> -export-policy <export-policy>

Faire un snapshot policy show -vserver <vserver> -fields policy
Utiliser la policy dans la commande :
vol modify -vserver <vserver> -volume <volume> -snapshot-policy <policy>

Se connecter sur la baie 2620 (ctrl1-FAS2620N1)
la colonne A se lit :
vol create <volume> <aggregat> <taille>

vol create -vserver Vault-<vserver> -volume <volume> -aggregate aggr1 -size <taille> -type DP
volume modify -vserver Vault-<vserver> -volume <volume> -percent-snapshot-space 20 -fractional-reserve 0 -snapdir-access false
snapmirror create -source-path <vserver>:<volume du 8200> -destination-path Vault-<vserver>:<volume du 2620> -type XDP -policy Vault-<vserver>-policy -schedule SnapVaultDaily7AM
volume efficiency on -vserver Vault-<vserver> -volume <volume>
volume modify -vserver Vault-<vserver> -volume <volume> -space-guarantee none
snapmirror initialize Vault-<vserver>:<volume du 2620>

Lun max size

La taille maximum d'un lun est dépendante de sa taille initiale à la création. Pour un volume il n y a pas de taille maximum. En moyenne la taille d'un lun peut etre agrandi de 10 fois par rapport à sa taille initiale.

lun show /vol/HPFE_METRO_SERVICES_00/HPFE_METRO_SERVICES_00 -fields max-resize-size

taille des lun : https://kumaraysun.wordpress.com/2016/09/29/lun-resize-limitation-in-netapp/
bug netapp : https://mysupport.netapp.com/NOW/cgi-bin/bol?Type=Detail&Display=447116