BlaxWiki - Contributions de l’utilisateur [fr]

Trucs & Astuces Linux

2016-12-30T10:48:52Z

Ben :

__TOC__
Cette page regroupe quelques trucs & astuces sur des problèmes divers rencontrés

===== Accès internet =====
<pre>
Il peut arriver que l'on pingue internet (resolution dns & gw ok) mais pas d'accès internet via IE ou lynx. Cela est souvent du à un problème de négociation sur le switch ou sur l'eth
qui est en half duplex
</pre>

===== Charge CPU et leap seconde =====
<pre>
Parfois, le 31/12 avant minuit une leap seconde est ajoutée sur les serveurs root ntp. Cela a pour conséquence une charge cpu et mémoire élevée sur les services de base de données et services utilisant
java. Il suffit de relancer les services pour corriger
</pre>

===== Copie de fichier =====
<pre>
Un problème de copie de fichier peut arriver quand la locale entre les 2 serveurs n'est pas la même (utf8 & latin par exemple). Faire un copier coller du nom du fichier, puis sur le serveur de destination faire un touch du nom du fichier pour voir si il prend bien les memes caracteres
</pre>

===== DNS =====
<pre>
Lorsque l'on modifie le resolv.conf, il faut restarter les différents services qui l utilisent (sendmail, etc..) car ceux ci ne le lise qu un fois lorsqu ils démarrent et apres le garde en cache
</pre>

===== ELF & no such file or directory =====
<pre>
Il peut arriver qu un programme ne se lance pas et marque "no such file or directory" alors que le fichier mentionné est bien
présent. Cela arrive lorsque l OS est en 64 bits et que le soft est en 32 bits, et que le package ia32-libs sous debian (ou glibc.i686 suivant les OS) n'est pas installé.
</pre>

===== Enregistrement de session =====
<pre>
Si l'on veut logguer les commandes qui sont faites dans les sessions des users, ajouter dans /etc/profile :
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//" ) [$RETRN_VAL]"'

On peut mettre ca dans une autre local bien sur, puis rajouter dans le rsyslog.conf : local6.* /var/log/session.log.
Cela va nous donner des choses comme :
Jul 8 12:48:55 serveur benj: benj [351]: Jul/06 -- 21:23:03 su [0]
Jul 8 12:48:56 serveur benj: benj [351]: Jul/08 -- 12:48:56 ls [0]
Jul 8 12:48:57 serveur benj: benj [351]: Jul/08 -- 12:48:57 dir [0]
Jul 8 12:48:59 serveur benj: root [32543]: Jul/08 -- 12:48:49 tail -f /var/log/ben.log [130]
Jul 8 12:50:25 serveur benj: root [32543]: Jul/08 -- 12:50:02 vim /etc/rsyslog.conf [0]

Cela ne loggue pas ce qui est fait en ssh sans shell, pour ca il faut utiliser snoopy master qui loggue tout
</pre>

===== Grub =====
<pre>
On peut avoir des problèmes avec grub lors d'un grub install, voir https://wiki.blaxeen.com/index.php/Creation_de_VM_linux#Installation_de_grub pour la solution
</pre>

===== History & date =====
<pre>
Pour avoir la date et l'heure des commandes passées dans l'history, il faut rajouter dans /etc/profile ou .bashrc : export
Debian : export HISTTIMEFORMAT='%F %T '
Centos : export HISTTIMEFORMAT="%h/%d -- %H:%M:%S "
</pre>

===== Interface bridge en boucle =====
<pre>
Il peut arriver que lorsqu'on fait une mauvaise conf d'interfaces eth & bridge, et que dans /var/log/message on ait ce message en boucle, et qu en faisant un brctl show, le brige
apparaisse et disparaisse. Il faut déplacer les 2 fichiers de conf des interfaces back275 et eth1.275 ailleurs que dans /etc/sysconfig/network-scripts/ (les renommer ne sert à rien).
Puis faire des ifconfig back275 down, ifconfig eth1.275 down (voir des brct delbr back275), et le problème devrait se résoudre

Mar 21 16:37:27 kvm1 kernel: back275: port 1(eth1.275) entering disabled state
Mar 21 16:37:27 kvm1 kernel: device eth1.275 entered promiscuous mode
Mar 21 16:37:27 kvm1 kernel: back275: port 1(eth1.275) entering disabled state
Mar 21 16:37:27 kvm1 kernel: device eth1.275 entered promiscuous mode
</pre>

===== Interface ethX =====
<pre>
Si on a des pb d interrfaces (eth2 au lieu de eth0) , et cela est valable aussi lorsqu on fait des images d OS en tar.GZ, il faut supprimer ce qu il y a dans le fichier /etc/udev
/rules.d/70-persistent-net.rules (ou similaire suivant les OS), mais le fichier doit exister
</pre>

===== Log martians & route & syslog =====
<pre>
Dans certaines circonstances il peut être intéressant d'activer les logs martians pour la résolution de problème, par exemple des problèmes de routes manquantes.
Le cas est arrivé sur un serveur syslog qui recevait des logs d'un switch. Le tcpdump voyait bien les paquets arriver sur l'eth0 du serveur, syslog écoutait bien sur eth0, mais rien
ne logguait, et un strace sur le pid de syslog ne voyait pas l'ip du switch.
En fait, le paquet arrivait sur eth0, mais la route pour joindre le switch passe par eth1 (alors que les paquets arrivent sur eth0), on a donc une route assymétrique, et meme si le
paquet ne repart pas hors du serveur, il lui faut quand meme une chemin de routage cohérent. Il a fallu ajouter une route pour l'ip du switch en lui demandant de passer par eth0,
et là le serveur syslog a bien réussi à récuperer les logs du switch.
L'activation des logs martians a permis de mettre en évidence cela
</pre>

===== Loggin en root en boucle =====
<pre>
Il peut arriver que lorsqu'on veuille se logguer en root, il demande bien le login et le mdp, mais il le redemande en boucle (sans mettre de message Acces denied ou invalid password).
Dans le cas que j'ai rencontré, cela arrive lorsque le selinux (ou autre systeme de sécurité) est activé. Il faut alors le désactiver ou le modifier pour pouvoir se logguer (reboot en
mode pxe ou livecd obligé). IL faut aussi vérifier que dans /etc/securetty on ait bien les différentes tty (ou Stty pour la console)
</pre>

===== No route to host & problème de route =====
<pre>
Il peut arriver que depuis un serveur l'on arrive bien à pinguer une ip Y, mais lorsque l'on veut faire un ssh, wget ou autre on a le message : " No route to host", alors que la route
existe bien. Cela signigie en général qu'il y a un firewall entre les 2 qui filtre ce service

Si problème de route, ou on arrive pas à joindre la passerelle alors que tout à l air bon, voir un arp -a pour voir si la mac de la gw remonte. Sinon verifier que la route native (pas la route par
defaut) de l interface réseau en question est bien là, si elle ne l est pas , faire un ifdown && ifup pour réafficher la route native

Vérifer que la route de retour existe, et que l'interface par laquelle arrive le paquet et bien l interface par laquelle le paquet ressort
</pre>

===== Partitionnement d'un disque & /dev/sdaX =====
<pre>
Lorsque l'on créé des partitions sur un disque, au moment du formatage avec mkfs.ext3 il se peut que le /dev/sdaX n'ait pas toutes les partitions (qu'il ait juste sda1 et sda2 et pas
sda3,4...), il faut alors rebooter. Avec des kernels récents on peut utiliser partprobe (partprobe /dev/sdb ; echo $?) ou partx -a /dev/sda pour mettre à jour la table des partitions
dans /dev. Si le /dev/sdX n'existe pas il n y a pas d autres moyen que de rebooter
</pre>

===== Problème mot de passe & entropie =====
<pre>
Les programmes tel que mkpasswd ou passwd (entre autres) se servent de /dev/random ou /dev/urandom pour générer des chiffres & lettres aléatoires. Si ces mots de passe comportent
toujours les mêmes lettres, il y a de fortes chances que /dev/random ou /dev/urandom ne soient pas bon.
</pre>

===== Prompt bash =====
<pre>
Souvent le prompt par défaut n'utilise pas le fqdn du serveur, ce qui peut etre embetant. Sous Debian, pour corriger cela, dans le /etc/bashrc et /root/.bashrc (ou /etc/bash.bashrc
suivant les distrib), modifier la ligne avec PS1 pour remplacer le "h:" par "H:".
Bien renseigner le fqdn dans /etc/hostname, et faire /etc/init.d/hostname.sh start pour le prendre en compte.
Sous debian, décommenter aussi les lignes suivantes dans le /etc/bash.bashrc (voir changer aussi le /root/.bashrc et mettre dans le /etc/hosts le fqdn en premier sur la ligne du
127.0.0.1)

case "$TERM" in
xterm*|rxvt*)
PROMPT_COMMAND='echo -ne "\033]0;${USER}@${HOSTNAME}: ${PWD}\007"'
;;
*)
;;
esac
</pre>

===== Segfault =====
<pre>
Si on a des erreurs de segfault, il faut bien regarder, ici c est le binaire h64 qui fait ces segfaults, et dans le cas présents le serveur c etait fait hacke.
line 23695 : Oct 5 20:18:01 www1c kernel: h64[8877]: segfault at ffffffffffffffd0 rip 00000000004242d3 rsp 00007fff89bcb178 error 6
</pre>

===== Warning: `xxxx' uses 32-bit capabilities (legacy support in use) =====
<pre>
On peut avoir ce warning au restart de certain soft (proftp, bind...), il faut dans ce cas là installer libcal-devel. La recompilation peut etre nécessaire pour ne plus avoir ce
message.
</pre>

===== Yum et curl =====
<pre>
Yum se sert de pycurl (donc de curl) pour fonctionner. Si curl est compilé avec une version d'openssl différente de celle sur le system ou compilé sans openssl, voilà le message
d'erreur que l'on a :
There was a problem importing one of the Python modules
required to run yum. The error leading to this problem was:
/usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback
</pre>

[[Catégorie:Linux]]

Trucs & Astuces Linux

2016-12-30T10:46:25Z

Ben :

__TOC__
Cette page regroupe quelques trucs & astuces sur des problèmes divers rencontrés

===== Accès internet =====
<pre>
Il peut arriver que l'on pingue internet (resolution dns & gw ok) mais pas d'accès internet via IE ou lynx. Cela est souvent du à un problème de négociation sur le switch ou sur l'eth
qui est en half duplex
</pre>

===== Charge CPU et leap seconde =====
<pre>
Parfois, le 31/12 avant minuit une leap seconde est ajoutée sur les serveurs root ntp. Cela a pour conséquence une charge cpu et mémoire élevée sur les services de base de données et services utilisant
java. Il suffit de relancer les services pour corriger
</pre>

===== DNS =====
<pre>
Lorsque l'on modifie le resolv.conf, il faut restarter les différents services qui l utilisent (sendmail, etc..) car ceux ci ne le lise qu un fois lorsqu ils démarrent et apres le garde en cache
</pre>

===== ELF & no such file or directory =====
<pre>
Il peut arriver qu un programme ne se lance pas et marque "no such file or directory" alors que le fichier mentionné est bien
présent. Cela arrive lorsque l OS est en 64 bits et que le soft est en 32 bits, et que le package ia32-libs sous debian (ou glibc.i686 suivant les OS) n'est pas installé.
</pre>

===== Enregistrement de session =====
<pre>
Si l'on veut logguer les commandes qui sont faites dans les sessions des users, ajouter dans /etc/profile :
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//" ) [$RETRN_VAL]"'

On peut mettre ca dans une autre local bien sur, puis rajouter dans le rsyslog.conf : local6.* /var/log/session.log.
Cela va nous donner des choses comme :
Jul 8 12:48:55 serveur benj: benj [351]: Jul/06 -- 21:23:03 su [0]
Jul 8 12:48:56 serveur benj: benj [351]: Jul/08 -- 12:48:56 ls [0]
Jul 8 12:48:57 serveur benj: benj [351]: Jul/08 -- 12:48:57 dir [0]
Jul 8 12:48:59 serveur benj: root [32543]: Jul/08 -- 12:48:49 tail -f /var/log/ben.log [130]
Jul 8 12:50:25 serveur benj: root [32543]: Jul/08 -- 12:50:02 vim /etc/rsyslog.conf [0]

Cela ne loggue pas ce qui est fait en ssh sans shell, pour ca il faut utiliser snoopy master qui loggue tout
</pre>

===== Grub =====
<pre>
On peut avoir des problèmes avec grub lors d'un grub install, voir https://wiki.blaxeen.com/index.php/Creation_de_VM_linux#Installation_de_grub pour la solution
</pre>

===== History & date =====
<pre>
Pour avoir la date et l'heure des commandes passées dans l'history, il faut rajouter dans /etc/profile ou .bashrc : export
Debian : export HISTTIMEFORMAT='%F %T '
Centos : export HISTTIMEFORMAT="%h/%d -- %H:%M:%S "
</pre>

===== Interface bridge en boucle =====
<pre>
Il peut arriver que lorsqu'on fait une mauvaise conf d'interfaces eth & bridge, et que dans /var/log/message on ait ce message en boucle, et qu en faisant un brctl show, le brige
apparaisse et disparaisse. Il faut déplacer les 2 fichiers de conf des interfaces back275 et eth1.275 ailleurs que dans /etc/sysconfig/network-scripts/ (les renommer ne sert à rien).
Puis faire des ifconfig back275 down, ifconfig eth1.275 down (voir des brct delbr back275), et le problème devrait se résoudre

Mar 21 16:37:27 kvm1 kernel: back275: port 1(eth1.275) entering disabled state
Mar 21 16:37:27 kvm1 kernel: device eth1.275 entered promiscuous mode
Mar 21 16:37:27 kvm1 kernel: back275: port 1(eth1.275) entering disabled state
Mar 21 16:37:27 kvm1 kernel: device eth1.275 entered promiscuous mode
</pre>

===== Interface ethX =====
<pre>
Si on a des pb d interrfaces (eth2 au lieu de eth0) , et cela est valable aussi lorsqu on fait des images d OS en tar.GZ, il faut supprimer ce qu il y a dans le fichier /etc/udev
/rules.d/70-persistent-net.rules (ou similaire suivant les OS), mais le fichier doit exister
</pre>

===== Log martians & route & syslog =====
<pre>
Dans certaines circonstances il peut être intéressant d'activer les logs martians pour la résolution de problème, par exemple des problèmes de routes manquantes.
Le cas est arrivé sur un serveur syslog qui recevait des logs d'un switch. Le tcpdump voyait bien les paquets arriver sur l'eth0 du serveur, syslog écoutait bien sur eth0, mais rien
ne logguait, et un strace sur le pid de syslog ne voyait pas l'ip du switch.
En fait, le paquet arrivait sur eth0, mais la route pour joindre le switch passe par eth1 (alors que les paquets arrivent sur eth0), on a donc une route assymétrique, et meme si le
paquet ne repart pas hors du serveur, il lui faut quand meme une chemin de routage cohérent. Il a fallu ajouter une route pour l'ip du switch en lui demandant de passer par eth0,
et là le serveur syslog a bien réussi à récuperer les logs du switch.
L'activation des logs martians a permis de mettre en évidence cela
</pre>

===== Loggin en root en boucle =====
<pre>
Il peut arriver que lorsqu'on veuille se logguer en root, il demande bien le login et le mdp, mais il le redemande en boucle (sans mettre de message Acces denied ou invalid password).
Dans le cas que j'ai rencontré, cela arrive lorsque le selinux (ou autre systeme de sécurité) est activé. Il faut alors le désactiver ou le modifier pour pouvoir se logguer (reboot en
mode pxe ou livecd obligé). IL faut aussi vérifier que dans /etc/securetty on ait bien les différentes tty (ou Stty pour la console)
</pre>

===== No route to host & problème de route =====
<pre>
Il peut arriver que depuis un serveur l'on arrive bien à pinguer une ip Y, mais lorsque l'on veut faire un ssh, wget ou autre on a le message : " No route to host", alors que la route
existe bien. Cela signigie en général qu'il y a un firewall entre les 2 qui filtre ce service

Si problème de route, ou on arrive pas à joindre la passerelle alors que tout à l air bon, voir un arp -a pour voir si la mac de la gw remonte. Sinon verifier que la route native (pas la route par
defaut) de l interface réseau en question est bien là, si elle ne l est pas , faire un ifdown && ifup pour réafficher la route native

Vérifer que la route de retour existe, et que l'interface par laquelle arrive le paquet et bien l interface par laquelle le paquet ressort
</pre>

===== Partitionnement d'un disque & /dev/sdaX =====
<pre>
Lorsque l'on créé des partitions sur un disque, au moment du formatage avec mkfs.ext3 il se peut que le /dev/sdaX n'ait pas toutes les partitions (qu'il ait juste sda1 et sda2 et pas
sda3,4...), il faut alors rebooter. Avec des kernels récents on peut utiliser partprobe (partprobe /dev/sdb ; echo $?) ou partx -a /dev/sda pour mettre à jour la table des partitions
dans /dev. Si le /dev/sdX n'existe pas il n y a pas d autres moyen que de rebooter
</pre>

===== Problème mot de passe & entropie =====
<pre>
Les programmes tel que mkpasswd ou passwd (entre autres) se servent de /dev/random ou /dev/urandom pour générer des chiffres & lettres aléatoires. Si ces mots de passe comportent
toujours les mêmes lettres, il y a de fortes chances que /dev/random ou /dev/urandom ne soient pas bon.
</pre>

===== Prompt bash =====
<pre>
Souvent le prompt par défaut n'utilise pas le fqdn du serveur, ce qui peut etre embetant. Sous Debian, pour corriger cela, dans le /etc/bashrc et /root/.bashrc (ou /etc/bash.bashrc
suivant les distrib), modifier la ligne avec PS1 pour remplacer le "h:" par "H:".
Bien renseigner le fqdn dans /etc/hostname, et faire /etc/init.d/hostname.sh start pour le prendre en compte.
Sous debian, décommenter aussi les lignes suivantes dans le /etc/bash.bashrc (voir changer aussi le /root/.bashrc et mettre dans le /etc/hosts le fqdn en premier sur la ligne du
127.0.0.1)

case "$TERM" in
xterm*|rxvt*)
PROMPT_COMMAND='echo -ne "\033]0;${USER}@${HOSTNAME}: ${PWD}\007"'
;;
*)
;;
esac
</pre>

===== Segfault =====
<pre>
Si on a des erreurs de segfault, il faut bien regarder, ici c est le binaire h64 qui fait ces segfaults, et dans le cas présents le serveur c etait fait hacke.
line 23695 : Oct 5 20:18:01 www1c kernel: h64[8877]: segfault at ffffffffffffffd0 rip 00000000004242d3 rsp 00007fff89bcb178 error 6
</pre>

===== Warning: `xxxx' uses 32-bit capabilities (legacy support in use) =====
<pre>
On peut avoir ce warning au restart de certain soft (proftp, bind...), il faut dans ce cas là installer libcal-devel. La recompilation peut etre nécessaire pour ne plus avoir ce
message.
</pre>

===== Yum et curl =====
<pre>
Yum se sert de pycurl (donc de curl) pour fonctionner. Si curl est compilé avec une version d'openssl différente de celle sur le system ou compilé sans openssl, voilà le message
d'erreur que l'on a :
There was a problem importing one of the Python modules
required to run yum. The error leading to this problem was:
/usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback
</pre>

[[Catégorie:Linux]]

HyperV snapshot

2016-12-29T13:13:04Z

Ben : Ben a déplacé la page HyperV snapshot vers HyperV Snapshot

#REDIRECTION [[HyperV Snapshot]]

HyperV Snapshot

2016-12-29T13:13:04Z

Ben : Ben a déplacé la page HyperV snapshot vers HyperV Snapshot

=== MEMO ===
<pre>
Quand on veut rester à l état actuel (état de la VM à l heure de maintenant) : il faut delete le snapshop
Si l on veut revenir à l état de la vm lorsque l'on a créé le snapshot : il faut faire appply (c’est-à-dire qu’un retour à l’état antérieur sera effectué. Toutes les modifications effectuées depuis la création de ce snapshot seront effacées.)
</pre>

De base, lorsqu'une vm est créé, aucun snapshot n'existe, si l'on regarde dans la fenetre snapshot, on ne verra rien.

Lorsque l'on créé un snapshot sur une vm, un nouveau fichier .avhd(x) va être créé dans le même répertoire que le fichier .vhd de la vm (où un autre suivant comment est configuré le snapshot dans les paramètres de la vm ou dans la configuration globale de l'hyperV).
Toutes les nouvelles modifications, ajout de programmes et autres, vont donc être maintenant enregistrés dans ce fichier .avhd et non plus dans le fichier vhd. Le soucis est que la taille
fixée dans les settings de la vm concerne le fichier .vhd et non le fichier .avhd(x) du snapshot. Il est donc possible de saturer à terme le disque de l'hyperviseur.

Plusieurs méthodes pour ne plus avoir de snapshot tout en conservant les modifications effectuées

* 1ere méthode
Eteindre la vm, puis sur le snapshot faire delete. Le fichier .avhd a disparu, et les modifications ont bien été appliquées. Il est plus prudent de faire un export une fois la vm éteinte
avant de faire le delete du snapshot

* 2eme méthode
Faire un delete du snapshot alors que la vm tourne. Le fichier .avhd continue d'augmenter et de se mettre à jour lorsque l'on fait des modifications, mais au niveau du "Server manager",
on ne voit plus de snapshot sur la vm. Lorsque l'on arrete la vm, le fichier .avhd est fusionné, il disparait, et les modifications ont bien été appliquées

[[Catégorie:Virtualisation]]

Esxi backup vm

2016-12-29T13:12:41Z

Ben : Ben a déplacé la page Esxi backup vm vers Esxi Backup vm

#REDIRECTION [[Esxi Backup vm]]

Esxi Backup vm

2016-12-29T13:12:40Z

Ben : Ben a déplacé la page Esxi backup vm vers Esxi Backup vm

Pour sauvegarder proprement une sous Esxi, on peut utiliser [https://{{SERVERNAME}}/index.php/Esxi_backup_GhettoVCB GhettoVcb]. Si on ne peut pas installer ce soft, il faut effectuer
une sauvegarde manuelle.

Dans le cadre d’une sauvegarde de VM, il est avant tout essentiel de sauvegarde les fichiers de disque soit les .vmdk et –flat.vmdk. Selon l’interface que l’on utilise pour se connecter
à ESXi les fichiers –flat.vmdk peuvent ou pas être affichés.

Voilà les fichiers qui composent une vm :
<pre>
.vmx : le fichier de configuration de la machine virtuelle,
.vmdk: le fichier de metadata (c.a.d. configuration) d’un disque virtuel,
-flat.vmdk: le fichier contenant les données du disque virtuel,
.vmsn: le fichier de metadata d’un disque de snapshot,
-delta.vmdk: le fichier contenant les données du snapshot de fichier virtuel.
</pre>

Pour récupérer les fichiers concernés, on peut :
<pre>
- utiliser le vspher client pour parcourir le datastore et downloader les fichiers sur son poste
- faire un cp en ssh des fichiers d'un emplacement à un autre
- la meilleur solution : en ssh, utiliser la commande vmkfstool –i /vmfs/volumes/datastore1/xp/xp.vmdk /vmfs/volumes/datastore2/xp.vmdk (le -i correspond à --clonevirtualdisk)
Vmkfstools dispose d’une option forte intéressante : le mode « Thin». Avec cette option, seuls les secteurs utilisés du disque sont effectivement copiés. Ainsi, si la VM dispose d’un
disque de 20Go dont seulement 2Go sont utilisés, la copie ne portera que sur 2Go. Le temps de sauvegarde est considérablement réduit :
# vmkfstool –i /vmfs/volumes/datastore1/xp/xp.vmdk –d thin /vmfs/volumes/datastore2/xp.vmdk
</pre>
[[Catégorie:Virtualisation]]

Esxi backup GhettoVCB

2016-12-29T13:12:28Z

Ben : Ben a déplacé la page Esxi backup GhettoVCB vers Esxi Backup GhettoVCB

#REDIRECTION [[Esxi Backup GhettoVCB]]

Esxi Backup GhettoVCB

2016-12-29T13:12:28Z

Ben : Ben a déplacé la page Esxi backup GhettoVCB vers Esxi Backup GhettoVCB

=== Introduction ===
GhettoVCB est un script SH permettant la sauvegarde au chaud ou froid et la restauration de machines virtuelles sous ESX ou ESXi : http://communities.vmware.com/docs/DOC-8760 /

=== Principe ===
<pre>
C’est très simple, avez-vous déjà essaye de copier une machine virtuelle d’un hôte vers un autre sans l’éteindre ? Essayez et vous verrez que cela vous pette une erreur. Pourquoi ?
Car lorsqu’une VM est allumée, les vmdk ou fichier de disques virtuels sont lockés (verrouilles). Comment faire alors ? C’est simple, pour enlever ce lock sur le vmdk il faut et il
suffit … de faire un snapshot de la VM. Ah bon ? Ben oui ! Un snapshot après tout c’est quoi ? Un fichier différentiel à partir d’un instant T dans lequel esxi va écrire les modifs
jusqu’au delete ou merge de ce différentiel. Des lors que le snapshot est créé, le fichier du snapshot est locke et le lock du vmdk initial relâché. Scriptez ce principe et vous
obtiendrez Ghettovcb.sh.
</pre>

=== Fonctionnalités ===
<pre>
Support de backups multiples de VMDKs par VM.
Backup des VMDK valides uniquement.
Backup a chaud.
Possibilité d’éteindre la VM avant d’initier le backup puis de la redémarrer ensuite.
Vérification de la bonne suppression des snapshots issus des backups précédents avant chaque backup.
Les vms contenant déjà des snapshots ne sont pas backupees L .
Possibilité de choisir le type des fichiers de disques de backup des VMDK (split 2Go, …).
Support des disques (virtuels) IDE et SCSI.
Support des VMDk éparpillés sur plusieurs datastores.
Possibilité de compresser les backups (fonctionnalités en beta)
Possibilité de définir des stratégies de sauvegarde différentes selon les VMs.
Possibilité d’inclure/exclure certains vmdk pour une certaine VM.
Création de log de sortie.
Timeout pour l’arrêt des VMS (optionnel) et la création de snapshots.
Snapshots paramétrables (mémoire, etc…).
Debugging durant l’exécution du script.
Support RDM.
Support d’une liste d’exclusion de VMS.
Possibilité de backuper toutes les vms d’un hôte sans passer par une liste.
Mécanismes de locks pour éviter l’exécution simultanée du script plusieurs fois sur le même hote.
Arborescence de répertoires pour les backups (rsync) .
Email de log/resultat (expérimental).
Support Rsync (expérimental).
</pre>

=== Installation ===

[https://github.com/lamw/ghettoVCB/downloads Télécharger la dernière version] et la mettre sur l'ESXi avec scp ou WinSCP, puis, décompresser l'archive pour l'installer :
<pre>
# tar -xzf lamw-ghettoVCB-518cef7.tar.gz
# rm lamw-ghettoVCB-518cef7.tar.gz
# mv lamw-ghettoVCB-518cef7 ghettoVCB
# cd ghettoVCB
# ls -hl
-rw-rw-r-- 1 root root 281 Nov 28 2011 README
-rwxrwxr-x 1 root root 15.6k Nov 28 2011 ghettoVCB-restore.sh
-rw-rw-r-- 1 root root 309 Nov 28 2011 ghettoVCB-restore_vm_restore_configuration_template
-rw-rw-r-- 1 root root 356 Nov 28 2011 ghettoVCB-vm_backup_configuration_template
-rw-rw-r-- 1 root root 631 Nov 28 2011 ghettoVCB.conf
-rwxrwxr-x 1 root root 48.2k Nov 28 2011 ghettoVCB.sh
</pre>

=== Sauvegarde ===
La sauvegarde se fait en utilisant le script ghettoVCB.sh

* Configuration

<pre>
La configuration se fait en modifiant le fichier ghettoVCB.conf

* VM_BACKUP_VOLUME : Datastore et répertoire dans lequel les sauvegardes sont entreposées, si le répertoire n'existe pas, il sera crée.
* DISK_BACKUP_FORMAT : Format de disque, peut être paramétré à zeroedthick, eagerzeroedthick, thin ou 2gbsparse.
* VM_BACKUP_ROTATION_COUNT : Nombre de rotation de sauvegarde pour un machine virtuelle.
* POWER_VM_DOWN_BEFORE_BACKUP : Indique si le script doit stopper la machine virtuelle avant d'en faire la sauvegarde. Si la VM est stoppe avant sauvegarde, elle ne sera pas
sauvegarde en utilisant la méthode des cliché instantané (snapshot)
* ENABLE_HARD_POWER_OFF : Force un arrêt de la VM si l’option précédente est activée et que la VM n’as pas les tools (0=false/non 1=true/oui).
* ITER_TO_WAIT_SHUTDOWN : Indique le nombre de minutes d'attente avant l'arrêt brutale d'une machine virtuelle si ENABLE_HARD_POWER_OFF est activé.
* POWER_DOWN_TIMEOUT : nombre de minutes a attendre avant extinction de la VM avant de l’ignorer et passer a la suivante.
* SNAPSHOT_TIMEOUT : nombre de minutes a attendre pendant le snapshot avant d’ignorer et passer a la VM suivante.
* ENABLE_COMPRESSION : Activation ou non de la compression. (Expérimental)
* ADAPTER_FORMAT : Format du contrôleur de stockage des VMDK de sortie (lsilogic | buslogic).
* VM_SNAPSHOT_MEMORY et VM_SNAPSHOT_QUIESCE : Activer ou désactiver les options de mémoire et d’attente du snapshot. (Désactivé par défaut)
* EMAIL_LOG : Activer l’envoi du log par e-mail (0=false/non 1=true/oui)
* EMAIL_DEBUG : Si l-envoi du mail est OK, en conserver une copie sur l’hôte quand même (0=false/non 1=true/oui)
* EMAIL_SERVER : Adresse du serveur mail.
* EMAIL_SERVER_PORT : Port du serveur mail a utiliser.
* EMAIL_TO : Adresse a laquelle part le mail.
* EMAIL_FROM : Émetteur du mail.
* RSYNC_LINK : Support d’un lien symbolique RSYNC.
</pre>

* Manuel
<pre>
SYNTAXE : ./ghettoVCB.sh -f [VM_BACKUP_UP_LIST] -c [VM_CONFIG_DIR] -l [LOG_FILE] -d [DEBUG_LEVEL] -g [GLOBAL_CONF] -e [VM_EXCLUSION_LIST]

OPTIONS :
-a Sauvegarder toutes les machines virtuelles de l'hôte.
-f Liste des machines virtuelles à sauvegarder.
-e Liste des machines virtuelles à exclure de la sauvegarde.
-c Dossier contenant un fichier de configuration spécifique à la sauvegarde de machines virtuelles.
-g Chemin d'excès du fichier de configuration global de ghettoVCB.
-l Fichier journal.
-d Niveau de débogage [info|debug|dryrun] (Par défaut: info)

Sauvegarder les VM indiquées dans une liste
./ghettoVCB.sh -f vms_to_backup

Sauvegarder toutes les VM d'un hôte
./ghettoVCB.sh -a

Sauvegarder toutes les VM d'un hôte sauf celle listées.
./ghettoVCB.sh -a -e vm_exclusion_list

Sauvegarder les VM en utilisant la configuration stocké dans un répertoire spécifique
./ghettoVCB.sh -f vms_to_backup -c vm_backup_configs

Sauvegarder les VM en utilisant le fichier de configuration global
./ghettoVCB.sh -f vms_to_backup -g /global/ghettoVCB.conf

Spécification de l'emplacement des journaux (Ceux-ci sont par défaut dans /tmp/ghettoVCB.log)
./ghettoVCB.sh -f vms_to_backup -l /vmfs/volume/local-storage/ghettoVCB.log

Essai à blanc (Aucune sauvegarde ne sera faite)
./ghettoVCB.sh -f vms_to_backup -d dryrun

Les fichiers de listes de machines virtuelles à sauvegarder ou exclure est de la forme suivante :

VM01
VM02
VM03
</pre>

* Utilisation
<pre>
Les disques des machines virtuelles à sauvegarder ne doivent pas être déclarés comme indépendants, si c'est le cas, un test de sauvegarde à blanc (option -d dryrun) remontera
l'erreur suivante :

Snapshots can not be taken for indepdenent disks!

Exemple d'utilisation :

# ./ghettoVCB.sh -f ./vm_backup_list -g ./ghettoVCB.conf -l ./testBackup.log
Insufficient arguments.
2012-08-23 14:50:28 -- info: ============================== ghettoVCB LOG START ==============================

2012-08-23 14:50:28 -- info: CONFIG - USING GLOBAL GHETTOVCB CONFIGURATION FILE = ./ghettoVCB.conf
2012-08-23 14:50:28 -- info: CONFIG - VERSION = 2011_11_19_1
2012-08-23 14:50:28 -- info: CONFIG - GHETTOVCB_PID = 9436587
2012-08-23 14:50:28 -- info: CONFIG - VM_BACKUP_VOLUME = /vmfs/volumes/5e909b68-89b5a355
2012-08-23 14:50:28 -- info: CONFIG - VM_BACKUP_ROTATION_COUNT = 3
2012-08-23 14:50:28 -- info: CONFIG - VM_BACKUP_DIR_NAMING_CONVENTION = 2012-08-23_14-50-27
2012-08-23 14:50:28 -- info: CONFIG - DISK_BACKUP_FORMAT = thin
2012-08-23 14:50:28 -- info: CONFIG - POWER_VM_DOWN_BEFORE_BACKUP = 1
2012-08-23 14:50:28 -- info: CONFIG - ENABLE_HARD_POWER_OFF = 0
2012-08-23 14:50:28 -- info: CONFIG - ITER_TO_WAIT_SHUTDOWN = 3
2012-08-23 14:50:28 -- info: CONFIG - POWER_DOWN_TIMEOUT = 5
2012-08-23 14:50:28 -- info: CONFIG - SNAPSHOT_TIMEOUT = 15
2012-08-23 14:50:28 -- info: CONFIG - LOG_LEVEL = info
2012-08-23 14:50:28 -- info: CONFIG - BACKUP_LOG_OUTPUT = ./testBackup.log
2012-08-23 14:50:28 -- info: CONFIG - VM_SNAPSHOT_MEMORY = 0
2012-08-23 14:50:28 -- info: CONFIG - VM_SNAPSHOT_QUIESCE = 0
2012-08-23 14:50:28 -- info: CONFIG - VMDK_FILES_TO_BACKUP = all
2012-08-23 14:50:28 -- info: CONFIG - EMAIL_LOG = 0
2012-08-23 14:50:28 -- info:
Datastore not found.

Datastore not found.

Datastore not found.

2012-08-23 14:50:31 -- info: Powering off initiated for CentOS6.0-MEP-base_ssh_snmp, backup will not begin until VM is off...
2012-08-23 14:50:32 -- info: VM is powerdOff
2012-08-23 14:50:32 -- info: Initiate backup for CentOS6.0-MEP-base_ssh_snmp
Destination disk format: VMFS thin-provisioned
Cloning disk '/vmfs/volumes/datastore2/CentOS6Test/CentOS6Test.vmdk'...
Clone: 94% done.
2012-08-23 14:52:50 -- info: Backup Duration: 2.30 Minutes
2012-08-23 14:52:50 -- info: Successfully completed backup for CentOS6.0-MEP-base_ssh_snmp!

Datastore not found.

Datastore not found.

Datastore not found.

2012-08-23 14:52:52 -- info: ###### Final status: All VMs backed up OK! ######

2012-08-23 14:52:53 -- info: ============================== ghettoVCB LOG END ================================
</pre>

Il est bien entendu possible de rediriger vers /dev/null les messages, ceci est fortement conseillé si GhettoVCB est utilisé via une crontab.

<pre>
# ./ghettoVCB.sh -f ./vm_backup_list -g ./ghettoVCB.conf -l ./testBackup.log > /dev/null

Une fois la sauvegarde terminée, celle-ci est stocké dans un répertoire du type $VM_BACKUP_VOLUME/$NOM_VM/$NOM_VM-$(date +%Y-%m-%d_%H-%M-%S)/
Ce qui, pour la VM d'exemple ci-dessus donne quelque chose du type :

# ls -hl /vmfs/volumes/ESXBackup/CentOS6.0-MEP-base_ssh_snmp/CentOS6.0-MEP-base_ssh_snmp-2012-08-23_14-50-27/
-rw------- 1 root root 8.0G Aug 23 14:52 CentOS6Test-flat.vmdk
-rw------- 1 root root 516 Aug 23 14:52 CentOS6Test.vmdk
-rwxr-xr-x 1 root root 2.8k Aug 23 14:50 CentOS6Test.vmx
-rw-r--r-- 1 root root 30 Aug 23 14:52 STATUS.ok
</pre>

=== Restauration ===
La restauration d'une sauvegarde se fait en utilisant le script ghettoVCB-restore.sh

Ce script ne fait que restaurer les fichiers de la VM dans un nom de dossier contenant la date de la sauvegarde, si vous restaurez une VM dans un état antérieur (celle-ci n'a pas été
supprimé) il sera nécessaire de faire un renommage pour que la VM utilise les fichiers restauré. Si vous restaurer une VM supprimé corp et biens, celle-ci sera automatiquement recrée
et visible sous vSphere.

Si lors du démarrage via vSphere d'une VM restaurée de A à Z vous recevez un message vous indiquand que l'UUID provient d'une VM copié ou déplacé, indiquez que vous avez copié ladite
VM.

* Configuration
<pre>
La configuration de la restauration se fait créant un fichier de configuration pour la/les machine(s) virtuelle(s) à restaurer, ce fichier est ensuite donnée à la commande de
restauration.

Le syntaxe du fichier de configuration est la suivante :

"<DIRECTORY or .TGZ>;<DATASTORE_TO_RESTORE_TO>;<DISK_FORMAT_TO_RESTORE>"

Avec :
* DIRECTORY or .TGZ : Le répertoire contenant la sauvegarde.
* DATASTORE_TO_RESTORE_TO : Le Datastore contenant la VM à restaurer.
* DISK_FORMAT_TO_RESTORE : Nombre indiquant le format de disque-dur de la VM à restaurer. (1 : zeroedthick, 2 : 2gbsparse, 3 : thin, 4 : eagerzeroedthick)
Ajouter une ligne par VM à restaurer, en indiquand plusieurs lignes, il est possible de restaurer plusieurs VM.

Par exemple, pour restaurer la VM précédemment sauvegarder, indiquer la ligne suivante :

"/vmfs/volumes/ESXBackup/CentOS6.0-MEP-base_ssh_snmp/CentOS6.0-MEP-base_ssh_snmp-2012-08-24_08-38-21;/vmfs/volumes/datastore2;3"
</pre>

* Manuel
<pre>

SYNTAXE: ./ghettoVCB-restore.sh -c [VM_BACKUP_UP_LIST] -l [LOG_FILE] -d [DRYRUN_DEBUG_INFO]

OPTIONS:
-c Liste des machines virtuelles à sauvegarder.
-l Fichier journal.
-d Essai à blanc/Information de débogage [1|2]

Afficher les messages de sortie à l'écran (pas de fichier journal spécifié)
./ghettoVCB-restore.sh -c vms_to_restore

Mettre les messages de sortie dans /tmp/ghettoVCB-restore.log
./ghettoVCB-restore.sh -c vms_to_restore -l /tmp/ghettoVCB-restore.log

Essai à blanc/Information de débogage (Pas de restauration)
./ghettoVCB-restore.sh -c vms_to_restore -d 1
./ghettoVCB-restore.sh -c vms_to_restore -d 2

* Utilisation
<pre>
Exemple d'utilisation :

# ./ghettoVCB-restore.sh -c vm_restore_list
################## Restoring VM: CentOS6.0-MEP-base_ssh_snmp #####################
Start time: Fri Aug 24 09:10:22 UTC 2012
Restoring VM from: "/vmfs/volumes/ESXBackup/CentOS6.0-MEP-base_ssh_snmp/CentOS6.0-MEP-base_ssh_snmp-2012-08-24_08-38-21"
Restoring VM to Datastore: "/vmfs/volumes/datastore2" using Disk Format: "thin"
Creating VM directory: "/vmfs/volumes/datastore2/CentOS6.0-MEP-base_ssh_snmp-2012-08-24_08-38-21" ...
Copying "CentOS6Test.vmx" file ...
Restoring VM's VMDK(s) ...
Updating VMDK entry in "CentOS6Test.vmx" file ...
Destination disk format: VMFS thin-provisioned
Cloning disk '/vmfs/volumes/ESXBackup/CentOS6.0-MEP-base_ssh_snmp/CentOS6.0-MEP-base_ssh_snmp-2012-08-24_08-38-21/CentOS6Test.vmdk'...
Clone: 100% done.
Registering CentOS6.0-MEP-base_ssh_snmp ...
608
End time: Fri Aug 24 09:22:39 UTC 2012
################## Completed restore for CentOS6.0-MEP-base_ssh_snmp! #####################

Start time: Fri Aug 24 09:10:22 UTC 2012
End time: Fri Aug 24 09:22:39 UTC 2012
Duration : 12.28 Minutes
</pre>

=== Crontab ===
Pour la mise en place dans la crontab, voir : https://{{SERVERNAME}}/index.php/Esxi#Crontab

=== Statistiques ===
Le backup est la restauration ont un effet bien sur sur le cpu, reseau et I/O de l'esxi plus ou moins important suivant

<pre>
Test de sauvegarde :
- VM éteinte : 8 Gio en 2 minutes 30
- VM allumé (sauvegarde par cliché instantané) : 8 Gio en 2 minutes 42 (Ping vers esxi-ins à 0,8 ~ 0,9 ms pendant la sauvegarde, 0,11 ms après)

Test de restauration (Disque-dur supprimée de la VM et recrée vierge via vSphere) :
- Restauration via GhettoVCB : 8 Gio en 12 minutes 28.
- Demande un renommage/déplacement de fichier ou dossier.
- Machine fonctionnelle, disque restaurée convenablement.

Test de restauration d'une VM (VM totalement supprimée via vSphere) :
- Restauration via GhettoVCB : 8 Gio en 12 minutes 28.
- VM recrée sous vSphere automatiquement.
- Machine fonctionnelle, disque restaurée convenablement.
- Remarque de vSphere au démarrage de la VM indiquant que son UUID provient d'une VM copiée, clonée ou déplacée.
</pre>

[[Catégorie:Virtualisation]]