Copie de nombreux fichiers - Historique des versions

127.0.0.1 le 11 mai 2017 à 12:41

2017-05-11T12:41:17Z

← Version précédente		Version du 11 mai 2017 à 12:41
Ligne 7 :		Ligne 7 :
	DEST=/opt/mnt/isilon-nl400/squareclock_data/CM/Iterations		DEST=/opt/mnt/isilon-nl400/squareclock_data/CM/Iterations

			cd /opt/mnt/isilon/squareclock_data/CM/Iterations

	## un > fichiet ne sert à rien, ca ne met rien dedans. Cette commande va mettre en mémoire la liste de tous les fichiers. La commande est à lancer dans le répertoire Source ##		## Avant de lancer le names=(*) il faut etre dans le répertoire source > fichiet ne sert à rien, ca ne met rien dedans. Cette commande va mettre en mémoire la liste de tous les fichiers. La commande est à lancer dans le répertoire Source ##
	names=(*)		names=(*)

127.0.0.1 le 28 avril 2017 à 10:41

2017-04-28T10:41:32Z

← Version précédente		Version du 28 avril 2017 à 10:41
Ligne 18 :		Ligne 18 :
	## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##		## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##
	a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done		a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done
	~~</pre>~~

	## le systeme affiche le numero du fichier en cours de traitement (variable a) et copie le fichier si il n’existe pas sur la destination : Donc ne marche que si il n’y a pas de modification de fichier,		## le systeme affiche le numero du fichier en cours de traitement (variable a) et copie le fichier si il n’existe pas sur la destination : Donc ne marche que si il n’y a pas de modification de fichier,
	## uniquement des creations.		## uniquement des creations.
			</pre>


	[[Catégorie:Script]]		[[Catégorie:Script]]

127.0.0.1 le 28 avril 2017 à 10:41

2017-04-28T10:41:24Z

← Version précédente		Version du 28 avril 2017 à 10:41
Ligne 1 :		Ligne 1 :
	Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp		Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp. Pour info le liste de 13 millions de fichiers utilisait un peu plus de 2Go de ramn, il faut donc
			s'assurer qu on a assez de ram sur le serveur pour ne pas le crasher.
	<pre>		<pre>

Ligne 9 :		Ligne 10 :
	## un > fichiet ne sert à rien, ca ne met rien dedans. Cette commande va mettre en mémoire la liste de tous les fichiers. La commande est à lancer dans le répertoire Source ##		## un > fichiet ne sert à rien, ca ne met rien dedans. Cette commande va mettre en mémoire la liste de tous les fichiers. La commande est à lancer dans le répertoire Source ##
	names=(*)		names=(*)

			## Commande pas obligatoire mais qui permet d affichier les fichiers, voir de les mettre dans un fichier
			for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do echo "${names[ix]}";done
			for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do echo "${names[ix]}" >> /listfichier;done


	## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##		## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##
	a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done		a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done
	</pre>		</pre>

			## le systeme affiche le numero du fichier en cours de traitement (variable a) et copie le fichier si il n’existe pas sur la destination : Donc ne marche que si il n’y a pas de modification de fichier,
			## uniquement des creations.


	[[Catégorie:Script]]		[[Catégorie:Script]]

127.0.0.1 le 28 avril 2017 à 10:36

2017-04-28T10:36:33Z

← Version précédente		Version du 28 avril 2017 à 10:36
Ligne 1 :		Ligne 1 :
	Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp		Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp
			<pre>

	##### SQUARECLOCK		##### SQUARECLOCK
Ligne 12 :		Ligne 12 :
	## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##		## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##
	a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done		a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done
			</pre>


	[[Catégorie:Script]]		[[Catégorie:Script]]

127.0.0.1 : Page créée avec « Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp ##### SQUARECLOCK SRC=/opt/mnt/isilon/squareclock_data/CM/It... »

2017-04-28T10:36:10Z

Page créée avec « Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp ##### SQUARECLOCK SRC=/opt/mnt/isilon/squareclock_data/CM/It... »

Nouvelle page

Ce script est à utiliser dans le cas de copie de millions de fichiers, qui ne passent pas via rsync ou cp

##### SQUARECLOCK
SRC=/opt/mnt/isilon/squareclock_data/CM/Iterations
DEST=/opt/mnt/isilon-nl400/squareclock_data/CM/Iterations

## un > fichiet ne sert à rien, ca ne met rien dedans. Cette commande va mettre en mémoire la liste de tous les fichiers. La commande est à lancer dans le répertoire Source ##
names=(*)

## la commande si dessous va lancer la copie, et nous retournera le temps que cela a mis ##
a=0;time for (( ix=0, cnt=${#names[@]} ; ix<$cnt; ix++ )) ; do a=$(($a+1));if [ ! -f $DEST/${names[ix]} ]; then cp -rf $SRC/${names[ix]} $DEST;echo "+${names[ix]}";else echo -n -e "$a\r";fi; done

[[Catégorie:Script]]