Comment transférer efficacement un volume important de données ?

I - Généralités

But de ce document : expliquer ce qui est utile pour réaliser efficacement des transferts de volumes importants de donnnées entre son ordinateur et
- le stockage centralisé et sécurisé de l'IJM (serveurs store* - ex-Compellent) accessible par le protocole SMB
- un espace de stockage externe accessible par les protocoles SFTP (au-dessus de SSH)
- un espace de stockage externe accessible par le protocole S3
En effet il est illusoire de vouloir bien transférer plus de 10 giga-octets par glisser/déposer à la souris :
- cela est peu efficace en termes de rapidité
- cela ne permet pas de reprendre après une interruption : on est obligé de tout recommencer
- cela ne garde pas les dates de dernière modification des fichiers et dossiers
- cela ne donne pas de preuve que tout est bien synchronisé
Or on veut réaliser ces opérations de transfert
- efficacement : le plus vite possible et en ne transférant que les différences entre la source et la destination
- tranquillement : en pouvant reprendre si le transfert a été interrompu
- proprement : en gardant les dates de dernière modification des fichiers et dossiers
- avec garantie : en obtenant une indication fiable que le transfert est complet

Depuis nos postes de travail en connexion filaire, le débit maximal théorique est de 1 giga-bits/s, soit environ 110 mega-octets/s.
Sur des fichiers de l'ordre du giga-octets, un débit effectif de plus de 50 mega-octets/s doit être atteint.
Depuis les PC à la plateforme ImagoSeine, reliés désormais via une fibre optique, on doit avoir presque le débit maximal.
Certains de ces PC sont connectés au réseau à 10 giga-bits/s. Il semble que la vitesse maximale de transfert soit aux alentours de 300 mega-octets/s.

II - Outils graphiques

Logiciel	Windows	MacOS	Linux	SMB	SFTP	S3
TeraCopy	oui	oui	non	oui	non	non
FreeFileSync	oui	oui	oui	oui	oui	non
UltraCopier	oui	oui	oui	oui	non	non
CyberDuck	oui	oui	non	non	oui	oui
WinSCP	oui	non	non	non	oui	non
FileZilla	oui	oui	oui	non	oui	non

Un serveur virtuel nommé micro2store est désormais à disposition pour faire des transferts efficaces entre
son ordinateur et le serveur store* de son équipe par FileZilla (protocole SFTP).
Les explications sont sur cette page dans la partie II - B

III - Outils en ligne de commandes plus efficaces

Pour travailler plus efficacement encore, il est nécessaire d'utiliser des logiciels en ligne de commandes

Logiciel Windows MacOS Linux SMB SFTP S3

xcopy oui non non oui non non

robocopy oui non non oui non non

rsync possible oui oui oui oui non

rclone oui oui oui oui oui oui

A - Robocopy

L'outil est natif sur Windows. Des documentations : lien1 - lien2 - lien3 - lien4

Un usage typique est robocopy w:\dir-src z:\dir-dst /s /r:1 /w:5 avec

	w: le disque source - dir-src: le dossier sur le disque source
       	z: le disque destination - dir-dst : le dossier sur le disque destination
	/s : copie les sous-répertoires non vides uniquement
	/r:1 : un seul retry - /w:5 : cinq secondes entre les deux essais

D'autres options sont disponibles et visibles par robocopy /?,
notamment /mt qui permet de faire plusieurs transferts en parallèle (à voir si cela apporte du débit)

B - Rsync

L'outil existe de base sur MacOS et s'installe facilement sur Linux. Il peut s'utiliser sur Windows via la machine virtuelle Ubuntu proposée par Microsoft.
Des documentations : lien1 - lien2 - lien3

Un usage typique est rsync -av --stats dir-src dir-dst avec

        -a : en mode archive - -v : affiche tous les fichiers transférés - --stats : affiche un bilan à la fin de l'opération
        dir-src - dossier source - dir-dst : dossier destination

D'autres options sont disponibles et visibles par rsync --help

D - Compression

Sauf en connexion en WiFi (bureau ou domicile), NE PAS utiliser les options de compression, qui ralentissent les transferts, inutiles vu la vitesse de nos réseaux et car trop gourmandes en CPU

E - Visualiser ce qui va se passer, avant de transférer - vérifier la complétude du transfert

Dans rsync et robocopy, il existe une option qui liste les opérations à faire, mais qui ne les réalise pas.
Cette option permet donc de visualiser ce qui sera fait, avant de le faire réellement.
```
        Pour robocopy, il s'agit de l'option /L
        Pour rsync, il s'agit de l'option --dry-run
```

L'usage de cette option est très conseillée. Aussi une séquence typique d'usage est la suivante

	rsync -av --stats dir-src dir-dst --dry-run     : on voit ce que cela va faire
	rsync -av --stats dir-src dir-dst               : on fait les transferts
	rsync -av --stats dir-src dir-dst               : on vérifie qu'il n'y a plus rien à faire

Il est fortement très conseillé de lancer la 3ème commande, qui sera très rapide, pour bien vérifier que le transfert est complet.

F - Mode ajout versus mode miroir strict

Dans les deux outils, il y a une option qui efface sur la destination les fichiers qui n'existent plus sur la source.
A utiliser si on veut rendre la destination strictement identique à la source (mode miroir).
```
        Pour robocopy, il s'agit de l'option /mir (équivalente à /e /purge)
        Pour rsync, il s'agit de l'option --delete
```
A ne pas utiliser si on veut simplement ajouter la source dans la destination.

G - Autres outils Linux

Il existe sous Linux des frontends avec interface graphique à rsync.
Par exemple, grsync qui se souvient de ce qu'on veut synchroniser régulièrement et des options préférées.
L'outil fpart est utile pour paralléliser l'usage de rsync. Une autre documentation sur le sujet.
Les outils LFTP et rclone sont bien réputés pour utiliser au mieux la bande passante, en parallélisant les transferts.
L'utilitaire netcat permet lui aussi d'optimiser le transfert. Documentations : lien1 - lien2
D'autres outils dédiés surtout aux centres de calcul présupposent un serveur SFTP spécifique ce qui n'est pas notre cas ou sont considérés comme obsolètes : parallel SFTP - BBFTP - BBCP