Tips en Trucs 2011

Een back-up up to date houden met een rsync script

De meeste gebruikers waarderen een back-up pas als ze eens waardevolle gegevens per ongeluk kwijtspelen. Na zo'n ramp gaat men op zoek naar back-upsoftware. Deze software moet je daarna nog leren gebruiken, gewoon worden en op regelmatige basis gebruiken zodat de back-up steeds up to date blijft. De meeste back-up software is gebaseerd op het standaard hulpmiddel rsync. Een backup maken kun je dus met het standaard hulpmiddel rsync evengoed zelf maken.

De voor- en nadelen van een rsync back-up

Een voordeel van een rsync back-up is dat de bestanden en mappen rechtstreeks toegankelijk zijn. M.a.w. je hebt geen speciaal programma nodig om de bestanden en mappen te openen, te kopiëren, enz. Een tweede voordeel is dat de back-up steeds een exacte kopie bevat van al uw bestanden en mappen.

De nadelen volgen uit de voordelen. Daar de bestanden en mappen rechtstreeks toegankelijk zijn, wordt geen compressie toegepast en neemt de back-up even veel plaats in als de originele mappen en bestanden. Je kunt natuurlijk gebruik maken van extra software (lessfs) of moderne bestandssystemen met compressie (btrfs). Daar de back-up steeds een kopie is van het origineel kun je niet terugkeren in de tijd (van voor de laatste back-up).

Een script zorgt ervoor dat het geheel gebruiksvriendelijk wordt.

#!/bin/bash
setterm -blank 0 # Schakel de schermbeveiliging uit
backupip=l092pc02 # Je kunt hier ook IP adressen gebruiken (voorbeeld: 192.168.1.2)
printf '\033[0m'; clear # Kleuren standaard
echo "Uitvoeren RSync backup:"
printf '=======================\n'

rsync $backupip::
if [ $? -ne 0 ]; then
	printf '\033[1;31;40m Kon geen verbinding met backupserver opbouwen.\033[0m\n' # Rode letters
	printf '\033[1;32;40m Druk Return om door te gaan.' # Groene letters op zwarte achtergrond
	read Keypress
else
	rm /tmp/rsync.log /tmp/rsync.error # verwijder het logboek en de foutmeldingen van de vorige backup
# argument z toegevoegen om de bandbreedte te beperken
# het argument --bwlimit kan ook gebruikt worden
	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" /var/backup/ $backupip::backup/hpe530be/backup 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" /usr/home/Documents/ $backupip::backup2/hpe530be/documenten 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" --exclude="/usr/home/Documents/" --exclude="/var/backup/" --exclude="/windows/C/" --exclude="/home/dany/vmware/" / $backupip::backup/hpe530be/linux 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
	rsync -avHxh --numeric-ids --progress --delete --exclude="\$RECYCLE.BIN/" --exclude="System Volume Information/" --exclude="hiberfil.sys" --exclude="pagefile.sys" /windows/C/ $backupip::ntfs/hpe530be/windows 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
	rsync /tmp/rsync.log $backupip::backup/hpe530be
	rsync /tmp/rsync.error $backupip::backup/hpe530be

# NFS Backup
# 	mkdir -p /media/nfs/backup /media/nfs/backup2 /media/nfs/ntfs
# 	mount $backupip:/media/backup /media/nfs/backup
# 	mount $backupip:/media/backup2 /media/nfs/backup2
# 	mount $backupip:/windows/C/Backup /media/nfs/ntfs
# 	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" /var/backup/ /media/nfs/backup/hpe530be/backup 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
# 	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" /usr/home/Documents/ /media/nfs/backup2/hpe530be/documenten 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
# 	rsync -avHxh --numeric-ids --progress --delete --exclude="lost+found/" --exclude="/home/dany/vmware/" / /media/nfs/backup/hpe530be/linux 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
# 	rsync -avHxh --numeric-ids --progress --delete --exclude="\$RECYCLE.BIN/" --exclude="System Volume Information/" --exclude="hiberfil.sys" --exclude="pagefile.sys" /windows/C/ /media/nfs/ntfs/hpe530be/windows 2>>/tmp/rsync.error | tee -a /tmp/rsync.log
#	rsync /tmp/rsync.log /media/nfs/backup/hpe530be
#	rsync /tmp/rsync.error /media/nfs/backup/hpe530be

#	touch /tmp/stop
#	rsync /tmp/stop $backupip::backup
	printf '\033[1;32;40mDe backupcomputer wordt binnen de minuut afgesloten.\033[0m\n' # Groene letters op zwarte achtergrond
	printf '\033[1;31;40mRsyncbackup gaf de volgende foutmeldingen:\033[0m\n' # Rode letters
	more /tmp/rsync.error # toont de tijdens de backup opgetreden foutmeldingen
	printf '\033[1;32;40mDe backup is voltooid.\033[0m\n' # Groene letters op zwarte achtergrond
	sleep 60 # doe 1 minuut niets, systeem komt tot rust
#	ssh $backupip "/sbin/halt" # na het tot rust komen van de backupserver, kun je deze automatisch afsluiten
fi

Opmerkingen

• De commentaar in het bovenstaande script geeft wat uitleg over wat er precies moet gebeuren.
• Dit script toont alle uitvoer in een terminal(-venster).
• De opdracht setterm schakelt de schembeveiliging van de terminal uit, zodat je steeds het verloop van de back-up kunt volgen. Opgelet indien dit script in een terminalvenster in een grafische omgeving loopt, zal de grafische schermbeveiliging nog steeds actief zijn. Dit is meestal geen probleem, want ik gebruik dit script terwijl ik op de computer werk. Jawel rsync kan een Linux systeem dat gebruikt wordt, synchroniseren met een back-up.
• De variabele (plaatshouder) backupip bevat de naam of het IP adres van een computer in het netwerk waarop de back-up moet worden opgeslagen. Wie een NAS met rsync ondersteuning heeft, kan deze NAS gebruiken. In het met commentaartekens (#) uitgeschakelde NFS Backup gedeelde, staat hoe je de back-up naar een computer of NAS met NFS gedeelde mappen kunt sturen. Daarbij worden de mount opdrachten gebruikt om de NFS mappen in het bestandsysteem op te nemen. Op een gelijkaardige manier kun je de back-up naar een computer of NAS met Windows Gedeelde mappen (SAMBA) sturen. Op een gelijkaardige manier kun je de de back-up naar een USB harde schijf sturen.
• Met de opdracht rsync $backupip:: wordt de bereikbaarheid de back-up computer (of NAS) met een rsync server gecontroleerd. Een rsync server kun je op een Linux (openSUSE 11.4) systeem als volgt installeren en configureren:
  • Het pakket rsync moet geïnstalleerd zijn (standaard in openSUSE 11.4).
  • Pas met een editor het configuratie bestand van de rsync server aan (bijvoorbeeld met de opdracht sudo joe /etc/rsyncd.conf). Ik gebruik de volgende configuratie:

    pid file = /var/run/rsyncd.pid
    #hosts allow = trusted.hosts
    hosts allow = 192.168.92.0/24
    slp refresh = 300
    use slp = false
    
    #[Example]
    #	path = /home/Example
    #	comment = An Example
    #	auth users = user
    #	secrets file = /etc/rsyncd.secrets
    
    [backup]
    	path = /media/backup
    	comment = Backup
    	read only = false
    [backup2]
    	path = /media/backup2
    	comment = Backup 2
    	read only = false
    [ntfs]  
            path = /windows/C/Backup
            comment = Backup NTFS
            read only = false
    

    Daarbij heb ik de instelling hosts allow aangepast zodat enkel computers met een IP adres in het bereik 192.168.92.0 tot en met 192.168.92.255 de rsync server kunnen gebruiken. M.a.w. in de praktijk enkel vanuit het lokale netwerk en niet vanaf het internet. De secties [backup], [backup2] en [ntfs] zorgen ervoor dat de voor de back-up gemounte partities door de rsync server beschikbaar worden gesteld. De ntfs partitie werd met het bestandssysteem NTFS gepartitioneerd, de andere partities met ext4. Aangezien rsync alle rechten en eigenschappen van de bestanden en mappen in de back-up overneemt, gebruik ik voor zowel de bron als het doel van de back-up steeds hetzelfde bestandssysteem. M.a.w. als je een back-up wilt maken van een ext4 partitie, plaats je de back-up op een ext4 partitie. De back-ups moeten vanzelfsprekend beschrijfbaar zijn (read only = false).
  • Met de opdracht sudo /sbin/chkconfig --set rsyncd on zorg je ervoor dat de rsync server bij het opstarten van de computer automatisch wordt opgestart. Met de opdracht sudo /etc/rsyncd start kun je de rsync server testen zonder de computer de herstarten.
  • Met de opdracht sudo /sbin/yast2 firewall services add service=service:rsync-server zone=EXT open je de firewall voor de rsync server.
• De rsync opdrachten zorgen voor het maken van de back-up.
  • De a optie zorgt dat rsync in de back-up mode werkt (recursief, symlinks behouden, rechten behouden, tijden behouden, groep behouden, eigenaar behouden, apparaat- en speciale bestanden behouden, hard links niet behouden, ACL-rechten niet behouden, uitgebreide rechten niet behouden).
  • De v optie zorgt ervoor dat rsync op het scherm toont waarmee het bezig is.
  • De H optie schakelt het behoud van hard links terug in.
  • De X optie zorgt ervoor dat rsync een partitie nooit verlaat. M.a.w. mappen die gekoppelde partities bevatten worden niet in de back-up opgenomen.
  • De optie h zorgt ervoor dat rsync de informatie op het scherm in menselijke taal toont.
  • de optie --numeric-ids zorgt ervoor dat geen groeps- en gebruikersnamen maar id (getallen) gebruikt worden. Dit zorgt ervoor dat bestanden en mappen ook op andere systemen met gelijkaardige gebruikers terugezet kunnen worden.
  • De optie --progress zorgt voor een visuele voortgang bij het kopiëren van de bestanden. Bij het kopiëren van zeer grote bestanden (neemt wat tijd in beslag) heb je dan niet de neiging te denken dat rsync is vast gelopen.
  • De optie --delete zorgt dat bestanden die door de gebruiker verwijderd werden ook in de back-up verwijderd worden.
  • De optie --exclude zorgt dat rsync bepaalde mappen en/of bestanden uitsluit zodat deze niet in de back-up worden opgenomen. Systeemmappen zoals partitiefouten, prullenbakken, swapbestanden, enz. komen daarvoor in aanmerking.
  • Op het einde zorgt het gedeelde 2>>/tmp/rsync.error dat de opgetreden fouten in het bestand /tmp/rsync.error worden opgeslagen.
  • Met het gedeelte | tee -a /tmp/rsync.log wordt alles wat rsync op het scherm toont en geen foutmelding is in het bestand /tmp/rsync.log opgeslagen.
• De ssh opdracht op het einde (in het voorbeeld uigeschakeld) heeft als doel de computer waarop de back-ups staat automatisch af te sluiten. Daarvoor voer je op de computer waarop de back-ups terecht komen de volgende opdrachten uit:
  • Met de opdracht sudo /sbin/chkconfig --set sshd on zorg je ervoor dat de ssh server bij het opstarten van de computer automatisch wordt opgestart. Met de opdracht sudo /etc/sshd start kun je de ssh server testen zonder de computer de herstarten.
  • Met de opdracht sudo /sbin/yast2 firewall services add service=service:sshd zone=EXT open je de firewall voor de ssh server.
  Op de computer waarvan een backup wordt gemaakt, voer je de volgende opdrachten uit:
  • Wordt systeembeheerder met de opdracht su
  • Maak sleutels aan met de opdracht ssh-keygen -b 521 -t ecdsa
  • Kopieer de publieke sleutel naar de ssh server met de opdracht ssh-copy-id -i ~/.ssh/id_ecdsa.pub 192.168.92.2
  • Verlaat de systeembeheer mode met de opdracht exit
• Werk het geheel af door in de Bureaubladmap een Koppeling naar programma... aan te maken met de volgende Eigenschappen:
  • Geef op het tabblad Algemeen een passende naam (Rsync Backup). En later een passend pictogram (yast-backup).
  • Op het tabblad Toepassing gebruik je als Commando het script (Bladeren... kan natuurlijk ook).
  • Op het tabblad Toepassing gebruik je de knop Geavanceerde opties om de opties In een terminal uitvoeren en Niet sluiten als het commando wordt beëindigd te activeren. De laatste optie zorgt dat je de eventuele foutmeldingen na het beëindigen van de back-up kunt lezen.
  • Schakel de optie Uitvoeren als een andere gebruiker in en typ als Gebruikersnaam root. Het rsync back-up script wordt dan als systeembeheerder gestart, waardoor het script toegang krijgt tot alle bestanden en mappen van alle gebruikers en het systeem.
• Het maken van een rsync back-up over het netwerk is een zware belasting voor het netwerk. rsync kan de netwerkbelasting verminderen door de bestanden bij het verzenden te comprimeren en de te gebruiken bandbreedte te beperken. Bij zo'n zware netwerkbelasting kan het gebeuren dat fouten die anders nooit voorkomen zich manifesteren. Een voorbeeld: computers met Realtec ethernet adapters lopen bij een zware netwerkbelasting compleet vast. Dit gedrag is te wijten aan de open souce drivers. Installeer de closed source drivers van de firma Realtec (Realtec driver RTL8111/RTL8168) en de problemen verdwijnen. M.a.w. zorg dat het systeem op en top functioneert, ook al moet je daar de stuurprogramma's van de firma voor installeren. Als je 3D spelletjes wilt spelen, moet je ook de drivers van NVIDIA of AMD installeren.