Current time: 11-24-2024, 05:42 PM Hello There, Guest! (LoginRegister)


Thread Closed 
Rsync-Backup
Author Message
menki Offline
Member
***

Posts: 643
Joined: May 2008
Reputation: 0
Post: #1
Rsync-Backup
ich habe bereits per duplicity/ftplicity eine sehr gute backup lösung realisiert. ich habe aber auch festgestellt das duplicity sehr ressourcen hungrig ist, und bei sehr grossen datenmengen es zu problemen kommen kann. duplicity/ftplicity will meistens mehr als 2-3 verbindungen zu ftp server aufbauen. dieses lassen aber die meisten provider ftp´s nicht zu. Smile
bei ovh sind beispielsweise 2 verbindungen per IP möglich. das ist bei sehr grossen datenmengen eventuell für duplicity ein problem. wenn duplicity versucht eine dritte verbindung aufzubauen dann bleibt diese hängen. ich möchte aber auch per filesystem auf die gesicherten files zugreifen und die lokalen linux befehle auf dem ftp direkt ausführen können. der isp gibt uns ja nur beschränkte modifizierungsrechte auf dem ftp und dieses kann bei pureftpd zu problemen führen. mann kann dann beispielsweise keine versteckten files aus dem verzeichniss löschen.

ich habe mir rsync angeschaut und eine methode gefunden den ftp als lokales verzeichniss zu mounten. dadurch kann ich dann per rsync die sicherung in das gemountete verzeichnis kopieren (eigentlich meinen isp backup ftpserver). dadurch habe ich meine sicherung direkt im filesystem des servers gemountet, und kann auf die backups direkt zugreifen und auch die debian befehle voll anwenden.

rsync kann ja sehr viel und eine inkrementelle sicherung bei rsync dauert ein paar minuten.
rsync ist ein sehr schnelles tool, was sehr stabil läuft. ich werde in diesem howto beschreiben wie man rsync mit einem ftp-server koppelt und eine kopie des gesamten servers auf dem FTP ablegen kann. wenn ein file in verwendung sein sollte dann wird dieses einfach im nächsten durchlauf gesichert. rsync verwendet das ssh protokoll zum sichern der backup daten. da ftp das ftp protkoll verwendet müssen wir mit der curftps software dieses anpassen. hier die beschreibung:

installation des curlftps software packets
# apt-get install curlftps
mounten des ftp server per curlftps. dadurch wird der ftp server immer als verzeichniss /mnt/ftp am server aufgelistet. die anmeldung übernimmt dann curlftps automatisch sobald wir uns in das verzechniss hinenbewegt haben. Smile

so mounten wir ein ftp verzeichniss per shell:
# curlftpfs benutzer:passwort@ftp.meinbackup.de /mnt/ftp/

installation des rsync packets
#apt-get install rsync

nachdem rsync installiert worden ist sollte man sich über rsync befehle gedanken machen. rsync kann auch rechte/gruppen/rekursiv/archivmässig angewendet werden. das ftp protokoll versteht nichts von chown/chgrp/chmod! dadurch können wir beim sichern die rechte der files nicht mitnehmen. wenn ein file oder ein verzeichniss aus dem backup benötigt werden sollte dann kann man das ganz leicht von /mnt/ftp rauskopieren und in den ursprungspunkt reinkopieren. dann mit #chown die rechte REKURSIV auf das verzeichniss anpassen und das rücksichern ist fertig. Smile

mit diesem rsync befehl machen wir eine komplette SPIEGELUNG des /var/www/virtual folders. die erste sicherung wird ein full backup alle nachfolgeden backups werden inkrementell. Smile

#rsync -rv --delete /var/www/virtuell /mnt/ftp

anschliessend setzen wir einen cronjob der alle 59 minuten einen abgleich der daten auf dem ftp durchführt. Big Grin

#Rsync FTP-BACKUP
*/59 * * * * /usr/bin/rsync -rv --delete /var/www/virtual /mnt/ftp

über einen feedback würde ich mich freuen. Smile

MENKI
(This post was last modified: 01-19-2009 09:14 PM by menki.)
01-19-2009 09:10 PM
Find all posts by this user
Knut Offline
Member
***

Posts: 736
Joined: Nov 2006
Reputation: 10
Post: #2
RE: Rsync-Backup
OK, auch eine Variante.

Nachteil gegenüber ftplicity:

* Keine Verschlüsselung der Daten
* Du überträgst zwar inkrementell, aber Du hast nur einen Stand der Datei. Zwei Unterschiedliche Versionen einer Datei werden nicht vorgehalten.

Gruß Knut
01-19-2009 09:19 PM
Find all posts by this user
menki Offline
Member
***

Posts: 643
Joined: May 2008
Reputation: 0
Post: #3
RE: Rsync-Backup
das stimmt so nicht....

man muss beachten das man mit rsync 2 tage zurück kann. ispcp macht ja backups und legt die tar files in die backups ordner. diese files werden ja mit rsync gespiegelt samt den aktuellen files. also könnte man 2 tage zurück und nicht 1 tag. Smile wenn der rsync backup um 15:00 uhr nachmittags rennt dann hat man ispcp backups von mitternacht und die backups von 15:00 uhr. Smile

beide systeme haben vorteile und nachteile. Smile beide sind sehr mächtig....für sehr viele dateien würde ich rsync empfehlen. für backups bis 50gb duplicity.

die rsync lösung verbraucht viel weniger ressourcen, wobei duplicity im umfang mehr bietet. Smile jeder wird das passende für sich finden....Smile

MENKI
(This post was last modified: 01-20-2009 01:19 AM by menki.)
01-20-2009 01:00 AM
Find all posts by this user
Knut Offline
Member
***

Posts: 736
Joined: Nov 2006
Reputation: 10
Post: #4
RE: Rsync-Backup
OK. Dann hätte ich es wohl ausführlicher spezifizieren müssen.

Beispiel: Kunde ändert eine Datei. Er arbeitet an seinem Projekt 3 Tage weiter und macht wieder entsprechende Änderungen. Nach einem weiteren Tag fällt ihm auf das er Bockmist gebaut hat.
Wie bekommst Du nun den Stand vor 4 Tagen ? Mit ftplicity kein Problem (je nach vorhaltezeit der Backups)

Der Vorteil der Dateiverschlüsselung: Man kann z.B. bei servage.net für wenig Geld viel Backupspeicher mieten. (Ich habe dort 580 GB HD und rund 5 TB Traffic frei). Unverschlüsselt würde ich keine eigene oder Kundendaten speichern wollen.

Zu Deinem letzten Satz stimme ich aber durchaus zu :-)
(Auch ftplicity habt Nachteile)
01-20-2009 01:14 AM
Find all posts by this user
rbtux Offline
Moderator
*****
Moderators

Posts: 1,847
Joined: Feb 2007
Reputation: 33
Post: #5
RE: Rsync-Backup
@menki

ich hab eine ähnliche variante im einsatz. Nur rotiere ich die Backups mit cp -L (hardlinks). Somit kann ich eine Woche zurück (natürlich auch mehr, je nach konfiguration) und es braucht nicht viel mehr speicher...
01-20-2009 01:27 AM
Visit this user's website Find all posts by this user
menki Offline
Member
***

Posts: 643
Joined: May 2008
Reputation: 0
Post: #6
RE: Rsync-Backup
ich persönlich bin der meinung das die fehler meistens kurz davor/unmittelbar passieren. einen fehler mehrere tage mitzuschleppen und so spät davon zu erfahren, passiert wirklich selten.
persönlich bin ich mit 2 tage backup archivierung sehr zufrieden. Smile

mit der rsync lösung peile ich den eigenen provider der den server oder die server hostet. zu diesem besteht doch ein höheres vertrauen wie bei einem fremden dienstleister. heutzutage hat schon jeder zum root server einen ftp space dabei der vom eigenen isp gestellt wird.

sicherlich ist verschlüsselung gut aber auch aufwendig/serverlastig.
packen/verschlüsseln/uploaden/aufteilen

ich schätze beide lösungen....

ps: jetzt erst den post rbtux gelesen: ja sicher es gibt viele möglichkeiten die implementiert werden können. wenn rsync über das tatsächliche SSH verwendet wird ist alles perfekt. da muss dann aber auch ein ROOT herhalten der wieder geld kostet. Smile

MENKI
(This post was last modified: 01-20-2009 01:36 AM by menki.)
01-20-2009 01:31 AM
Find all posts by this user
rbtux Offline
Moderator
*****
Moderators

Posts: 1,847
Joined: Feb 2007
Reputation: 33
Post: #7
RE: Rsync-Backup
(01-20-2009 01:31 AM)menki Wrote:  ... da muss dann aber auch ein ROOT herhalten der wieder geld kostet. Smile ...

es sei denn man hat noch etwas platz im rack ;-) SCNR
01-20-2009 01:43 AM
Visit this user's website Find all posts by this user
Flaggi Offline
Junior Member
*

Posts: 38
Joined: May 2008
Reputation: 1
Post: #8
RE: Rsync-Backup
(01-19-2009 09:10 PM)menki Wrote:  ich habe bereits per duplicity/ftplicity eine sehr gute backup lösung MENKI

Wie sieht es bei OVH aus ? gehts da ... wenn ich mich recht erinner bist du ja auch bei denen mit dein Server(n) ? ^^

Wenn es da so gehen würde wäre es net schlecht .. so spart man Platz auf den Platten ^^
01-20-2009 01:46 AM
Find all posts by this user
menki Offline
Member
***

Posts: 643
Joined: May 2008
Reputation: 0
Post: #9
RE: Rsync-Backup
ja sicher....warum sollte es dort nicht gehen. Smile

die server müssen ja nur ftp protokoll unterstützen und das können die meisten server heutzutage. Smile
bei ovh hat man immer eine festplattengrösse an ftp kapazität zum root dazu. das ist sehr gut...Smile
duplicity/ftplicity ist perfekt....wobei ich schwierigkeiten hatte diese enorme datenmenge auf dem ftp zu speichern. ich vermute das lag auch an den ovh ftp servern. die sind in der nacht ziemlich in verwendung und da ist die transferate etwas im keller.... Smile

MENKI
01-20-2009 06:11 AM
Find all posts by this user
Flaggi Offline
Junior Member
*

Posts: 38
Joined: May 2008
Reputation: 1
Post: #10
RE: Rsync-Backup
(01-20-2009 06:11 AM)menki Wrote:  ja sicher....warum sollte es dort nicht gehen. Smile

die server müssen ja nur ftp protokoll unterstützen und das können die meisten server heutzutage. Smile
bei ovh hat man immer eine festplattengrösse an ftp kapazität zum root dazu. das ist sehr gut...Smile
duplicity/ftplicity ist perfekt....wobei ich schwierigkeiten hatte diese enorme datenmenge auf dem ftp zu speichern. ich vermute das lag auch an den ovh ftp servern. die sind in der nacht ziemlich in verwendung und da ist die transferate etwas im keller.... Smile

MENKI


hehe ... werd ich dann gleich mal umsetzen ^^ .. ich hab mir angewöhnt die backups vormittags zu machen ... Wink da ist am wenigsten aufm server los Wink
01-20-2009 07:38 AM
Find all posts by this user
Thread Closed 


Forum Jump:


User(s) browsing this thread: 1 Guest(s)