[ERLEDIGT]ispCP System Backup: HowTo

[menki]

ok conf datei ist in ordnung.

bitte checke die file permission rechte von dem lokalen verzeichniss /tmp?! sonst setze:

#chmod 777 tmp

wir haben ja in der conf angegeben das zum auslagern das /tmp verzeichniss verwendet werden soll:

# temporary file space. at least the size of the biggest file in backup
# for a successful restoration process.
TEMP_DIR=/tmp

bitte überprüfe ob du auf dem ftpserver schreibrechte hast?!

es liegt eine permission problem vor!

prüfe ob du auf dem ftpserver mit diesem user schreiben kannst/darfst. und schau ob /tmp genügend rechte hat.

MENKI

[Lintu]

Jetzt gibt es schonmal weniger Fehler. Lag daran das auf dem FTP Server nicht alle Rechte vorhanden waren.

Code:

pascalsenn:~# ftplicity privat backup
Start ftplicity v1.4.0b1, time is 11/05/08 22:00:12.
Using profile '/root/.ftplicity/privat'.
Using installed duplicity version 0.5.02 (OK).

--- Start running command PRE (22:00:13.03) ---
Skipping n/a script '/root/.ftplicity/privat/pre'.
--- Finished (22:00:13.03) ---

--- Start running command BKP (22:00:13.03) ---
Running duplicity - FAILED (code 1)
Output: NcFTP version is 3.2.0
Reading globbing filelist /root/.ftplicity/privat/exclude
Warning, found incomplete backup sets, probably left from aborted session
Last full backup date: none
No signatures found, switching to full backup.
Traceback (most recent call last):
  File "/usr/bin/duplicity", line 522, in ?
    with_tempdir(main)
  File "/usr/bin/duplicity", line 516, in with_tempdir
    fn()
  File "/usr/bin/duplicity", line 507, in main
    full_backup(col_stats)
  File "/usr/bin/duplicity", line 209, in full_backup
    bytes_written = write_multivol("full", tarblock_iter, globals.backend)
  File "/usr/bin/duplicity", line 131, in write_multivol
    globals.gpg_profile, globals.volsize)
  File "/usr/lib/python2.4/site-packages/duplicity/gpg.py", line 231, in GPGWriteFile
    data = block_iter.next(bytes_to_go).data
  File "/usr/lib/python2.4/site-packages/duplicity/diffdir.py", line 456, in next
    result = self.process(self.input_iter.next(), size)
  File "/usr/lib/python2.4/site-packages/duplicity/diffdir.py", line 542, in process
    data, last_block = self.get_data_block(fp, size - 512)
  File "/usr/lib/python2.4/site-packages/duplicity/diffdir.py", line 567, in get_data_block
    buf = fp.read(read_size)
  File "/usr/lib/python2.4/site-packages/duplicity/diffdir.py", line 381, in read
    buf = self.infile.read(length)
IOError: [Errno 3] No such process
--- Finished (22:00:30.50) ---

--- Start running command POST (22:00:30.51) ---
Running '/root/.ftplicity/privat/post' - OK
--- Finished (22:00:30.51) ---

[menki]

Warning, found incomplete backup sets, probably left from aborted session

bitte benenne das verzeichniss auf dem ftpserver um oder lösche es komplett. es wurden ja nicht-komplette backupsets in dem verzeichniss gefunden. :-)

öffne die conf datei (aus dem privat verzeichniss) und entferne das # vor dem #VOLSIZE=50 dadurch werden alle files in 50MB blöcken gespeichert. (bei standard 5MB und z.b. 10 GB (in gutem fall)sicherungsvolumen sind das sehr, sehr viele unnötige 5Mb files)

wenn du alles also / sichern willst dann musst du auch die exclude directiven angeben in der exculde datei. hast du wirklich alle angegeben die in der howto definiert sind?

erstelle deinen GPG key NEU! in der howto steht wie man es machen muss. dann anschliessend in der conf anpassen.

bitte entferne alle von duplicity erstellten temporary verzeichnisse aus /tmp damit duplicity als software neue anlegen kann.

grüße

MENKI

[menki]

die neue version von duplicity ist da.

Code:

the current release is 0.5.10, released March 1, 2009.

bitte unbedingt updaten damit die software noch effektiver arbeiten kann. hier die direkten download links:

Tarball: duplicity-0.5.10.tar.gz
i386 RPM: duplicity-0.5.10-0.fdr.6.i386.rpm
Source RPM: duplicity-0.5.10-0.fdr.6.src.rpm

MENKI

[BeNe]

Ist das HowTo eigentlich schon im Wiki ?
Habe es am Wochende mal durch gemacht und paar sachen musste ich umschreiben. Der Aufruf war

Code:

# ftplicity profil backup bzw. create

und nicht anders rum wie beschrieben.
Die Pakte GnuPGInterface, Boto und pexpect lassen sich ja genau so mit apt-get installieren. Könnte man also ein einzeiler draus machen.

Macht es denn überhaupt Sinn die Sicherung der Sicherung zu machen ?
Ich meine damit die Backups des Kunden unter

Code:

/var/www/virtual/domain.tld/backups/

nochmal zu sichern ? Sind bei mir teilweise bis zu 3GB groß und doppelt brauche ich die nicht -> excluden aller Backup Verzeichnisse unter /var/www/virtual wäre da ein gute idee oder ?

Wie benutzt das System das Temp Verzeichniss ?
Wird hier 1:1 der schon belegte Speicherplatz nochmals nötig als Zwischenspeicher ? Sprich 500GB Platte / 300GB belegt noch 200GB Frei.
Dann würde mich ja kein Backup mehr gelingen weil nur noch 200GB Frei sind aber 300GB für TEMP benötigt werden.
Kann da einer was zu sagen ?

Greez BeNe

[Knut]

Ich habe einfach das ispCP-eigene Backup abgeschaltet. Es frißt ja auch nur Platz des Kunden weg

Kann man ein Wiki-Beitrag erstellen und diese erst später "freigeben" ? In meinem persönlichen Wiki habe ich ein entsprechendes Howto zu ftplicity und könnte dies sofort eintragen. Nur sollte noch jemand gegenprüfen und ggfl. etwas erweitern.

Gruß Knut

[xister]

(03-09-2009 07:55 PM)Knut Wrote:  Ich habe einfach das ispCP-eigene Backup abgeschaltet. Es frißt ja auch nur Platz des Kunden weg

Das ist eigentlich ohnehin ein Unding, dass das Backup mit in den Kundenspace gerechnet wird

[tango]

das meine ich aber auch, was können die Kunden dafür das der Admin Backup's macht ??

[Knut]

(03-09-2009 08:57 PM)tango Wrote:  das meine ich aber auch, was können die Kunden dafür das der Admin Backup's macht ??

Es gibt dem Kunden aber auch die Möglichkeit selbst den Stand vom Vortag zurück zu spielen. Das muss man für sich selbst halt entscheiden. Ich brauche es nicht und gebe die Verwantwortung zum Kunden. Dieser ist immer selbst für eine Datensicherung verantwortlich.

Ich sichere natürlich meine Server, will aber auch nicht wegen jedem Mist angerufen werden um eine einzelne Datei zurückzuspielen. Kostet nur Zeit und Geld.

@Bene: ftplicity sicherheit meines Wissens häppchenweise. Es werden also jeweils Päckchen (bei mir 25MB) zusammengepackt und verschlüsselt, anschliessend auf den FTP gesichert. Danach das nächste Päckchen. Das /tmp-Verzeichnis sollte meiner Meinung nach dadurch nicht "gestresst"werden.

---

Hier mal ein erster Entwurf im Wiki : http://www.isp-control.net/documentation..._ftplicity

[menki]

es ist nicht in der wiki...noch nicht

ich sehe nirgends das ich diese befehle vertauscht habe. im ersten howto post ist es korrekt dargestellt. wo hast du diesen fehler gefunden?

die backup verzeichnisse kann man excluden! man muss jedoch dazu von jedem kunden das verzeichniss in der exclude datei eintragen. wäre möglich ja. der vorteil ist man kann welche trotzdem sichern und dann welche wieder nicht...man könnte sowas mit dem kunden vereinbaren.

sicherich kann man GnuPGInterface, Boto und pexpect per apt-get installen aber diese packete würden dannn versionsmässig nicht zu der installierten duplicity software passen. meistens bekommt man ja über apt-get veraltete software installiert. mann sollte da versionen vergleichen und nur die neusten packete installieren.

also wie ich bemerkt habe wird beim packen der zu sichernden files alles ins /tmp geschrieben und dann hochgeladen und dann wieder gelöscht. es hängt ja auch von der grösse der eingestellten blöcke ab. bei mir in der config ist 100MB als datenblock eingestellt. dadurch muss auch im /tmp soviel speicherplatz vorhanden sein.

MENKI