[ERLEDIGT] Apache K-O. :PANIC: fatal region error detected; run recovery

[rethus]

Seit gestern hab ich ein sonderbares Problem, welches ich momentan nicht weiter eingrenzen kann.
Der Server ist total ausgelastet und die Festplatte ist randvoll.

Mit viel Mühe bin ich dann auf den Rechner gekommen und habe festgestellt, dass meine default-error.log von apache die ganze Festplatte dicht macht.
Ein Blick in die letzten 200 Zeilen dieser Datei geben immer das gleiche aus:

Quote:PANIC: fatal region error detected; run recovery

leider steht nicht davor, wo genau der Fehler zu suchen ist. Eine suche im Internet hat mich leider auch nicht weiter gebracht.
Hat jmenad ne Ahnung, wo man da ansetzen kann um das Problem stück für stück einzugrenzen?

---

Es scheint ein Hackerangriff zu sein, welcher scheinbar eine ISPCP-Schwachstelle ausnutzt.

Ich habe die Apache-Logs auf "debug" gesetzt, und folgenden Eintrag erhalten:

Quote:[Sun Feb 06 08:36:11 2011] [debug] mod_deflate.c(615): [client 95.108.245.253] Zlib: Compressed 272 to 214 : URL /index.php
[Sun Feb 06 08:36:46 2011] [debug] proxy_util.c(1800): proxy: grabbed scoreboard slot 0 in child 6381 for worker proxy:reverse
[Sun Feb 06 08:36:46 2011] [debug] proxy_util.c(1819): proxy: worker proxy:reverse already initialized
[Sun Feb 06 08:36:46 2011] [debug] proxy_util.c(1913): proxy: initialized single connection worker 0 in child 6381 for (*)
[Sun Feb 06 08:37:52 2011] [notice] mod_fcgid: call /srv/www/ispcp/gui/index.php with wrapper /var/www/fcgi/master/php5-fcgi-starter
[Sun Feb 06 08:37:52 2011] [info] mod_fcgid: server /srv/www/ispcp/gui/index.php(6387) started
page 3: illegal page type or format
PANIC: Invalid argument
PANIC: fatal region error detected; run recovery

Die IP hab ich zurück verfolgt, die kommt aus Russland

Quote:nslookup 95.108.245.253
Server: 192.168.78.1
Address: 192.168.78.1#53

Non-authoritative answer:
253.245.108.95.in-addr.arpa name = spider61.yandex.ru.

Ich hab ISPCP 1.06 am Start. Sind da bekannte Lücken geschlossen worden?

Mittlerweile beschleicht mich die Vermutung eines DoS-Angriffs.

Die Logverwaltung von ISPCP für den Apache erschwert hier natürlich das nachvollziehen eines solchen Angriffs, oder gibt es da auch eine access.log für den gesamten Server?
Die access.log im /var/log/apache2 Verzeichnis ist jedenfalls leer.

[fulltilt]

wie gross ist dieses logfile?
Ich würde das logfile zur sicherheit downloaden dann vom server löschen und den apache neu starten.
Behalte dann mal die default-error.log im Auge:
tail -f /var/log/apache2/default-error.log
da sollte dann anhand der fehlermeldungen das problem lokalisiert werden können.

[rethus]

Hab ich jetzt so gemacht.
Aber an der default-error.log kann ich kein Schema feststellen, welches auf eine mögliche Ursache hindeutet.

Jetzt habb ich das Problem weiter eingrenzen können.

Solange ich nicht auf https zugreife, scheint der Server zu funktionieren. Greife ich jedoch auf https zu, erscheint in den Logs sofort diese MEldung:

Quote:PANIC: fatal region error detected; run recovery

Installiert ist für SSL nur das gnutls Modul.

Entlade ich nun gnutls: [/quote]

Quote:a2dismod gnutls

und rufe dann eine https-Adresse auf, wird diese nicht angezeigt, aber der Server verabschiedet sich auch nicht mehr in die ewigen Jagdgründe.

Wo kann ich nun in Verbindung mit gnutls nähere Infos / logs einsehen, damit ich eingrenzen kann, woran das genau liegt?

[fulltilt]

das logfile kannst du selbst definieren in deiner ssl_config für diesen host ...
aber scheinbar wenn es daran gelegen hat wurde ja in die default-error gelogged ...

[tomhb]

(02-06-2011 05:13 PM)rethus Wrote:  Der Server ist total ausgelastet und die Festplatte ist randvoll.

$ df -hT
Ist Deine Platte jemals wirklich *voll*gelaufen?

Quote:Es scheint ein Hackerangriff zu sein, welcher scheinbar eine ISPCP-Schwachstelle ausnutzt.

Und darauf kommst Du, weil....?

Quote:Die IP hab ich zurück verfolgt, die kommt aus Russland

Quote:nslookup 95.108.245.253
Server: 192.168.78.1
Address: 192.168.78.1#53

Non-authoritative answer:
253.245.108.95.in-addr.arpa name = spider61.yandex.ru.

Mittlerweile beschleicht mich die Vermutung eines DoS-Angriffs.

Weil alles aus Russland boese ist, oder warum?
Dein genutzter NameServer ist auch nicht vertrauenswuerdig. Jedenfalls solltest Du Dich eher "geehrt" fuehlen, dass yandex Deinen Seiten einen Besuch abstatttet, als davon auszugehen, dass dies ein DDOS waere. Nur zur Info fuer Dich, das ist eine der groessten Suchmaschinen Russlands.

Es waere an dieser Stelle noch nuetzlich gewesen, wenn Du mal das verwendete Betriebssystem und dessen Version genannt haettest.


Gruss Tom

[rethus]

Das Problem ist nun gelöst. Ende vom Lied war, das GnuTls sich irgendwie total weggehängt hat.
Eigentlich habe ich nicht im Hinterkopf da irgend etwas upgegraded zu haben... Wie auch immer hab ich jetzt den neusten Apaache installiert und konnte so gleich in einem Rutsch SNI unterstützung für SSL aktivieren. Somit bin ich GnuTLS los, und alles läuft wieder.

Nun ja, hast schon recht. Waren einige Voreilige Schlüsse dabei... hab da halt was Panik geschoben. Russland-Domain war für mich komisch, weil es halt eher etwas exotisches ist. Es läuft keine einzige russische Seite auf dem Server.

[tomhb]

(02-07-2011 06:03 AM)rethus Wrote:  Wie auch immer hab ich jetzt den neusten Apaache installiert und konnte so gleich in einem Rutsch SNI unterstützung für SSL aktivieren. Somit bin ich GnuTLS los, und alles läuft wieder.

na prima, wenns wieder laeuft.

Nur mal so nebenbei, auch wenn die Entscheidung SNI anstelle von gnutls zu verwenden durchaus richtig sein kann, hast Du damit den IE6 ausgesperrt. Keine Ahnung, ob Dir das nun wichtig ist oder nicht, bei meinen Systemen jedenfalls eher undenkbar. Damit Browser, die kein SNI koennen, kein 403 bekommen also wenigstens noch ein "SSLStrictSNIVHostCheck off" in die Config aufnehmen und eine passende ErrorPage basteln...


Gruss Tom