[Maia] DB läuft voll; Bayes_token über 30.000 Zeilen

[swoop124]

Kaimane Wrote:

Code:

/var/lib/amavis/maia/scripts/process-quarantine.pl --learn --report

Hallo Kaimane,

wie lange hat das ausführen des Befehles gedauert???
Ich habe ihn jetzt schon über Nacht laufen und da passiert eigentlich überhautp nix, außer dass der Porzess bei ca 30% CPU-Auslastung ist.

cu
swoop

[Kaimane]

swoop124 Wrote:wie lange hat das ausführen des Befehles gedauert???

Siehst du anhand des Logs, dass ich gepostet habe ... Etwa 2 Minuten.
In den zwei Minuten hat er etwa 7.000 Einträge aus der Bayes_Token Tabelle rausgehauen; aber das war es dann auch

[swoop124]

Hallo,

der Porzess auf meinem Rechner läuft jetzt schon wieder seit etwa 2 Stunden. Ich habe gerade in Mysql nachgeschaut da kommen immer mehr einträge rein. Vor ner Minute waren es 24.400 und jetzt sind es 26.000 aber der Perozess "process-quarant" läuft immer noch.

Habe auch keine Logeinträge gefunden oder sonstiges... wenn ich den Befehl auf der Kommandozeile eingebe kommt da überhaupt nix. Irgendwie nervt das... aber solange da nicht irgendwie was langsam wird...

Ich hab mal folgendes ausprobiert:
/var/lib/amavis/maia/scripts/process-quarantine.pl --learn --report --debug info

da kommt solange der Prozess läuft, also bis ich ihn abbreche:
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.
2007-10-20 12:14:58 Maia: [process-quarantine] Subroutine processed 0 items.

cu
swoop124

[swoop124]

Ich habe jetzt mal die installation von Maia erneut laut anleitung auf:
http://www.maiamailguard.com/maia/wiki/M...allDeutsch
druchgefrührt und siehe da es tat sich was.

ich habe allerdings so viele Einträge bekommen, daß ich nicht wirklich sagen kann ob es Funktioniert hat oder nicht... ;-))

cu
swoop124

[BeNe]

Diese Anleitung scheint mir aber alt und nicht komplett ?
Und was hast du genau geändert ?

Ich habe gerade kein Maia drauf, sonst würde ich nachschauen wo es bei den scripten hängt...

Greez BeNe

[ephigenie]

Die Anzahl der Bayes dürfte eh nicht stimmen - weil die innodb ein ganz anderes Handling für die Anzahl der eingetragenen Records hat. Ein select count(*) from bayes_seen wird da evt. ein genaueres Ergebniss bringen.
Aber ich sag mal so selbst irgendetwas zwischen 25.000 - 40.000 ist nicht weiter schlimm.
Bei mir sinds zur Zeit ~ 500.000 bayes_seen und knapp 300.000 bayes_token ... und es läuft fix...

[swoop124]

BeNe Wrote:Diese Anleitung scheint mir aber alt und nicht komplett ?
Und was hast du genau geändert ?

Ich habe gerade kein Maia drauf, sonst würde ich nachschauen wo es bei den scripten hängt...

Greez BeNe

Hallo BeNe,

Geändert hab ich eigentlich nichts. Ich hab nur die Verzeichnisse template und scripts nochmals kopiert, also nach /var/amavisd/maia/.

Sonst hab ich eigentlich nichts geändert. Ach ja, die beiden Verzeichnisse habe ich noch dem User amavis gegeben.

cu
swoop124

[BeNe]

Und das war schon alles ?
Und jetzt geht es bei Dir ?? Oder ist das noch nicht sicher ?

Greez BeNe

[swoop124]

Zumindest bekomme ich keine Fehlermeldungen.
Jetzt bekomme ich jede Stunde eine Mail mit folgendem Inhalt:

Code:

2007-10-21 14:55:05 Maia: [process-quarantine-sub] 0 spam items processed (0 learned, 0 reported)
2007-10-21 14:55:06 Maia: [process-quarantine-sub] 0 non-spam items processed (0 learned)
2007-10-21 14:55:06 Maia: [process-quarantine] Processing completed: 0 items processed in 0 runs.

oder auch

Code:

2007-10-21 09:55:05 Maia: [process-quarantine-sub] 0 spam items processed (0 learned, 0 reported)
2007-10-21 09:55:08 Maia: [process-quarantine-sub] Learned mail item 8524 as non-spam
2007-10-21 09:55:09 Maia: [process-quarantine-sub] Learned mail item 8542 as non-spam
2007-10-21 09:55:09 Maia: [process-quarantine-sub] Learned mail item 8571 as non-spam
2007-10-21 09:55:10 Maia: [process-quarantine-sub] Learned mail item 8894 as non-spam
2007-10-21 09:55:11 Maia: [process-quarantine-sub] 20 non-spam items processed (4 learned)
2007-10-21 09:55:13 Maia: [process-quarantine-sub] 0 spam items processed (0 learned, 0 reported)
2007-10-21 09:55:15 Maia: [process-quarantine-sub] 4 non-spam items processed (0 learned)
2007-10-21 09:55:17 Maia: [process-quarantine-sub] 0 spam items processed (0 learned, 0 reported)
2007-10-21 09:55:19 Maia: [process-quarantine-sub] 0 non-spam items processed (0 learned)
2007-10-21 09:55:19 Maia: [process-quarantine] Processing completed: 24 items processed in 2 runs.

natürlich bekam ich beim ersten mal Ausführen eine längere Liste.

Ich weiss nicht ob die Mail mit diesem Problem was zu tun hat, aber solche Mails bekomme ich auch:
Befehl:

Code:

test -e /usr/sbin/amavisd-new-cronjob && /usr/sbin/amavisd-new-cronjob sa-sync

Fehlermeldung:

Code:

plugin: failed to parse plugin (from @INC): Bareword "Mail::SpamAssassin::Constants::CHARSETS_LIKELY_TO_FP_AS_CAPS" not allowed while "strict subs" in use at /usr/local/share/perl/5.8.8/Mail/SpamAssassin/Plugin/HeaderEval.pm line 967.
Compilation failed in require at (eval 56) line 1.

plugin: failed to create instance of plugin Mail::SpamAssassin::Plugin::HeaderEval: Can't locate object method "new" via package "Mail::SpamAssassin::Plugin::HeaderEval" at /usr/local/share/perl/5.8.8/Mail/SpamAssassin/Plugin/HeaderEval.pm line 39.

plugin: failed to parse plugin (from @INC): "CHARSETS_LIKELY_TO_FP_AS_CAPS" is not exported by the Mail::SpamAssassin::Constants module Can't continue after import errors at /usr/local/share/perl/5.8.8/Mail/SpamAssassin/Plugin/MIMEEval.pm line 22 BEGIN failed--compilation aborted at /usr/local/share/perl/5.8.8/Mail/SpamAssassin/Plugin/MIMEEval.pm line 22.
Compilation failed in require at (eval 58) line 1.

plugin: failed to create instance of plugin Mail::SpamAssassin::Plugin::MIMEEval: Can't locate object method "new" via package "Mail::SpamAssassin::Plugin::MIMEEval" at (eval 59) line 1.

Wäre toll wenn du eine Idee hättest was das sein könnte, denn ich finde im Internet nicht wirklich etwas über diesen Fehler.

cu
swoop124

[schnere]

Hi!

Ich hab auch ein Problem mit 100%-Serverauslastung von process-quarantine:

Code:

2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.
2008-02-03 11:06:49 Maia: [process-quarantine] Subroutine processed 0  items.

process-quarantine konnte die pid-file nicht schreiben, ich hatte das problem behoben, sah aber dann die hohe server-auslastung und rekonstruierte das problem.

Ich bin bisher auch ohne process-quarantine ausgekommen und alles läuft ohne probleme, aber wenn es eine lösung gibt, würde ich gerne wissen wie?!

MfG schnere