Am PHP memory limit kann es nicht liegen, weil an dieser Stelle des Setups nur Perl-Scripte laufen. Vermutlich läuft hier Perl in eine Endlosschleife. Hast du wie in der Doku beschrieben die config.inc.php von phpMyAdmin gesichert?
Code:
# cp -v /var/www/ispcp/gui/tools/pma/config.inc.php /tmp/ispcp/etc/ispcp/pma/working/
Die Anweisungen in der Doku sind ggf. nicht für alle zu 100% verständlich "Prior 1.0.8" bedeutet, dass es gemacht werden muss, wenn die *alte* Version noch nicht 1.0.8 ist.
EDIT: Schalt mal den Debug modus an (in ispcp.old.conf und vorsichtshalber auch ispcp.conf). Dann müsste man sehen, wo die Warnings sich "überschlagen".