Subdomain gleicher Pfad wie Domain

[ShadowJumper]

(01-06-2011 03:13 AM)Mr.AndersoN Wrote:  Ein wenig abseits vom Thema:
Das Google-Thema wäre übrigens tatsächlich mal interessant. Ich konnte auch schon beobachten, dass der Bot scheinbar eigenmächtig sich irgendwelche Dateien/Seiten erfindet und abfragt, die von nirgendwo verlinkt sind (keine internen/externen Seiten, keine Sitemap). Allerdings trat das bei mir nach einem bestimmten Muster und nicht scheinbar wahllos und auch nur rechts der TLD auf (/de/seite2 vs. /en/seite2 wobei es eben keine eng. Version der Seite 2 gibt).

Daher ja meine Vermutung bzgl. Analytics oder automatischen Sitemaps etc. Und wie bei dir ist es mir vermehrt auf mehrsprachigen Seiten aufgefallen. Scheint so als würde der Bot "raten" welche Seiten evtl. vorhanden sein könnten um diese in den Index aufzunehmen.

Und natürlich Script Kiddies die den Server Scannen nach Software und dabei natürlich viel URL Müll erzeugen wenn das nicht abgefangen wird.

Speziell bei automatischen Sitemaps dürfte das einen nicht unerheblichen Anteil an diesen "Fantasie-URLs" haben.