robots.txt
robots.txt sind ja bekanntlich für Suchmaschinen sehr wichtig, aber wie man als User auf die Idee kommen kann, sich eine solche anzuschauen, bleibt mir ein Rätsel.
robots.txt sind ja bekanntlich für Suchmaschinen sehr wichtig, aber wie man als User auf die Idee kommen kann, sich eine solche anzuschauen, bleibt mir ein Rätsel.
aehmm, also ich hatte mal einige zeit auch nicht anderes zu tun… da waren manchmal ganz coole kommentare dabei.
ich meine, irgendeine suchmaschine beschimpfte den bot der anderen mit den worten “rover is a bad dog!”.
mal den alten rechner hochfahren und den kram suchen…
:)
Warum? Ganz einfach, z.B. früher gab’s ganz Schlaue die haben „verstecke“ Verzeichnisse wie phpmyadmin (natürlich ungeschützt) eingetragen…
lol…auf solch eine Idee bin ich auf jedenfall noch nie gekommen!