Kommentare zu: noindex-Anweisung in der robots.txt

Von: SEMSEOBlog

May 14, 2009, 12:39 am

Moin Markus, ist es nicht so, dass der Bot sich erst die robots.txt zieht um zu sehen, was er indizieren darf oder was nicht. Sieht er in der robots.txt, dass das Impressum in diesem Fall nicht...

View Article

Von: Markus

May 14, 2009, 12:52 am

Hi Marc, es ist richtig, dass der Bot zuerst in die robots.txt schaut. Da er aber nicht explizit “ausgesperrt” wird, geht er vielleicht auch zum Impressum? Markus

View Article