Robots.txt - jak to zrobić?
Plik robots.txt to standardowy plik tekstowy używany do informowania robotów przeszukujących witryny internetowe, takich jak np. roboty Google, Bing czy Yahoo, które części witryny powinny być zindeksowane, a które pominięte. Plik robots.txt jest umieszczany w katalog...
