Зайдите в Гугле в “Инструменты для веб-мастеров”.
Выберите свой сайт.
Далее слева в меню: Конфигурация сайта - Доступ для сканера.
Там все есть для проверки и создания правильного robots.txt

Интересные вы люди. Ничего конкретного, только посылание в гугл.

- Моя машина медленно ездит, что мне делать?

Конечно в гугл. Неужели вы думаете, что имеет смысл сотни раз переписывать избитые мануалы по настройке веб-сервера, БД, фронт-энда, кэширования итд. Задавайте конкретные вопросы, получите (возможно) конкретные ответы. А на вопрос, как мне сделать, чтобы было хорошо, человеку постороннему ответить сложно.

Выше я задал конкретный вопрос по роботс. Почему яша не индексирует, а гугл индексирует. Ладно бб. Чет мне тут у вас не понравилось. Топик закрывайте.

ну вот. обиделся.

интересно как этот трёп относится к питону …

Что скажете про скидки?