Как правильно составить файл robots.txt

18:36 | 18.05.2024

[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]

Страница 1 из 1
1

Форум » Всё для сайта » Раскрутка сайтов » Как правильно составить файл robots.txt

TheNarKDoZoR

Добавлено: Среда, 05.01.2011 в 14:46| Пост № 1

Полное имя: Нет данных
Ранг: Рядовой
ICQ: Нет данных
Skype: Нет данных
Вконтакте: Нет данных
Профиль
Написать ЛС

Группа:

Пользователи

Сообщений:

Репутация:

120

Замечания:

robots.txt — файл ограничения доступа к содержимому роботам на http-сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps, который служит прямо противоположной цели: облегчать роботам доступ к содержимому.
Итак, сегодня я научился его составлять для Google, Yandex и других поисковых систем для uCoz

Offline

NIK24

Добавлено: Четверг, 06.01.2011 в 01:25| Пост № 2

Полное имя: Нет данных
Ранг: Рядовой
ICQ: 1691875
Skype: nik_243
Вконтакте: Нет данных
Профиль
Написать ЛС

Группа:

Пользователи

Сообщений:

Репутация:

Замечания:

Я вообще не знаю для чего он xD
Почитаем на досуге.

Offline

GoodcAsh

Добавлено: Пятница, 07.01.2011 в 06:45| Пост № 3

Полное имя: Нет данных
Ранг: Подполковник
ICQ: 446096701
Skype: censored313
Вконтакте: Нет данных
Профиль
Написать ЛС

Группа:

Проверенные

Сообщений:

120

Репутация:

200

Замечания:

Я тока непонимаю куда его заливать?

Offline

zEfN

Добавлено: Пятница, 07.01.2011 в 13:21| Пост № 4

Полное имя: Нет данных
Ранг: Рядовой
ICQ: Нет данных
Skype: z3ekk0
Вконтакте: Нет данных
Профиль
Написать ЛС

Группа:

Пользователи

Сообщений:

Репутация:

Замечания:

Quote (TheNarKDoZoR)

User-Agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Host: site.ucoz.ru User-agent: Yandex Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search User-Agent: Googlebot Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Sitemap: http://site.ucoz.ru/sitemap.xml Sitemap: http://site.ucoz.ru/sitemap-forum.xml

Типо этот код ставить в robots?

Offline

GoodcAsh

Добавлено: Пятница, 07.01.2011 в 22:38| Пост № 5