Тема: Все о robots.txt - Как правильно его составить  (Прочитано 18813 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #15 : 15 Июнь 2014, 14:44:52 »
robots.txt для uCoz

User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap-forum.xml

Поскольку многих волнует индексация их сайтов Яндексом, то вот по этой ссылке они могут познакомиться с рекомендациями Яндекса практически по всем аспектам этого вопроса.
https://irongamers.ru - сообщество любителей компьютерных игр
 


Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #16 : 27 Август 2014, 22:36:13 »
Правильный robots.txt для Opencart

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Clean-param: tracking

Host: site.ru
Sitemap: ссылка на карту
https://irongamers.ru - сообщество любителей компьютерных игр
 


Оффлайн raube

  • Новичок
  • *
  • Сообщений: 35
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #17 : 26 Сентябрь 2015, 22:07:32 »
Уважаемый мастер moto. Вы оставили без ответа мой крайний вопрос, связанный с продвижением сайта в теме «Ваши вопросы по продвижению сайтов». Может вопрос глупый, но не ругательный. Было бы здорово, если бы вопросы не оставались без ответа. Даже глупые от чайников.
Тем не менее, обращаюсь к Вам с вопросом по поводу robots.txt.
В Умной Книге прочитал про тег <meta> у которого бывает атрибут nameb, и при нём robots, предназначенный для управления процессом индексации. Как этой штукой пользоваться практически. У меня большинство страниц на сайте статичны. Wordpress и другое подобное пока не умею использовать.
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #18 : 04 Декабрь 2015, 16:00:32 »
raube, сделать карту сайта и поставить каноникал http://knowpc.ru/seo-optimizacija/vse-o-meta-tege-canonical-(kanonizacija-(borba-s-dubljami)-ssylok)/

В 2015 году на чисто хтмл делают сайты только через зеброид.
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн Root

  • Советник
  • ***
  • Сообщений: 354
  • Поблагодарили: 21 раз(а)
  • Уважение: +8/-0
  • Пол: Мужской
  • Разгильдяй
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #19 : 04 Декабрь 2015, 18:51:18 »
Нужно отметить один момент, о котором забывают ваятели оптимизирующих плагинов для Wordpress, о запрете индексации архивов по годам. Строчка Disallow: /год/* поможет закрыть архивы за определенные года. Я robots.txt каждый Новый Год обновляю, добавляя Disallow: /2009/*, Disallow: /2010/*, Disallow: /2011/* и т.д.
Regvps - залог надежности XEN Linux VPS в России
 


Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #20 : 04 Декабрь 2015, 18:56:40 »
можно еще так:
Disallow: /archives/tag/
Disallow: /archives/author/
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн Root

  • Советник
  • ***
  • Сообщений: 354
  • Поблагодарили: 21 раз(а)
  • Уважение: +8/-0
  • Пол: Мужской
  • Разгильдяй
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #21 : 06 Декабрь 2015, 18:29:35 »
Это "стрельба по площадям" получается, когда закрывается все скопом. Мало ли у кого какие предпочтения, возможно кому-то что-то нужно оставить открытым. Некоторые плагины для Wordpress позволяют определить, какие архивы закрыть, а какие оставить открытыми, но почти всегда (по другому не видел) оставляют открытыми годовые архивы.
Regvps - залог надежности XEN Linux VPS в России
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #22 : 06 Май 2016, 14:19:54 »
Правильный robots.txt для bitrix

User-agent: Yandex
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Host: example.com
 
User-agent: *
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: */*search
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*print
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*back_url*
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*PAGEN_*
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Sitemap: http://example.com/sitemap.xml
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #23 : 06 Май 2016, 14:20:58 »
Правильный robots.txt для Fast-Sales Pro

User-agent: Yandex
Disallow: */admin/
Disallow: */account
Disallow: */account/
Disallow: */cart
Disallow: */subscribe
Disallow: */unsubscribe
Disallow: */order_status
Disallow: */price_list
Disallow: */psearch
Disallow: */psearch/
Disallow: */questionary
Disallow: /includes/libs/kcaptcha/
Disallow: /news/subscribe.html
Disallow: /random/
Disallow: /rated/
Disallow: /recent/
Disallow: /search/
Disallow: /tag/
Disallow: /tabraz.html
Disallow: /zakaz.php
Host: example.com
 
User-agent: *
Disallow: */admin/
Disallow: */account
Disallow: */account/
Disallow: */cart
Disallow: */subscribe
Disallow: */unsubscribe
Disallow: */order_status
Disallow: */price_list
Disallow: */psearch
Disallow: */psearch/
Disallow: */questionary
Disallow: /includes/libs/kcaptcha/
Disallow: /news/subscribe.html
Disallow: /random/
Disallow: /rated/
Disallow: /recent/
Disallow: /search/
Disallow: /tag/
Disallow: /tabraz.html
Disallow: /zakaz.php
Sitemap: http://example.com/sitemap.xml
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #24 : 07 Июнь 2016, 15:10:59 »
Motо,приветствую!
ссылаясь на данную инфо:

может возникнуть ситуация когда нужно закрыть какую-либо страницу, но разрешить индексировать вложенность,
например запретить site.ru/blog , но не закрывать site.ru/blog/article/
   
Disallow: /blog$

это касается только страниц или всех директив в целом?...


в site.ru/images/products необходимо закрыть фото в images но индексировать фото в products
получается так...это применимо?
Disallow: /images$   
 


Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #25 : 07 Июнь 2016, 15:18:03 »
jostik, да

По умолчанию к концу каждого правила, описанного в файле robots.txt, приписывается спецсимвол *. Пример:
User-agent: Yandex
Disallow: /cgi-bin* # блокирует доступ к страницам
                    # начинающимся с '/cgi-bin'
Disallow: /cgi-bin # то же самое
Чтобы отменить * на конце правила, можно использовать спецсимвол $, например:
User-agent: Yandex
Disallow: /example$ # запрещает '/example',
                    # но не запрещает '/example.html'
User-agent: Yandex
Disallow: /example # запрещает и '/example',
                   # и '/example.html'
Спецсимвол $ не запрещает указанный * на конце, то есть:
User-agent: Yandex
Disallow: /example$  # запрещает только '/example'
Disallow: /example*$ # так же, как 'Disallow: /example'
                     # запрещает и /example.html и /example
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #26 : 07 Июнь 2016, 15:27:11 »
я просто поставил так: Disallow: /uploads*/images*/$


и данный синтаксис не понимаю где взял было без объяснений)(,и теперь думаю как верно или это одно и тоже?

Спасибо!


и еще смотрю у некоторых роботы и не пойму мало кто закрывает стили CSS ,зачем они нужны?..



« Последнее редактирование: 07 Июнь 2016, 15:30:36 от jostik »
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #27 : 07 Июнь 2016, 15:31:25 »
Можно и так, проверь в вебмастере яндекса в разделе robots.txt ссылку из нужного раздела, он скажет, правило действует или нет
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16948
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #28 : 07 Июнь 2016, 15:43:08 »
еще смотрю у некоторых роботы и не пойму мало кто закрывает стили CSS ,зачем они нужны?
Раньше стилями маскировали ссылки в шаблоне, сейчас за это пессимизируют. Роботы должны видеть структуру сайта, в т.ч. его оформление, поэтому сейчас картинки, стили и библиотеки рекомендуется открывать для поисковиков
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #29 : 07 Июнь 2016, 15:48:22 »
User-agent: *
Disallow: /uploads*/images*/$

User-agent: Yandex
Host: site.ru

при такой записи на ссылке где фото показывает разрешен или должно время пройти не сразу..
 

 


Поиск

 
SimplePortal 2.3.6 © 2008-2014, SimplePortal