# robots.txt — www.maryjane.ru # Пересобран 2026-07-27. Было 366 строк, стало ~150. # Главное отличие: убраны wildcard-правила, которые случайно закрывали каталог. # Перед заливкой прочитайте блок «ТРЕБУЕТ ПРОВЕРКИ» в конце файла. # ============================================================= # ОСНОВНОЙ БЛОК # ============================================================= User-agent: * # ---- Ассеты: нужны для рендеринга, открыты явно ---- # Раньше /js/ и /J/ были закрыты целиком — Google не мог отрисовать # страницу и не видел изображения товаров. Allow: /js/ Allow: /css/ Allow: /min/ Allow: /vendor/min/ Allow: /images/ Allow: /J/styles/ Allow: /J/catalog/ Allow: /J/uploaded/ Allow: /J/userphotos/ Allow: /J/gallery/ Allow: /J/static-cache/fittingroom/ Allow: /*.css$ Allow: /*.js$ Allow: /*.svg$ Allow: /*.webp$ Allow: /*.avif$ # ---- Корзина, оплата, личный кабинет ---- Disallow: /basket/ Disallow: /login/ Disallow: /registration Disallow: /profile/ Disallow: /selected/ Disallow: /catalog/selected/ Disallow: /orderhistory Disallow: /payments/ Disallow: /payback/ Disallow: /*recievepayment Disallow: /*addtobasket Disallow: /*quickBuy/ Disallow: /*subscribe Disallow: /invite/ Disallow: /gift/add/ # ---- Пользовательский контент и модерация ---- Disallow: /editprofile/ Disallow: /editgood/ Disallow: /editform/ Disallow: /drafts/ Disallow: /myphoto/ Disallow: /sendphoto Disallow: /senddrawing.design/ Disallow: /feedback/ Disallow: /viewcomments/ Disallow: /delete/ Disallow: /delete_comments Disallow: /delete_post_pic Disallow: /*get_denyed_comments/ Disallow: /*remove_work Disallow: /*remove_filter Disallow: /*add_good Disallow: /*add_filter Disallow: /*upload/ Disallow: /*upload_form/ Disallow: /*publish Disallow: /*reprintrequest Disallow: /J/avatars/ Disallow: /blog/user/ Disallow: /hudsovet # ---- Служебное и админское ---- Disallow: /ajax/ Disallow: /*/ajax/ Disallow: /include Disallow: /objects/ Disallow: /informers/ Disallow: /openx/ Disallow: /templates/ Disallow: /templates2/ Disallow: /templates_c/ Disallow: /temp/ Disallow: /pma/ Disallow: /stat/ Disallow: /statistic/ Disallow: /stat_promo/ Disallow: /stat_personalbill/ Disallow: /catalog_export Disallow: /catalogimg Disallow: /goto/ Disallow: /schedule Disallow: /deliveryboy.checklist/ Disallow: /pictures/ Disallow: /pictures2/ Disallow: /pictures_src/ Disallow: /ps_src/ Disallow: /images/users/ Disallow: /images/userpics/ Disallow: /images/productpics/ Disallow: /images/products/src/ # ---- Тестовые и мёртвые контуры ---- Disallow: /catalog.dev/ Disallow: /catalog.v2/ Disallow: /voting.dev/ Disallow: /*-dev/ Disallow: /catalog1/ Disallow: /1subdomains Disallow: /1projects Disallow: /dealer/index.bak Disallow: /dealer/index2 Disallow: /dealer/include/ # ---- Сортировки, фильтры, дубли листингов ---- # Размерные URL (/25144/3XL/) здесь НЕ закрываются: у них корректный # canonical, и именно блокировка мешала Google его прочитать. Disallow: /*sort Disallow: /orderby/ Disallow: /*filter Disallow: /*viewall Disallow: /*list/all Disallow: /*all/ Disallow: /*/by_sales/ Disallow: /*/archived/ Disallow: /*/1color/ Disallow: /catalog/1color/ Disallow: /catalog/*/collection Disallow: /new/ Disallow: /tag/*/new/ Disallow: /good_zoom/ Disallow: /*/zoom/ Disallow: /search Disallow: /blog/search/ Disallow: /faq/search/ Disallow: /faq/goto Disallow: /faq/group/ # ---- Виджеты и счётчики (контента нет, краулинг ест бюджет) ---- Disallow: /*/grade/ Disallow: /*/likes/ Disallow: /*/rating/ Disallow: /*/visits/ Disallow: /*/popular/ Disallow: /*/artdir/ Disallow: /*/recently_buy/ Disallow: /*/recently_view/ Disallow: /*/avg_grade_designers/ Disallow: /popular/ Disallow: /avg/ Disallow: /archive # /stock/ — живая посадочная «Заказать футболку, майку, толстовку, сумку» # (1500 слов, 586 ссылок). Раньше была закрыта целиком; открыта, закрыты # только её фильтровые ветки. Disallow: /stock/color Disallow: /stock/print Disallow: /stock/price # редиректит на /login/ Disallow: /promo/ # ---- Параметры URL ---- Disallow: /*? # ---- AI-краулеры ---- # Отдельных групп для GPTBot / ClaudeBot / PerplexityBot и прочих здесь # НАМЕРЕННО НЕТ. По RFC 9309 бот исполняет ровно одну группу — свою, # если она есть, иначе «*». Стоило завести «User-agent: GPTBot / Allow: /», # и этот бот переставал видеть все Disallow ниже: ему открывались корзина, # личный кабинет и сортировки. Проверено в Яндекс.Вебмастере 2026-07-27. # Сейчас все AI-боты читают группу «*» и получают каталог целиком. # # GPTBot, ClaudeBot и bingbot разблокированы 29.07.2026: до этого фильтр по # User-Agent на стороне хостинга MTW отдавал им 429 ещё до чтения контента, # и правила ниже были для них декоративны. Никакой «редирект-петли», как # писали здесь раньше, не было — приходил прямой 429. # # Остаток блок-листа площадки — им robots.txt по-прежнему не указ, они не # доходят до файла: Bytespider, Amazonbot, SemrushBot, DataForSeoBot, DotBot, # MJ12bot, serpstatbot, keys-so-bot, SeznamBot, PetalBot, GeedoProductSearch, # Qwantbot-prod, AwarioBot, meta-externalagent. # ---- Форматы, не предназначенные для выдачи ---- Disallow: /*.psd$ Disallow: /*.ai$ Disallow: /*.eps$ Disallow: /*.doc$ Disallow: /*.docx$ Disallow: /*.rar$ Disallow: /*.gz$ Disallow: /*.tpl$ Disallow: /*.lck$ Disallow: /*.ttf$ Disallow: /*.pl$ Disallow: /*.cgi$ # ---- Склейка параметров (директива Яндекса) ---- # Живёт внутри группы «*», а не в отдельной «User-agent: Yandex»: # своя группа отменяла бы для Яндекса все правила выше. # Crawl-delay убран намеренно — Яндекс исполнял его буквально и это # был потолок обхода. Скорость задаётся в Вебмастере → # Индексирование → Скорость обхода. Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&utm_expid&yclid&gclid&fbclid&ymclid&_openstat&from&s&ved&fb_action_ids / # ============================================================= # SITEMAP # ============================================================= Sitemap: https://www.maryjane.ru/sitemap/ Sitemap: https://www.maryjane.ru/sitemap/tags/ Sitemap: https://www.maryjane.ru/sitemap.blog/ Sitemap: https://www.maryjane.ru/sitemap/dealer/ Sitemap: https://www.maryjane.ru/gallery/sitemap/ # ============================================================= # ЛЕГАСИ-РАЗДЕЛЫ: ПРОВЕРЕНЫ 2026-07-27, ПРАВИЛА НЕ НУЖНЫ # # Все спорные пути прозвонены живым браузером. Итог: # # РЕДИРЕКТ на /catalog/ (раздел закрыт, редирект уже настроен): # /catalog/hoodie-kids/ /catalog/polo/ /catalog/polo/male/ # /catalog/apple-laptops/ /catalog/cases/ /catalog/laptops/ # /catalog/touchpads/ /catalog/phones/ /catalog/auto/ # /catalog/atv/ /catalog/body/ /catalog/bomber/ # /nakleyki-na-kapot/ /mayki-alkogolichki /group # # 404: # /macbook/ /auto-monochrome/ /poster/ /holst/ /mask/ # /pillow-star/ /sewing/ /shop/ /portfolio/ /author/ # # ЖИВЫЕ, открыты намеренно: # /stock/ — посадочная «Заказать футболку…», 1500 слов # /design/ — редирект на /design/create/futbolki/, живая страница # /catalog/author/<Имя>/ — страницы дизайнеров (раньше их закрывал # вайлдкард /*author/*) # # Почему правила не нужны: у 404 и редиректов robots.txt только мешает. # Именно блокировка не давала Google увидеть редирект — поэтому # /catalog/apple-laptops/ до сих пор висит в индексе со старым тайтлом. # После открытия робот дойдёт до редиректа и склеит URL сам. # # ОТДЕЛЬНО НА ИСПРАВЛЕНИЕ (не robots.txt): # Мёртвые разделы редиректят на /catalog/ ЧЕРЕЗ http://, а не сразу # на https:// — лишний хоп в каждой цепочке: # /catalog/touchpads/ → http://www.maryjane.ru/catalog/ # → https://www.maryjane.ru/catalog/ # И это редирект на общую страницу каталога, а не 410 — Google склонен # считать такое soft-404. Для по-настоящему мёртвых линеек честнее 410. # ============================================================= # ============================================================= # ЧТО УДАЛЕНО НАМЕРЕННО (не возвращать) # # Disallow: /*0/* /*116/* /*128/* /*86/* /*98/* /*104/* # Disallow: /*134/* /*92/* /*140/* /*158/* /*122/* # Задумывались как детские размеры, а закрывали любой URL # с этой цифрой перед слэшем — включая ID товаров. # Каждый десятый товар каталога был недоступен для обхода. # # Disallow: /*S/* /*M/* /*L/* /*XL/* /*2XL/* … /*ONESIZE/* # Закрывали размерные URL, у которых стоит верный canonical. # Из-за блокировки Google не читал canonical и индексировал # голый URL — то есть правило создавало те дубли, которые # должно было убирать. # # Disallow: /J/ — закрывало /J/styles/, то есть рендеры товаров # Disallow: /js/ — ломало рендеринг страницы роботом # Disallow: /*styles — закрывало /catalog/styles/ (AJAX карточки) # Disallow: /*comment — закрывало отзывы # Disallow: /*author/* — закрывало страницы дизайнеров, открыто по # решению от 2026-07-27 # Disallow: /*color — слишком широкое, задевало цветовые URL # Disallow: /*group — слишком широкое # Disallow: /*% — ломало URL с процентным кодированием кириллицы # Disallow: /tag/ — противоречило Sitemap: /sitemap/tags/ # Disallow: /agreement/ /privacy-policy/ — минус к трастовым сигналам # Disallow: /*.php/ /*/.env/ /*/phpinfo/ — robots не средство защиты, # такие строки только подсказывают, что искать # Disallow: JetPilot/ — синтаксически невалидно (нет ведущего слэша) # Disallow: /5/2/ — назначение неизвестно, следов в структуре нет # Crawl-delay: 2 — Google игнорирует, Яндекс исполнял буквально # Host: www.maryjane.ru — директива отменена Яндексом в 2018 # =============================================================