User-agent: Yandex
Allow: /
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php 
Disallow: /search/
Disallow: */trackback/
Disallow: */feed/
Disallow: *?* # Блокирует URL с параметрами, очень полезно для WordPress
Allow: /tag/ # Лучше использовать noindex,follow для передачи веса
Disallow: */attachment/ # Лучше использовать noindex,follow или 301-редирект на родительский пост
Allow: /author/ # Лучше использовать noindex,follow, если нет ценного контента
Allow: /category/ # Лучше использовать noindex,follow, если нет ценного контента
Disallow: */print # Блокировка версий для печати, обычно не нужна

User-agent: Googlebot
Allow: /
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: */trackback/
Disallow: */feed/
Disallow: *?*
Allow: /tag/ # Лучше использовать noindex,follow для передачи веса
Disallow: */attachment/ # Лучше использовать noindex,follow или 301-редирект на родительский пост
Allow: /author/ # Лучше использовать noindex,follow, если нет ценного контента
Allow: /category/ # Лучше использовать noindex,follow, если нет ценного контента
Disallow: */print # Блокировка версий для печати, обычно не нужна


User-agent: Bingbot # Добавлено для явной оптимизации под Bing и Yahoo! Search
Allow: /
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: */trackback/
Disallow: */feed/
Disallow: *?*
Allow: /tag/ # Лучше использовать noindex,follow для передачи веса
Disallow: */attachment/ # Лучше использовать noindex,follow или 301-редирект на родительский пост
Allow: /author/ # Лучше использовать noindex,follow, если нет ценного контента
Allow: /category/ # Лучше использовать noindex,follow, если нет ценного контента
Disallow: */print # Блокировка версий для печати, обычно не нужна


User-agent: Mail.Ru
Allow: /
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: */trackback/
Disallow: */feed/
Disallow: *?*
Allow: /tag/ # Лучше использовать noindex,follow для передачи веса
Disallow: */attachment/ # Лучше использовать noindex,follow или 301-редирект на родительский пост
Allow: /author/ # Лучше использовать noindex,follow, если нет ценного контента
Allow: /category/ # Лучше использовать noindex,follow, если нет ценного контента
Disallow: */print # Блокировка версий для печати, обычно не нужна


User-agent: * # Общая директива для всех остальных ботов
Allow: / # Явно разрешаем сканирование всего сайта по умолчанию
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /search/
Disallow: */trackback/
Disallow: */feed/
Disallow: *?*
Allow: /tag/ # Лучше использовать noindex,follow для передачи веса
Disallow: */attachment/ # Лучше использовать noindex,follow или 301-редирект на родительский пост
Allow: /author/ # Лучше использовать noindex,follow, если нет ценного контента
Allow: /category/ # Лучше использовать noindex,follow, если нет ценного контента
Disallow: */print # Блокировка версий для печати, обычно не нужна
# Open access for OpenAI (ChatGPT training)
User-agent: GPTBot
Allow: /

# Open access for ChatGPT Browsing (Live user requests)
User-agent: ChatGPT-User
Allow: /

# Open access for Common Crawl (Training data for many AIs)
User-agent: CCBot
Allow: /

# Recommended: Open access for Google Gemini/Bard (Vertex AI)
User-agent: Google-Extended
Allow: /


User-agent: Googlebot-Image
Allow: /wp-content/uploads/


User-agent: GPTBot 
Allow: / 
User-agent: ChatGPT-User 
Allow: / # Open access for Common Crawl (Training data for many AIs)
User-agent: CCBot 
Allow: / # Recommended: Open access for Google Gemini/Bard (Vertex AI) 
User-agent: Google-Extended 
Allow: /




Sitemap: https://startupseolab.com/sitemap.xml
Host: startupseolab.com