24 lines
566 B
Plaintext
24 lines
566 B
Plaintext
User-agent: *
|
|
Allow: /
|
|
|
|
# Запретить индексацию служебных файлов
|
|
Disallow: /assets/
|
|
Disallow: /.htaccess
|
|
Disallow: /README.md
|
|
Disallow: /tz.md
|
|
|
|
# Карта сайта
|
|
Sitemap: https://fidem-slonim.by/sitemap.xml
|
|
|
|
# Основные директивы для поисковых систем
|
|
Crawl-delay: 1
|
|
|
|
# Разрешить доступ к CSS и JS для корректного индексирования
|
|
User-agent: Googlebot
|
|
Allow: /assets/css/
|
|
Allow: /assets/js/
|
|
|
|
User-agent: Yandex
|
|
Allow: /assets/css/
|
|
Allow: /assets/js/
|