first commit
This commit is contained in:
23
robots.txt
Normal file
23
robots.txt
Normal file
@@ -0,0 +1,23 @@
|
||||
User-agent: *
|
||||
Allow: /
|
||||
|
||||
# Запретить индексацию служебных файлов
|
||||
Disallow: /assets/
|
||||
Disallow: /.htaccess
|
||||
Disallow: /README.md
|
||||
Disallow: /tz.md
|
||||
|
||||
# Карта сайта (когда будет создана)
|
||||
# Sitemap: https://yourdomain.com/sitemap.xml
|
||||
|
||||
# Основные директивы для поисковых систем
|
||||
Crawl-delay: 1
|
||||
|
||||
# Разрешить доступ к CSS и JS для корректного индексирования
|
||||
User-agent: Googlebot
|
||||
Allow: /assets/css/
|
||||
Allow: /assets/js/
|
||||
|
||||
User-agent: Yandex
|
||||
Allow: /assets/css/
|
||||
Allow: /assets/js/
|
||||
Reference in New Issue
Block a user