DokuWiki может автоматически создавать XML Sitemap - специальный файл, используемый большими поисковыми системами типа Google, Yandex или Yahoo.
Чтобы разрешить создание карты сайта, необходимо изменить в настройках ДокуВики параметр sitemap. Карта сайта размещается в корневой папке, в которой установлена ДокуВики. В зависимости от того, есть ли в PHP конкретного хостинга поддержка gzip, файл с картой сайта называется либо sitemap.xml.gz (если gzip доступен) или просто sitemap.xml (когда gzip не поддерживается). Почти все современные сборки PHP включают поддержку gzip, так что скорее всего карта сайта у вас на сайте располагается в файле sitemap.xml.gz.
Когда карта сайта обновляется, ДокуВики автоматически оповещает следующие поисковые системы, с помощью HTTP запроса:
Для того, чтобы создать карту сайта, вебсерверу необходимо иметь права на запись соответствующего файла. Самый простой способ удостовериться в этом - создать пустой файл sitemap.xml.gz и изменить соответствующим образом его атрибуты.
Если карта сайта не создается, можно попробовать получить отладочную информацию от индексатора ДокуВики, открыв страницу http://yourserver/dokuwiki/lib/exe/indexer.php?debug=1 в браузере.
Если необходимо пересоздать карту сайта, нужно временно установить в config:sitemap большое отрицательное значение .
Карта сайта привязана к доменному имени. Если ваша карта сайта содержит ссылки типа http://domain.org, карта не будет правильной, когда её поисковая система запросит с http://www.domain.org и наоборот. Для того, чтобы убедиться, что используется правильная форма, можно сделать переадресацию с помощью modRewrite, добавив соответствующее правило в файл .htaccess:
Пример ModRewrite для Apache:
RewriteEngine on RewriteCond %{HTTP_HOST} !^www\.domain\.org$ [NC] RewriteRule ^(.*)$ http://www.domain.org/$1 [R,L]
Обсуждение
А по-русски можно? Вот создается карта сайта в файле sitemap.xml.gz. Но ведь это архив, а как указать конкретный адрес карты сайта в Инструментах для веб-мастеров Google? Там ведь просят что-то вроде http:сайт.ru/sitemap.xml. Вручную каждый раз распаковывать архив? Как в файле robots.txt указать путь к реальной карте? Sitemap http:сайт.ru/sitemap.xml.gz ???
И можно вообще поподробней про robots.txt, какие папки запретить к индексированию, какие разрешить — применительно к последней версии DokuWiki.
В инструментах для вебмастеров на гугле поддерживается оба формата sitemap.xml - как сжатый, так и несжатый. Никакой проблемы с тем, что карта в архиве - нет.
Прописывать в robots.txt путь к карте сайта не нужно. Карта сайта работает и без этого.
А примерный вариант robots.txt для индексации сайта подскажете? Какие папки запретить, какие разрешить. Версия Doku последняя.