Мета Тег контроля индексации - определяет поведение робота поисковой машины. С помощью этого мега вы можете запретить (разрешить) индексацию страницы, запретить (разрешить) роботу идти по ссылкам расположенным в вашем документе.
<Meta name="Robots" Content="инструкция для робота">
Инструкции index - разрешает роботу индексацию, noindex - запрещает. Инструкция follow - разрешает индексировать страницы, на которые есть ссылки в документе, nofollow - запрещает. Конструкция index, follow равносильна инструкции all, а noindex, nofollow равносильна none.
К примеру нижеприведенный Мета Тег разрешает индексацию страницы, но запрещает индексацию страниц, на которые ссылается HTML документ
<Meta name="Robots" Content="index, nofollow">
Мета Тег классификации - указывает роботу на аудиторию для которой HTML документ может быть интересен. Например,
<Meta name="Classification" Content="designers">
Мета Тег Document-state информирует роботов о том, меняется ли содержание страницы или оно статично. Если содержание динамично, то необходимо прописать
<Meta name="Document-state" Content="Dynamic">
В случае если содержание вашей страницы не изменяется
<Meta name="Document-state" Content="Static">
Мета тег Revisit-after указывает роботу на необходимую частоту переиндексации. К примеру,
<Meta name="Revisit-after" Content="10 days">
Мета Теги предназначенные для браузера
Мета Тег кодировки - указывает какую кодировку необходимо использовать при просмотре документа, позволяет избежать некорректного отображения текста. К примеру,
Мета Тег Content-Language определяет язык, который используется на странице, например тег приведённый ниже сообщает, что языки документа английский и русский.
