Технічні аспекти в пошуковій оптимізації


« Від розкручування сайту - до інтернет-маркетингу   |   Мовна картина інтернету Можливі методики дослідження на прикладі Уанета »

Існують спеціальні розширення як для файлу виключень, так і для метатегов.
Так, за допомогою мета тега можна заборонити роботові пошукової системи Google зберігати копію сторінки в своїй базі, додаткова інструкція Host в robots.txt указує роботові Яндекса головне дзеркало сайту, за допомогою інструкції Crawl-delay можна задати часовий інтервал між запитами для роботів Yahoo і MSN.

If-modified-Since

В стандарті протоколу HTTP описаний механізм, який дозволяє формувати спеціальний запит із заголовком If-modified-Since. В цьому випадку клієнт звертається до сервера з «проханням» видати документ тільки в тому випадку, якщо він змінювався після заданої дати. Інакше сервер посилає відповідь 304 Not Modified - документ не змінювався, а сам документ просто не видає.
Клієнт тоді має право використовувати стару копію документа.

Роботи більшості пошукових систем, як HTTP-клієнти, використовують заголовок If-modified-Since в своїх запитах. Якщо документ не змінювався, роботи зможуть приділити більше уваги новим документам і документам із змінами.
У разі статичних файлів, веб-сервер може сам правильно обробити такі запити, коли ж документи формуються серверними скриптами, сервер самостійно не може визначити, вносилися до документа зміни чи ні. В цьому випадку запити необхідно обробляти програмно в серверних скриптах.
Коректна обробка запитів з датами змін документів актуальна для сайтів з великою кількістю сторінок і дозволяє «направляти» роботів на нові і оновлені документи.

Огляд проблем, що часто зустрічаються, і методи їх рішень

Нижче я приведу ряд проблем, що часто зустрічаються, з якими доводилося стикатися в процесі пошукового просування сайтів, а також можливі варіанти їх рішень.

Дублікати сторінок


Tags: , , , ,

Інтернет-маркетинг


Схожі записи