« Від розкручування сайту - до інтернет-маркетингу |
Мовна картина інтернету Можливі методики дослідження на прикладі Уанета »
Існують спеціальні розширення як для файлу виключень, так і для метатегов.
Так, за допомогою мета тега можна заборонити роботові пошукової системи Google зберігати копію сторінки в своїй базі, додаткова інструкція Host в robots.txt указує роботові Яндекса головне дзеркало сайту, за допомогою інструкції Crawl-delay можна задати часовий інтервал між запитами для роботів Yahoo і MSN.
If-modified-Since
В стандарті протоколу HTTP описаний механізм, який дозволяє формувати спеціальний запит із заголовком If-modified-Since. В цьому випадку клієнт звертається до сервера з «проханням» видати документ тільки в тому випадку, якщо він змінювався після заданої дати. Інакше сервер посилає відповідь 304 Not Modified - документ не змінювався, а сам документ просто не видає.
Клієнт тоді має право використовувати стару копію документа.
Роботи більшості пошукових систем, як HTTP-клієнти, використовують заголовок If-modified-Since в своїх запитах. Якщо документ не змінювався, роботи зможуть приділити більше уваги новим документам і документам із змінами.
У разі статичних файлів, веб-сервер може сам правильно обробити такі запити, коли ж документи формуються серверними скриптами, сервер самостійно не може визначити, вносилися до документа зміни чи ні. В цьому випадку запити необхідно обробляти програмно в серверних скриптах.
Коректна обробка запитів з датами змін документів актуальна для сайтів з великою кількістю сторінок і дозволяє «направляти» роботів на нові і оновлені документи.
Огляд проблем, що часто зустрічаються, і методи їх рішень
Нижче я приведу ряд проблем, що часто зустрічаються, з якими доводилося стикатися в процесі пошукового просування сайтів, а також можливі варіанти їх рішень.
Дублікати сторінок
Pages: 1 2 3 4 5 6 7 8 9 10
Tags:
документ,
робот,
сервер,
система,
сторінка
Схожі записи
- Схема отримання патенту в промисловості - затвердження промислових виробів (07.04.2008)
...
Кожен може підготувати весь перелік потрібних документів і написати заяву у відповідні інстанції нашої держави самостійно. Правда, при цьому важливо, правильно, вивчаючи норми Правив, заповнити заявочну документацію.
У зв'язку з цим, ради зменшення часу роботи з патентуючим органом з питань реєстрації патентної документації на пром. зразки, ряд законів РФ визначає особливу категорію ...
- Методологічні основи маркетингу (14.04.2009)
...
Один з підходів до маркетингу: Маркетинг як філософія бізнесу. Це орієнтація всієї діяльності фірми від проектування і виробництва товарів до їх збуту і задоволення попиту на даний товар споживачами, що є головною метою дії фірми. Вона ввела термін «маркетинговий менеджмент».
Маркетинговий менеджмент включає декілька стадій: планування, реалізацію і контроль всіх ...
- Надійні казани і бойлери самостійного опалювання - більше 60 відсотків економії (22.02.2008)
...
Якщо у вас коштують німецькі казани газові, то ви вже знаєте - яка б аварія не трапилася, у вашій квартирі буде тепла вода. Крім цього, в тому випадку, якщо вам не обов'язкове опалювання (наприклад, літом) - те ви самі можете просто вимкнути казан, і знов запустити, як тільки стане холодно.
А це задоволено розумно ...
- Домен revolutionorg проданий за 120000 (04.04.2008)
com цього разу були
everestgames.com 33,333$
customtshirt.com 12,000$
my5gb.com 10,000$
givingkiosk.com 10,000$
knu.com 9,450$
7y.com 9,000$
rxl.com 8,920$
ultrabattery.com 8,700$
nuj.com 8,001$
hollywoodwaxmuseum.com 7,450$
videoplaza.com 6,500$
467.com 5,700$
pokerspot.com 5,100$
- Характеристика вторинної інформації Частина 1 (06.03.2008)
... Важливо зрозуміти наступне.
Те, що ці відомості для кого-небудь і є інформацією, зовсім не означає, що і для всіх інших категорій працівників вони теж будуть інформацією.
Так, для бухгалтера місячний об'єм продажів - інформація, для маркетолога - в основному лише дані, які ще потрібно перетворити, трансформувати, зіставити з аналогічними своїми ж даними за минулі періоди або ...