SEO pagrindai: paieškos sistemų robotai ir indeksavimas (Crawling & Indexing)

Vienas pirmųjų žingsnių, norint suprasti tinklapių optimizavimą paieškos sistemoms, yra išsiaiškinti, kaip veikia pačios paieškos sistemos. Paieškos sistemos – Google, Yahoo, Bing ir kt. – atlieka dvi pagrindines funkcijas:

  1. Siunčia savo robotus, kurie ropoja per tinklapį (CRAWLING)
  2. Surenka turinio informaciją ir ją patalpina pas save milžiniškame serveryje (INDEXING)

CRAWLING – robotų ropojimas tinklapyje googlebot Pirmojoje stadijoje paieškos sistemos išsiunčia savo robotus (vorus, Googlebot‘us), kurie ropoja per tinklapio nuorodas iš vieno puslapio į kitą, tikrina, ar nėra naujų puslapių, naujų nuorodų. Robotai aplanko visus nuorodomis pasiekiamus puslapius, net ir *.PDF failus. Kad paieškos sistemų robotams būtų lengviau ropoti tavo tinklapyje, patariu naudoti svetainės medžius – XML sitemaps. Šie svetainės medžiai paieškos sistemoms yra kaip raudonas kilimas, kuris leidžia robotams iškart matyti svetainės struktūrą, naujai atsiradusias nuorodas ir puslapius. Patarčiau stengtis, kad visi vidiniai tinklapio puslapiai būtų lengvai pasiekiami nuorodomis nuo pagrindinio puslapio (homepage‘o). Geriausiai, kad tai būtų iki trijų nuorodų nuo titulinio puslapio.

INDEXING – informacijos kaupimas paieškos sistemų serveriuose

indeksavimas Tuomet, kai paieškos sistemų robotai ropoja per nuorodas iš vieno puslapio į kitą, jie surenka turinio informaciją ir kaupia ją savo serveriuose. Sukaupta informacija naudojama, kai vartotojas paieškoje įveda tam tikrus raktinius žodžius. Paieškos sistemos ieško tų raktinių žodžių savo serveriuose sukauptoje duomenų bazė ir pagal tam tikrus reitingavimo kriterijus pateikia paieškos rezultatus. Taigi indeksavimo yra du tikslai:

  1. Pateikti rezultatus pagal raktinius žodžius
  2. Reitinguoti gautus rezultatus pagal tam tikrą algoritmą, reitingavimo sistemą.

Kuo dažniau tinklapis yra atnaujinamas nauju, unikaliu turiniu, tuo paieškos sistemų robotai dažniau apsilanko tavo tinklapyje, kad surinktų naujus turinio duomenis, juos nusiųstų į serverio duomenų bazę ir pateiktų aktualiausius rezultatus vartotojui.