Yahoo Slurp

18 dicembre 2008 – 12:28

Slurp, è il nome dello spider del noto motore di ricerca Yahoo!
si evolve e diventa più amico del file robots.txt, imparando a gestire nel modo corretto le ‘wildcards’ ovvero quei caratteri come ‘*’ e ‘$, caratteri che permettono di gestire numerosi e variabili parametri delle url delle pagine web.
Il file robots.txt è un file molto considerevole per un sito internet, infatti all’interno ci si possono inserire numerose informazioni affinche lo spider le possa leggere e interpretare. Per indicizzare un sito web la funzione degli spider risulta essere importantissima, infatti un sitoincomincia la scalata sui motori di ricerca appena viene interpretato dallo spider che lo esamina.

Share on Facebook

You must be logged in to post a comment.