Yahoo Slurp

giovedì, dicembre 18th, 2008

Slurp, è il nome dello spider del noto motore di ricerca Yahoo! si evolve e diventa più amico del file robots.txt, imparando a gestire nel modo corretto le ‘wildcards’ ovvero quei caratteri come ‘*’ e ‘$, caratteri che permettono di gestire numerosi e variabili parametri delle url delle pagine web. Il file ...