Googlebot

1
Googlebot
Googlebot es el robot de bsqueda usado por Google. Colecciona documentos desde la web para construir una base
de datos para el motor de bsqueda Google.
Si un webmaster no quiere que su pgina sea descargada por un Googlebot, puede insertar un texto llamado
robots.txt, el cual puede hacer que Googlebot (y otros bots) no investiguen una o varias pginas o incluso todo el
sitio web.
Googlebot tiene dos versiones, deepbot y freshbot. Deepbot investiga profundamente, tratando de seguir cualquier
enlace en esa pgina, adems de poner esta pgina en el cach, y dejarla disponible para Google. En Marzo del 2006,
completaba este proceso en casi un mes.
[cita requerida]
Freshbot investiga la web buscando contenido nuevo. Visita
sitios que cambian frecuentemente. Idealmente, el freshbot visitar la pgina de un peridico todos los das, mientras
que la de una revista cada semana, o cada 15 das. As, por ejemplo, puede captar noticias que recin hayan ocurrido,
sin tener que esperar semanas.
Googlebot descubre enlaces a otras pginas, y se dirige hacia ellos tambin, as puede abarcar toda la web
fcilmente.
Googlebot es el robot que utiliza Google para 'rastrear' los sitios de Internet. No solamente indexa pginas web
(HTML), sino que tambin extrae informacin de ficheros PDF, PS, XLS, DOC y algunos otros ms.
La frecuencia con la que Googlebot accede a un sitio web depende del PageRank de ste. Mientras mayor sea este
valor, el robot acceder ms asiduamente a sus pginas.
Por ejemplo, podemos comprobar que los sitios con PR10 (el valor ms alto), como yahoo.com o
usatoday.com, han sido 'rastreados' por Googlebot ayer o incluso o hoy mismo, mientras que otros han sido
accedidos hace varias semanas. Esto se puede comprobar accediendo al 'cache' de esta pgina.
Para comprobar si Googlebot ha accedido a nuestro sitio web, deberemos echar un vistazo a los logs de nuestro
servidor. En ellos, deberemos observar si hay registros de accesos en los que aparezca 'googlebot'. Generalmente
aparecer el nombre del servidor, el cual podr ser alguno de estos:
SERVIDOR DIRECCION IP
crawl1.googlebot.com 216.239.46.20
crawl2.googlebot.com 216.239.46.39
crawl3.googlebot.com 216.239.46.61
crawl4.googlebot.com 216.239.46.82
... ...
crawl9.googlebot.com 216.239.46.234
crawler1.googlebot.com 64.68.86.9
crawler2.googlebot.com 64.68.86.55
... ...
crawler14.googlebot.com 64.68.82.138
Una vez que Googlebot haya 'rastreado' nuestra pgina, seguir los enlaces que en ella encuentre (los HREF y los
SRC).
Por lo tanto, si quieres que Googlebot indexe tu pgina web, solamente es necesario que algn otro sitio tenga un
hiperenlace al tuyo. Si no es as, siempre puedes aadir directamente tu URL.
Googlebot
2
Referencias
Enlaces externos
FAQ oficial de Googlebot (http:/ / www. google. es/ bot. html)
Simulador de Googlebot (http:/ / www. dnsqueries. com/ es/ simulador_de_googlebot. php)
Fuentes y contribuyentes del artculo
3
Fuentes y contribuyentes del artculo
Googlebot Fuente: http://es.wikipedia.org/w/index.php?oldid=73429032 Contribuyentes: Alexan, Arvaker84, Barri, Galaxy4, Galio, Jkbw, Jstconst, Juanledvd, Poc-oban, Txuspe, 35 ediciones
annimas
Licencia
Creative Commons Attribution-Share Alike 3.0
//creativecommons.org/licenses/by-sa/3.0/