Los motores de bsqueda son la forma principal que permite a los usuarios de Internet
encontrar sitios con informacin. Esa es la razn por la cual los sitios publicados en los
listados de los motores de bsqueda incrementan dramticamente su trfico. Todos
quieren aparecer en los listados, desafortunadamente muchos no lo logran por
desconocer el modo en el cual trabajan los motores de bsqueda. Existen tres tipos
de motores de bsqueda, los basados en crawlers, los basados en ndices o
directorios, y las meta motores de bsqueda. Estos se diferencian por la forma
como organizan la informacin y los enlaces a las pginas que se encuentran en
Internet. La eleccin del tipo de motor de bsqueda depende, principalmente, de la
necesidad de informacin, el nmero de pginas que tienen indexadas, el nivel de
actualizacin y un tanto de la experiencia y gusto que se tenga sobre alguna
herramienta de bsqueda en especial.
Motores de Bsqueda basados en crawelr.- Los motores de bsqueda basados en
crawlers consisten en bases de datos muy voluminosas generadas como resultado de
la indexacin de partes significativas de los documentos que han sido analizados
previamente en Internet. Los motores de
bsqueda suelen recoger documentos en
formato HTML y otros tipos de recursos,
como noticias. La tarea es realizada por un
programa denominado crawler (robot o
spider) que recorre la red de forma
automtica explorando los servidores a nivel
mundial, o en el mbito de especializacin
del buscador (geogrfico, idiomtico o
temtico).
Motores de bsqueda basados en directorios.- Listan sitios en categoras,
significando esto que solamente indexan la pgina principal de su sitio (o secciones de
su sitio), y no todas las pginas. Normalmente ignoran toda la pre-promocin y usted
debe proveer el ttulo, la descripcin y las palabras clave de su sitio al sugerir la URL al
motor de bsqueda. Estos motores de bsqueda por lo general son operados por
humanos quienes hechan una mirada a su sitio y se reservan el derecho de cambiar el
ttulo, descripcin y palabras claves si lo consideran apropiado. Los sitios en una
categora usualmente se listan en orden alfabtico.
Meta ndice robot: tiene el mismo objetivo que el robots.txt, pero este es una
instruccin del cdigo HTML de la pgina.