Ir a la navegaciónIr a la búsqueda
«Deep web» redirige aquí. Para el documental, véase Deep Web (documental).
Internet profunda1 (del inglés, deep web), internet invisible2 o internet oculta3 es el
contenido de internet que no está indexado por los motores de búsqueda convencionales,
debido a diversos factores.4 El término se atribuye al informático Mike Bergman.5 Es el
opuesto al Internet superficial.
Índice
1Origen
2Tamaño
3Motivos
4Denominación
5Internet académica invisible
o 5.1Tamaño de la Internet académica invisible.
6Rastreando la internet profunda
7Métodos de profundización
o 7.1Las arañas (web crawlers)
o 7.2Tor
o 7.3Criptomoneda
8Recursos de la internet profunda
9Véase también
10Referencias
11Enlaces externos
Origen[editar]
La principal causa de la existencia de la internet profunda es la imposibilidad de los
motores de búsqueda (Google, Yahoo, Bing, etc.) de encontrar o indexar gran parte de la
información existente en Internet. Si los buscadores tuvieran la capacidad para acceder a
toda la información entonces la magnitud de la «internet profunda» se reduciría casi en su
totalidad. No obstante, aunque los motores de búsqueda pudieran indexar la información
de la internet profunda esto no significaría que esta dejara de existir, ya que siempre
existirán las páginas privadas. Los motores de búsqueda no pueden acceder a la
información de estas páginas y sólo determinados usuarios, aquellos con contraseñas o
códigos especiales, pueden hacerlo.
En la Deep Web pueden establecerse contactos que no son monitoreados, nadie está allí
observando. Además las transferencias tanto de mercancía como de pagos son
prácticamente imposible de rastrear. La web está dividida en dos partes, la web
superficial y la web profunda. Esta última es la que se conoce como Deep Web, donde se
ubica todo contenido que no es indexable por los buscadores, o al que los usuarios no
pueden acceder mediante un buscador
web como DuckDuckGo, Startpage, Yandex, Ecosia, Yahoo!, Google o Bing.
La internet profunda no es una región prohibida o mística de internet, y la tecnología
relacionada con ella por lo general no es conspirativa, peligrosa o ilegal. En ella se alberga
todo tipo de recurso al que se es difícil de acceder mediante métodos comunes como los
motores de búsqueda populares.
Una parte de la internet profunda consiste en redes internas de instituciones científicas y
académicas que forman la denominada Academic Invisible Web: («Internet académica
invisible») la cual se refiere a las bases de datos que contienen avances tecnológicos,
publicaciones científicas, y material académico en general a los cuales no se pueden
acceder fácilmente.6
Tamaño[editar]
La internet profunda es un conjunto de sitios web y bases de datos que buscadores
comunes no pueden encontrar ya que no están indexadas. El contenido que se puede
hallar dentro de la internet profunda es muy amplio.7
El internet se ve dividido en dos ramas, la internet profunda y la superficial. La internet
superficial se compone de páginas indexadas en servidores DNS con una alfabetización y
codificación de página perfectamente entendible por los motores de búsqueda, mientras
que la internet profunda está compuesta de páginas cuyos dominios están registrados con
extensiones .onion y los nombres de los dominios están codificados en una trama HASH.
Estas páginas se sirven de forma ad hoc, y no necesitan registrarse, basta con que tu
ordenador tenga funcionando un servicio onion, que hará las veces de un servicio dns,
pero especial para las páginas del internet profundo. Mediante una red P2P, se replican las
bases de datos que contienen la resolución de nombres HASH.
Mientras que las páginas normales son identificadas mediante el protocolo UDP/IP, las
páginas .onion son repetidas por el ramal al que se ha conectado el navegador
especializado para tal sistema de navegación segura. El sistema de búsqueda es el mismo
que usa BitTorrent. El contenido se coloca en una base de datos y se proporciona sólo
cuando lo solicite el usuario.8
En 2010 se estimó que la información que se encuentra en la internet profunda es de
7500 terabytes, lo que equivale a aproximadamente 550 billones de documentos
individuales. El contenido de la internet profunda es de 400 a 550 veces mayor de lo que
se puede encontrar en la internet superficial. En comparación, se estima que la internet
superficial contiene solo 19 terabytes de contenido y un billón de documentos individuales.
También en 2010 se estimó que existían más de 200 000 sitios en la internet profunda.9
Estimaciones basadas en la extrapolación de un estudio de la Universidad de California en
Berkeley especula que actualmente la internet profunda debe tener unos 91 000
terabytes.10
La Association for Computing Machinery (ACM) publicó en 2007 que Google y Yahoo
indexaban el 32 % de los objetos de la internet profunda, y MSN tenía la cobertura más
pequeña con el 11 %. Sin embargo, la cobertura de los tres motores era de 37 %, lo que
indicaba que estaban indexando casi los mismos objetos.11
Motivos[editar]
Motivos por los que los motores de búsqueda no pueden indexar algunas páginas:
Documentos o información oculta: Pdfs que no se encuentran en las paginas
indexadas, listas de datos no publicas (sobre todo los ciber-criminales)...
Web contextual: páginas cuyo contenido varía dependiendo del contexto (por
ejemplo, la dirección IP del cliente, de las visitas anteriores, etc.).
Contenido dinámico: páginas dinámicas obtenidas como respuesta a parámetros, por
ejemplo, datos enviados a través de un formulario.
Contenido de acceso restringido: páginas protegidas con contraseña, contenido
protegido por un Captcha, etc.
Contenido No HTML: contenido textual en archivos multimedia, otras extensiones
como exe, rar, zip, etc.
Software: Contenido oculto intencionadamente, que requiere un programa o protocolo
específico para poder acceder (ejemplos: Tor, I2P, Freenet)
Páginas no enlazadas: páginas de cuya existencia no tienen referencia los
buscadores; por ejemplo, páginas que no tienen enlaces desde otras páginas.
Denominación[editar]
Son páginas de texto, archivos, o en ocasiones información a la cual se puede acceder por
medio de la World Wide Web que los buscadores de uso general no pueden, debido a
limitaciones o deliberadamente, agregar a sus índices de páginas web.
La Web profunda se refiere a la colección de sitios o bases de datos que un buscador
común, como Google, no puede o no quiere indexar. Es un lugar específico del internet
que se distingue por el anonimato. Nada que se haga en esta zona puede ser asociado
con la identidad de uno, a menos que uno lo desee.12
Bergman, en un artículo semanal sobre la Web profunda publicado en el Journal of
Electronic Publishing, mencionó que Jill Ellsworth utilizó el término «Web invisible»
en 1994 para referirse a los sitios web que no están registrados por ningún motor de
búsqueda.13
En su artículo, Bergman citó la entrevista que Frank García hizo a Ellsworth en 1996:14
Sería un sitio que, posiblemente, esté diseñado razonablemente, pero no se molestaron en
registrarlo en alguno de los motores de búsqueda. ¡Por lo tanto, nadie puede encontrarlos! Estás
oculto. Yo llamo a esto la Web invisible.
Otro uso temprano del término Web Invisible o web profunda fue por Bruce Monte y Mateo
B. Koll de Personal Library Software, en una descripción de la herramienta @ 1 de web
profunda, en un comunicado de prensa de diciembre de 1996.15
La importancia potencial de las bases de datos de búsqueda también se reflejó en el
primer sitio de búsqueda dedicado a ellos, el motor AT1 que se anunció a bombo y platillo
a principios de 1997. Sin embargo, PLS, propietario de AT1, fue adquirida
por AOL en 1998, y poco después el servicio AT1 fue abandonado.13
El primer uso del término específico de web profunda, ahora generalmente aceptada,
ocurrió en el estudio de Bergman de 2001 mencionado anteriormente.
Por otra parte, el término web invisible se dice que es inexacto porque: