LA INTELIGENCIA ARTIFICIAL Y LA IDENTIFICACIÓN DE SEÑALES QUE

SE INCLUYEN MUESTRAS DE ACOSO Y ODIO EN LOS COMENTARIOS Y

LOS CONTENIDOS QUE SE PUBLICAN EN LA RED SOCIAL FACEBOOK

Problema general.

-¿Qué relación existe entre la AI y el reconocimiento de patrones para identificar

señales que se incluyen muestras de acoso y odio en los comentarios y los
contenidos que se publican en la red social Facebook?

Problemas específicos.

-¿Cómo influye la comprensión de un contexto mediante un software en la

censura y moderación donde se incluyen muestras de acoso y odio en los
comentarios y los contenidos entre los usuarios de Facebook?

-¿Cómo influye el software Deep text en la censura y moderación donde se

incluyen muestras de acoso y odio en los comentarios y los contenidos entre
los usuarios de Facebook?

Objetivos

Objetivo general.

-Determinar como la AI se relaciona en el reconocimiento de patrones para

identificar señales que se incluyen muestras de acoso y odio en los
comentarios y los contenidos que se publican en la red social Facebook?

Objetivos específicos.

-Determine como influye la comprensión de un contexto mediante un software

en la censura y moderación donde se incluyen muestras de acoso y odio en los
comentarios y los contenidos entre los usuarios de Facebook

-Determine como influye el software Deep text en la censura y moderación

donde se incluyen muestras de acoso y odio en los comentarios y los
contenidos entre los usuarios de Facebook.

Hipótesis.

Hipótesis general.

-La AI influye en el reconocimiento de patrones para identificar señales que se

incluyen muestras de acoso y odio en los comentarios y los contenidos que se
publican en la red social Facebook

Hipótesis específico.

-La comprensión de un contexto mediante un software influye

significativamente en la censura y moderación donde se incluyen muestras de
acoso y odio en los comentarios y los contenidos entre los usuarios de
Facebook.

-El software Deep text influye significativamente en la censura y moderación

donde se incluyen muestras de acoso y odio en los comentarios y los
contenidos entre los usuarios de Facebook.

Marco teórico.

Antecedente de problemas.

Bases teóricas

Cap. 1.

Inteligencia artificial, o AI
La inteligencia artificial (Artificial Intelligence, o AI) es la simulación de procesos
de inteligencia humana por parte de máquinas, especialmente sistemas
informáticos. Estos procesos incluyen el aprendizaje (la adquisición de
información y reglas para el uso de la información), el razonamiento (usando las
reglas para llegar a conclusiones aproximadas o definitivas) y la
autocorrección. Las aplicaciones particulares de la AI incluyen sistemas
expertos, reconocimiento de voz y visión artificial.

El término AI fue acuñado por John McCarthy, un informático estadounidense,

en 1956 durante la Conferencia de Dartmouth, donde nació la disciplina. Hoy en
día, es un término general que abarca todo, desde la automatización de procesos
robóticos hasta la robótica actual. Ha ganado prominencia recientemente debido,
en parte, a los grandes volúmenes de datos, o al aumento de velocidad, tamaño
y variedad de datos que las empresas están recopilando. AI puede realizar tareas
tales como identificar patrones en los datos de manera más eficiente que los
seres humanos, lo que permite a las empresas obtener más información sobre
sus datos.

Tipos de inteligencia artificial

AI puede ser categorizado en cualquier número de maneras, pero aquí hay dos
ejemplos.

El primero clasifica los sistemas de AI como AI débil o AI fuerte. La AI débil,

también conocida como AI estrecha, es un sistema de AI que está diseñado y
entrenado para una tarea en particular. Los asistentes personales virtuales,
como Siri de Apple, son una forma de débil de AI.

La AI fuerte, también conocida como inteligencia general artificial, es un sistema

de AI con habilidades cognitivas humanas generalizadas, de modo que cuando
se le presenta una tarea desconocida, tiene suficiente inteligencia para encontrar
una solución. La prueba de Turing, desarrollada por el matemático Alan Turing
en 1950, es un método utilizado para determinar si una computadora puede
realmente pensar como un humano, aunque el método es polémico.

El segundo ejemplo es de Arend Hintze, profesor asistente de biología

integradora e ingeniería y ciencias de computación en la Universidad Estatal de
Michigan. Categoriza la AI en cuatro tipos, desde el tipo de sistemas de AI que
existen hoy en día hasta los sistemas sensitivos, que aún no existen. Sus
categorías son las siguientes:

• Tipo 1: Máquinas reactivas. Un ejemplo es Deep Blue, el programa de ajedrez

de IBM que venció a Garry Kasparov en los años noventa. Deep Blue puede
identificar piezas en el tablero de ajedrez y hacer predicciones, pero no tiene
memoria y no puede usar experiencias pasadas para informar a las futuras.
Analiza movimientos posibles –los propio y los de su oponente– y elige el
movimiento más estratégico. Deep Blue y AlphaGO de Google fueron diseñados
para propósitos estrechos y no pueden aplicarse fácilmente a otra situación.

• Tipo 2: Memoria limitada. Estos sistemas de AI pueden usar experiencias

pasadas para informar decisiones futuras. Algunas de las funciones de toma de
decisiones en vehículos autónomos han sido diseñadas de esta manera. Las
observaciones son utilizadas para informar las acciones que ocurren en un futuro
no tan lejano, como un coche que ha cambiado de carril. Estas observaciones
no se almacenan permanentemente.

• Tipo 3: Teoría de la mente. Este es un término psicológico. Se refiere a la

comprensión de que los demás tienen sus propias creencias, deseos e
intenciones que afectan las decisiones que toman. Este tipo de AI aún no existe.
• Tipo 4: Autoconocimiento. En esta categoría, los sistemas de AI tienen un
sentido de sí mismos, tienen conciencia. Las máquinas con conciencia de sí
comprenden su estado actual y pueden usar la información para inferir lo que
otros están sintiendo. Este tipo de AI aún no existe.

Ejemplos de tecnología AI

• La automatización es el proceso de crear automáticamente un sistema o una

función de proceso. La automatización robótica de procesos (RPA), por ejemplo,
puede programarse para realizar tareas repetibles de alto volumen normalmente
realizadas por seres humanos. La RPA es diferente de la automatización de TI
en que se puede adaptar a las circunstancias cambiantes.

• El aprendizaje automático es la ciencia de conseguir que una computadora

actúe sin programación. El aprendizaje profundo es un subconjunto del
aprendizaje automático que, en términos muy simples, puede considerarse como
la automatización de la analítica predictiva. Existen tres tipos de algoritmos de
aprendizaje automático: el aprendizaje supervisado, en el que los conjuntos de
datos están etiquetados para que los patrones puedan ser detectados y
utilizados para etiquetar nuevos conjuntos de datos; el aprendizaje no
supervisado, en el que los conjuntos de datos no están etiquetados y se
clasifican de acuerdo a similitudes o diferencias; y el aprendizaje de refuerzo, en
el que los conjuntos de datos no están etiquetados, pero después de realizar una
acción o varias acciones, el sistema de AI recibe retroalimentación.

• La visión de la máquina es la ciencia de hacer que las computadoras vean. La

visión de la máquina captura y analiza la información visual usando una cámara,
la conversión de analógico a digital y el procesamiento de la señal digital. A
menudo se compara con la vista humana, pero la visión artificial no está
vinculada a la biología y puede programarse para ver a través de las paredes,
por ejemplo. Se utiliza en una amplia gama de aplicaciones, desde la
identificación de la firma hasta el análisis de imágenes médicas. La visión por
computador, que se centra en el procesamiento de imágenes a máquina, suele
combinarse con la visión artificial.
• El procesamiento del lenguaje natural (PNL, o NLP por sus siglas en inglés) es
el procesamiento del lenguaje humano y no informático por un programa
informático. Uno de los ejemplos más antiguos y conocidos de PNL es la
detección de spam, que mira la línea de asunto y el texto de un correo electrónico
y decide si es basura. Los enfoques actuales de la PNL se basan en el
aprendizaje automático. Las tareas de PNL incluyen traducción de texto, el
análisis de sentimientos y el reconocimiento de voz.

• El reconocimiento de patrones es una rama del aprendizaje automático que se

centra en la identificación de patrones en los datos. El término, hoy, es anticuado.

• La robótica es un campo de la ingeniería centrado en el diseño y fabricación de

robots. Los robots se utilizan a menudo para realizar tareas que son difíciles de
realizar para los seres humanos o es complicado que se desempeñen de manera
consistente. Se utilizan en líneas de montaje para la producción de coches o por
la NASA para mover objetos grandes en el espacio. Más recientemente, los
investigadores están utilizando el aprendizaje automático para construir robots
que puedan interactuar en entornos sociales.

Aplicaciones de AI

• AI en la asistencia sanitaria. Las mayores apuestas están en mejorar los

resultados de los pacientes y reducir los costos. Las empresas están aplicando
el aprendizaje de máquina para hacer diagnósticos mejores y más rápidos que
los seres humanos. Una de las tecnologías sanitarias más conocidas es IBM
Watson. Entiende el lenguaje natural y es capaz de responder a las preguntas
que se le formulan. El sistema extrae datos de los pacientes y otras fuentes de
datos disponibles para formar una hipótesis, que luego presenta con un esquema
de puntuación de confianza. Otras aplicaciones de AI incluyen chatbots, un
programa de computadora utilizado en línea para responder a preguntas y
ayudar a los clientes, para ayudar a programar citas de seguimiento o ayudar a
los pacientes a través del proceso de facturación, así como en asistentes
virtuales de salud que proporcionan retroalimentación médica básica.
• AI en los negocios. La automatización de procesos robóticos se está
aplicando a tareas altamente repetitivas que normalmente realizan los seres
humanos. Los algoritmos de aprendizaje automático se están integrando en las
plataformas de análisis y CRM para descubrir información sobre cómo servir
mejor a los clientes. Los chatbots se han incorporado en los sitios web para
ofrecer un servicio inmediato a los clientes. La automatización de puestos de
trabajo también se ha convertido en un punto de conversación entre académicos
y consultores de TI, como Gartner y Forrester.

• AI en la educación. La AI puede automatizar la calificación, dando a los

educadores más tiempo. AI puede evaluar a los estudiantes y adaptarse a sus
necesidades, ayudándoles a trabajar a su propio ritmo. Los tutores de AI pueden
proporcionar apoyo adicional a los estudiantes, asegurando que se mantengan
en el buen camino. AI podría cambiar dónde y cómo los estudiantes aprenden,
tal vez incluso reemplazando a algunos maestros.

• AI en finanzas. La AI aplicada a las aplicaciones de finanzas personales, como

Mint o Turbo Tax, está transformando a las instituciones financieras.
Aplicaciones como estas podrían recopilar datos personales y proporcionar
asesoramiento financiero. Otros programas, IBM Watson siendo uno, se han
aplicado al proceso de comprar una casa. Hoy en día, el software realiza gran
parte de las operaciones en Wall Street.

• AI en la ley. El proceso de descubrimiento, a través de la revisión de

documentos, en la ley es a menudo abrumador para los seres humanos.
Automatizar este proceso es un mejor uso del tiempo y un proceso más eficiente.
Las startups también están construyendo asistentes informáticos con preguntas
y respuestas que pueden tamizar preguntas programadas para contestar
examinando la taxonomía y la ontología asociadas a una base de datos.

• AI en la fabricación. Esta es un área que ha estado a la vanguardia de la

incorporación de robots en el flujo de trabajo. Los robots industriales solían
realizar tareas únicas y estaban separados de los trabajadores humanos, pero a
medida que la tecnología avanza eso ha cambiado.
https://searchdatacenter.techtarget.com/es/definicion/Inteligencia-artificial-o-AI

Cap. 2

Presentamos DeepText: motor de comprensión de texto de Facebook

PUBLICADO EN 1 de JUNIO de 2016 A AI RESEARCH , APPLIED MACHINE

LEARNING , CORE DATA

El texto es una forma frecuente de comunicación en Facebook. Comprender las

diversas formas en que se usa el texto en Facebook puede ayudarnos a mejorar
las experiencias de las personas con nuestros productos, ya sea que estemos
sacando a la superficie más contenido que la gente quiere ver o filtrando
contenido no deseado como el correo no deseado.

Con este objetivo en mente, construimos DeepText, un motor de comprensión

de texto basado en el aprendizaje profundo que puede comprender con precisión
casi humana el contenido de texto de varios miles de mensajes por segundo,
que abarca más de 20 idiomas.

DeepText aprovecha varias arquitecturas de redes neuronales profundas,

incluidas las redes neuronales convolucionales y recurrentes, y puede realizar el
aprendizaje a nivel de palabra y nivel de carácter. Usamos FbLearner Flow and
Torch para el entrenamiento modelo. Los modelos entrenados se sirven con un
clic de un botón a través de la plataforma FBLearner Predictor, que proporciona
una infraestructura de distribución de modelos escalable y confiable. Los
ingenieros de Facebook pueden construir fácilmente nuevos modelos de
DeepText a través de la arquitectura de autoservicio que proporciona DeepText.

Por qué el aprendizaje profundo

La comprensión del texto incluye múltiples tareas, como la clasificación general

para determinar de qué se trata una publicación, por ejemplo el baloncesto, y el
reconocimiento de entidades, como los nombres de los jugadores, las
estadísticas de un juego y otra información significativa. Pero para acercarnos a
cómo los humanos entienden el texto, debemos enseñarle a la computadora a
entender cosas como la jerga y la desambiguación del sentido de la palabra.
Como ejemplo, si alguien dice: "Me gusta Blackberry", ¿eso significa la fruta o el
dispositivo?

La comprensión del texto en Facebook requiere la resolución de problemas

difíciles de escalado y lenguaje donde las técnicas tradicionales de PNL no son
efectivas. Al utilizar el aprendizaje profundo, podemos comprender mejor el texto
en varios idiomas y usar datos etiquetados de manera mucho más eficiente que
las técnicas tradicionales de PNL. DeepText ha desarrollado y ampliado ideas
en aprendizaje profundo que fueron desarrolladas originalmente en documentos
de Ronan Collobert y Yann LeCun de Facebook AI Research.

Comprender más idiomas más rápido

La comunidad en Facebook es verdaderamente global, por lo que es importante

que DeepText comprenda tantos idiomas como sea posible. Las técnicas
tradicionales de PNL requieren una extensa lógica de preprocesamiento basada
en ingeniería intrincada y conocimiento del lenguaje. También hay variaciones
dentro de cada idioma, ya que las personas usan la jerga y la ortografía diferente
para comunicar la misma idea. Al utilizar el aprendizaje profundo, podemos
reducir la dependencia del conocimiento dependiente del idioma, ya que el
sistema puede aprender del texto sin preprocesamiento o con poco
procesamiento. Esto nos ayuda a abarcar múltiples idiomas rápidamente, con un
mínimo esfuerzo de ingeniería.

Comprensión más profunda

En los enfoques tradicionales de PNL, las palabras se convierten en un formato

que un algoritmo de computadora puede aprender. A la palabra "hermano" se le
puede asignar un ID entero como 4598, mientras que la palabra "hermano" se
convierte en otro entero, como 986665. Esta representación requiere que cada
palabra se vea con deletreos exactos en los datos de entrenamiento para que se
entienda.

Con el aprendizaje profundo, podemos usar "incrustaciones de palabras", un

concepto matemático que preserva la relación semántica entre las palabras.
Entonces, cuando se calcula correctamente, podemos ver que la palabra
incrustaciones de "hermano" y "hermano" están cerca en el espacio. Este tipo de
representación nos permite capturar el significado semántico más profundo de
las palabras.

Usando incrustaciones de palabras, también podemos entender la misma

semántica en múltiples idiomas, a pesar de las diferencias en la forma de la
superficie. Como ejemplo, para inglés y español, "feliz cumpleaños" y "feliz
cumpleaños" deberían estar muy cerca el uno del otro en el espacio de inserción
común. Mediante el mapeo de palabras y frases en un espacio de inclusión
común, DeepText es capaz de crear modelos que son independientes del idioma.

La escasez de datos etiquetados

El lenguaje escrito, a pesar de las variaciones mencionadas anteriormente, tiene

una gran cantidad de estructura que puede extraerse del texto no etiquetado
utilizando aprendizaje no supervisado y capturado en incrustaciones. El
aprendizaje profundo ofrece un buen marco para aprovechar estas
incrustaciones y perfeccionarlas aún más con pequeños conjuntos de datos
etiquetados. Esta es una ventaja significativa sobre los métodos tradicionales,
que a menudo requieren grandes cantidades de datos etiquetados como
humanos que son ineficientes de generar y difíciles de adaptar a nuevas tareas.
En muchos casos, esta combinación de aprendizaje no supervisado y
aprendizaje supervisado mejora significativamente el rendimiento, ya que
compensa la escasez de conjuntos de datos etiquetados.

Explorando DeepText en Facebook

DeepText ya está siendo probado en algunas experiencias de Facebook. En el

caso de Messenger, por ejemplo, el equipo de comprensión de conversación de
AML utiliza DeepText para comprender mejor cuándo alguien podría querer ir a
algún lado. Se usa para detectar intenciones, lo que ayuda a darse cuenta de
que una persona no está buscando un taxi cuando dice algo como: "Acabo de
salir del taxi", en lugar de "Necesito un taxi".

También estamos comenzando a utilizar modelos DeepText de alta precisión y

en varios idiomas para ayudar a las personas a encontrar las herramientas
adecuadas para su propósito. Por ejemplo, alguien podría escribir una
publicación que diga: "Me gustaría vender mi vieja bicicleta por $ 200, ¿alguien
está interesado?". DeepText podría detectar que la publicación se trata de
vender algo, extraer la información significativa tal como el objeto vendido y su
precio, y solicite al vendedor que use las herramientas existentes que facilitan
estas transacciones a través de Facebook.

DeepText tiene el potencial de mejorar aún más las experiencias de Facebook

entendiendo mejor las publicaciones para extraer intención, sentimiento y
entidades (por ejemplo, personas, lugares, eventos), usando señales de
contenido mixto como texto e imágenes, y automatizando la eliminación de
contenido objetable como spam. Muchas celebridades y figuras públicas usan
Facebook para iniciar conversaciones con el público. Estas conversaciones a
menudo atraen cientos o incluso miles de comentarios. Encontrar los
comentarios más relevantes en múltiples idiomas mientras se mantiene la
calidad de los comentarios es actualmente un desafío. Un desafío adicional que
DeepText puede ser capaz de abordar está apareciendo en los comentarios más
relevantes o de alta calidad.

Próximos pasos

Continuamos avanzando en la tecnología DeepText y sus aplicaciones en

colaboración con el grupo de investigación Facebook AI. Aquí hay unos
ejemplos.

Entender mejor los intereses de las personas

Parte de personalizar las experiencias de las personas en Facebook es

recomendar contenido que sea relevante para sus intereses. Para hacer esto,
debemos poder asignar cualquier texto dado a un tema en particular, que
requiere cantidades masivas de datos etiquetados.

Si bien estos conjuntos de datos son difíciles de producir de forma manual,

estamos probando la capacidad de generar grandes conjuntos de datos con
etiquetas semi-supervisadas utilizando páginas públicas de Facebook. Es
razonable suponer que las publicaciones en estas páginas representarán un
tema específico; por ejemplo, las publicaciones en la página de Steelers
contendrán texto sobre el equipo de fútbol de los Steelers. Usando este
contenido, entrenamos un clasificador de interés general que llamamos
PageSpace, que utiliza DeepText como su tecnología subyacente. A su vez, esto
podría mejorar aún más el sistema de comprensión de texto en otras
experiencias de Facebook.

Comprensión conjunta del contenido textual y visual

A menudo las personas publican imágenes o videos y también los describen

usando algún texto relacionado. En muchos de esos casos, la intención de
comprensión requiere la comprensión conjunta del contenido textual y visual.
Como ejemplo, un amigo puede publicar una foto de su nuevo bebé con el texto
"Día 25." La combinación de la imagen y el texto deja en claro que la intención
aquí es compartir noticias familiares. Estamos trabajando con los equipos de
comprensión de contenido visual de Facebook para construir nuevas
arquitecturas de aprendizaje profundo que aprenden de forma conjunta a partir
de las aportaciones textuales y visuales.

Nuevas arquitecturas de redes neuronales profundas

Continuamos desarrollando e investigando nuevas arquitecturas de redes

neuronales profundas. Las redes neuronales recurrentes bidireccionales (BRNN)
muestran resultados prometedores, ya que pretenden capturar tanto las
dependencias contextuales entre las palabras a través de la recurrencia como la
semántica invariante de posición a través de la convolución. Hemos observado
que los BRNN alcanzan tasas de error más bajas que las redes neuronales
convolucionales o recurrentes regulares para la clasificación; en algunos casos,
las tasas de error son tan bajas como el 20 por ciento.

Si bien la aplicación de técnicas de aprendizaje profundo para la comprensión

del texto continuará mejorando los productos y experiencias de Facebook, lo
contrario también es cierto. Los datos no estructurados en Facebook presentan
una oportunidad única para que los sistemas de comprensión de texto aprendan
automáticamente en el lenguaje, ya que es utilizado de forma natural por
personas en múltiples idiomas, lo que hará avanzar aún más el estado del arte
en el procesamiento del lenguaje natural.
https://code.fb.com/core-data/introducing-deeptext-facebook-s-text-
understanding-engine/

La nueva DeepText AI de Facebook clasifica todo lo que escribes

Josh Constine @ joshconstine /1 de junio de 2016

Si Facebooksabe de qué se trata su actualización de estado, puede mostrarla a

las personas que se preocupan por ese tema. Si entiende la diferencia entre los
mensajes "Acabo de salir del taxi" y "Necesito un viaje", puede preguntar si desea
un Uber. Si detecta que está tratando de vender algo en una actualización de
estado, puede formatear automáticamente la publicación con el precio y los
detalles del artículo. Y si Facebook puede determinar qué tipo de comentarios
sobre las publicaciones de celebridades son interesantes y no solo "OH MY GOSH
I LOVE YOU", pueden surgir los que realmente querrás leer.

Estas son las grandes aplicaciones del sistema de inteligencia artificial más nuevo
de Facebook llamado "DeepText" . 400,000 nuevas historias y 125,000
comentarios en publicaciones públicas se comparten cada minuto en
Facebook. DeepText ayudará a Facebook a analizar varios miles por segundo en
20 idiomas con una precisión casi humana.

Una de las primeras aplicaciones obvias para DeepText comenzará a rodar en

Messenger. Cuando DeepText identifica una oración, cree que significa que
necesita transporte, le sugerirá que use las integraciones de transporte de
Messenger con servicios como Uber y Lyft. Reconocer "Necesito un viaje" es fácil,
pero también debería ser capaz de retomar cosas como "¿Debería llamar a un
automóvil?", "Puedo recogerte en 20" o "Recibiré un Uber". .

Facebook explica que "para acercarnos a cómo los humanos entienden el texto,
debemos enseñarle a la computadora a entender cosas como la jerga y la
desambiguación del sentido de la palabra. Como ejemplo, si alguien dice: "Me
gusta Blackberry", ¿eso significa la fruta o el dispositivo? "

Por supuesto, las implicaciones de privacidad pueden sacudir a algunas

personas. Facebook ahora destaca que escanea el contenido de sus mensajes
privados, algo que convirtió a Facebook en el blanco de una demanda colectiva
en el pasado.

Pero al mismo tiempo, DeepText podría ayudar a Facebook a eliminar el acoso y

el abuso. Si puede detectar automáticamente el discurso de odio de las
actualizaciones de estado que simplemente contienen términos controvertidos,
podría evitar que un humano sufra el acoso y tenga que informarlo
manualmente. Facebook ya dice que sus sistemas de inteligencia artificial
reportan más fotos ofensivas que los humanos en su red social.

Con DeepText y sus otras IA de reconocimiento de imágenes, Facebook podría

hacer enormes mejoras en la forma en que dirige el contenido de los autores a los
espectadores. Eso podría darle una ventaja sobre otras redes sociales como
Snapchat o Twitter sin el know-how o el diseño del producto para filtrar y sugerir
agresivamente lo que las personas ven.

La brecha entre los que tienen AI y los que no tienen se está ampliando. Si cada
publicación de News Feed parece interesante, pasarás más tiempo en
Facebook, compartirás más texto allí, DeepText se volverá más inteligente y la
rueda de comentarios de Facebook AI girará más y más rápido para convertirte
en el motor de recomendación de contenido perfecto.

Mark Zuckerberg: la inteligencia artificial censurará "los mensajes de odio"

antes de que se publiquen

Mark Zuckerberg compareció ayer ante el Senado de los Estados Unidos, y entre
las muchas cuestiones que se abordaron hubo una especialmente clave para el
futuro de la plataforma: la gestión de los comentarios y los contenidos que se
publican en esta red social.

Para el creador de Facebook la solución está en la inteligencia artificial. O más

bien lo estará, porque él mismo reconoció que hoy por hoy los algoritmos no
logran diferenciar a la perfección esos 'discursos de odio' que inundan su red
social. Lo que no dijo es que la inteligencia artificial ya censura y modera
contenidos tanto dentro como fuera de Facebook, y no siempre lo hace con
acierto.

La IA censurará y moderará a la perfección en 5 o 10 años

La aplicación de sistemas de inteligencia artificial a la hora de controlar lo que se

publica o no en la red social es algo que en Facebook siguen investigando, pero
como admitía el propio Zuckerberg, hoy por hoy el problema es demasiado difícil
para las máquinas.

En internet, Facebook incluida, hay comentarios y contenidos censurables y

otros que no lo son. Los humanos somos buenos distinguiendo qué contenidos
pueden herir sensibilidades, pero las máquinas siguen teniendo muchos
problemas para diferenciar esos 'discursos de odio'.

Ese es uno de los grandes retos de la inteligencia artificial, y en Facebook lo

saben bien. Al ser preguntado por esta cuestión, Zuckerberg indicó que estos
sistemas acabarán siendo proactivos y lograrán borrando comentarios y
contenidos a posteriori, cuando se detecten y las máquinas entiendan que eran
censurables:

Desde el inicio de la compañía en 2004, comencé en mi dormitorio; éramos mi

compañero de cuarto y yo. No teníamos inteligencia artificial; básicamente
teníamos que aplicar nuestras políticas de manera reactiva. Ahora, cada vez
más, estamos creando herramientas de IA que nos ayudarán a trabajar de forma
proactiva. Algunos problemas se prestan más fácilmente a las soluciones de IA
que otros. Los discursos de odio es uno de los más difíciles.

El problema de detectar ese tipo de contenidos y comentarios no se ha resuelto

de forma perfecta por parte de los sistemas de inteligencia artificial de Facebook,
pero Zuckerberg es optimista con respecto al futuro:

El discurso del odio es uno de los problemas más difíciles de abordar, pero creo
que la inteligencia artificial puede llevarnos allí en cinco o diez años.

Zuckerberg insistió durante su comparecencia en el uso de inteligencia artificial

para "vigilar" el contenido de Facebook. Gracias a ello se podría diferenciar de
forma directa y en tiempo real cuándo esos contenidos o comentarios forman
parte de un debate y son aceptables, o cuándo hay agresiones de por medio y
deberían moderarse y censurarse.

Los humanos somos buenos distinguiendo qué contenidos pueden herir

sensibilidades, pero las máquinas siguen teniendo muchos problemas. Según
Zuckerberg, en 5 o 10 años dejarán de tenerlos.

Sin duda un tema complejo, pero uno que tiene a la inteligencia artificial
funcionando ya tanto en algunos servicios de Facebook como de su
competencia. Esos sistemas de inteligencia artificial están aún lejos de ser
perfectos, y hay algunos ejemplos clamorosos de los problemas que tiene ceder
las tareas de moderación y censura a máquinas y algoritmos.

Facebook, Instagram y la ayuda de DeepText

Zuckerberg no parecía poder o querer acordarse ayer de DeepText, un "motor

de comprensión de texto" que Facebook lanzó en junio de 2016 y que estaba
orientado precisamente a ayudar en este tipo de tareas.

Este sistema, afirmaban entonces, "puede entender con precisión cercana a la

de los seres humanos el contenido textual de varios miles de posts por segundo
en más de 20 idiomas".

DeepText se basa en el uso de redes neurales y deep learning, lo que significa

que tras entrenar al sistema con las suficientes muestras es posible entregarle a
este sistema un texto para que pueda extraer ciertas conclusiones sobre él. Los
propios desarrolladores de DeepText explicaban hasta dónde podía llegar el
desarrollo:

DeepText tiene el potencial de mejorar aún más las experiencias de Facebook

al comprender mejor los mensajes para extraer la intención, el sentimiento y las
entidades (por ejemplo, personas, lugares, eventos), al utilizar señales de
contenido mixtas como texto e imágenes y automatizar la eliminación de
contenido inaceptable como el spam.
No queda del todo claro si este es el sistema que utilizan en Facebook para tratar
de moderar y censurar el contenido inapropiado, pero lo que es seguro es que el
sistema se utiliza en Instagram, empresa que Facebook compró en 2012.

El problema de DeepText y otros sistemas similares es el de los falsos positivos:

bloquear comentarios y contenidos que no eran tóxicos.

En Wired precisamente hablaban de cómo Kevin Systrom, el CEO de Instagram,

acabó apostando tanto por esta solución que no solo la aplicó para luchar contra
el spam, sino también con aquellos comentarios que violaran las normas
comunitarias de uso del servicio

El entrenamiento del sistema fue intensivo: se analizaron cerca de dos millones

de comentarios y cada comentario fue analizado al menos dos veces para
confirmar el contexto y determinar si es o no apropiado. En ese caso, explicaban,
se clasificaría el comentario en categorías especiales como 'comportamiento
prohibido', 'racismo', 'acoso sexual' o 'bullying'.

El sistema lleva algo menos de un año funcionando en Instagram, pero incluso

el propio Systrom admitía que está lejos de ser perfecto. Entre los principales
riesgos está el de los falsos positivos:

Es el problema clásico. Si quieres precisión, acabas clasificando mal un montón

de cosas que eran útiles. Lo que no queremos es estar en una situación en la
que bloqueamos algo que no deberíamos bloquear. La realidad es que eso no
va a ocurrir, así que la pregunta es: ¿compensa ese margen de error todo lo
realmente malo que se bloquea?". Parece claro que aquí Instagram prefiere ser
algo más pasivo y conceder, al menos de momento, que el sistema puede no
detectar ciertos comentarios aun cuando estos son inapropiados.

Las grandes tratan de atajar el odio con IA

El problema del 'discurso del odio' ha sido tratado por muchos ingenieros en este
ámbito. Thomas Davidson, que ha copublicado estudios como esteal respecto,
ayudó a desarrollar un sistema —el código está en GitHub— para atajarlo en
Twitter.

Como en el caso de Facebook, el problema es que una palabra que tiene ciertos
significados puede ser entendida de otra forma según el contexto o el paso del
tiempo. Aquí los términos utilizados por todo tipo de jergas hacen aún más difícil
ese tratamiento y entendimiento, sobre todo cuando palabras ofensivas también
pueden ser totalmente inofensivas cuando las usamos por ejemplo como parte
de una broma a un conocido. El contexto lo es todo, y a menudo no basta con
analizar un comentario o contenido de forma independiente, sino que hay que
analizar el contexto en el que fue publicado.
En Google también llevan tiempo trabajando con este problema. La API llamada
Perspective, que forma parte del proyecto Jigsaw —como también lo hace esa
llamativa VPN llamada Outline—. Como explicamos entonces, este motor
procesa comentarios de forma automática y les otorga una puntuación de 0 a
100 en función de su grado de toxicidad.

Como en el caso anterior, el motor de inteligencia artificial utilizado en

Perspective hace uso también de aprendizaje profundo y de un entrenamiento
intensivo. Los desarrolladores de Google lo probaron con millones de
comentarios publicados en The New York Times y en la Wikipedia y que fueron
analizados y etiquetados para entrenar a ese sistema más enfocado a palabras
tóxicas que a ideas tóxicas

Cualquiera puede probar a escribir un comentario (en inglés) en la web del

servicio para ver cómo de tóxico es según este motor, aunque parece claro que
el sistema aún tiene mucho camino por recorrer. La frase 'Eres bastante
inteligente para ser chica' ('you’re pretty smart for a girl') se considera como 'poco
probable que sea percibido como tóxico' (índice 0,28) mientras que la frase 'eres
gili***** pero te adoro' ('you're an asshole, but I adore you') se considera como
'probable que se perciba como tóxica' (índice 0,92).

Todas las grandes tratan de atajar el problema del spam con inteligencia artificial,
pero por ahora los resultados no son óptimos.

Otra opción, como señalaban en New Scientist, era la de aprender no de

palabras tóxicas, sino de la forma en la que hablan los miembros de
comunidades en las que ese tipo de tono tóxico se utiliza con frecuencia.

El estudio de un grupo de investigadores de la Universidad McGill en Montreal

precisamente aprovechaba ese concepto y lo aplicaba a un ejemplo curioso: los
posts de grupos con frecuentes comentarios tóxicos en Reddit entre 2006 y 2016.
El sistema parecía detectar muchos menos falsos positivos y lograba detectar
comentarios que aun sin usar palabras tóxicas seguían siendo ataques a otros
usuarios. Por ejemplo, con la frase 'No veo ningún problema. Los animales
atacan a otros animales constantemente' en la que el término 'animales' estaba
siendo usada como un insulto racista.

Luces y sombras de la IA como moderadora y 'curadora' de contenidos

Los algoritmos dominan nuestra vida, y aunque algunos nos la cambian para
bien, estamos empezando a darnos cuenta de cómo dejar que una máquina
tome decisiones puede no ser muy buena idea.

Esa realidad es patente en un montón de disciplinas, y desde luego lo es también

en el mundo de las redes sociales. Facebook, por ejemplo, censuró una de las
fotos más célebres de la historia (en la imagen) tapando a la niña desnuda
protagonista de la foto. Hablamos de este y otros casos en el pasado. Casos
preocupantes como el de esos algoritmos que tratan de decidir quién debe ser
contratado, cuál de nuestros pequeños tiene más opciones de acabar siendo un
criminal o quién de entre una serie de fotografías tiene también más opciones de
cometer actos delictivos (el algoritmo resultó ser racista).

Hay dos problemas con esos algoritmos que desarrollan Google, Facebook y
otras empresas: no podemos auditarlos, pero sobre todo, están creados por
seres humanos y por tanto no son 100% objetivos.

Hay al menos dos problemas con esos algoritmos que tratan de controlar
nuestras vidas. El primero, que normalmente no podemos auditarlos: las
empresas que los utilizan protegen su propiedad intelectual al máximo, y no
liberan ese código o no son transparentes a la hora de usarlo y pasan cosas
como esta.

El segundo, que quienes programan esos algoritmos son humanos como tú y

como yo, con sus propias experiencias y opiniones que en mayor o menor
medida pueden acabar afectando a esos sistemas. Eso hace que acabemos
teniendo unos algoritmos sesgados, machistas, condicionados, subjetivos y tan
injustos como nosotros mismos.

Esos mismos problemas afectan a esa labor de moderación y censura que

Facebook o Google tratan de resolver a través de la inteligencia artificial. Que
estas empresas acaben convirtiéndose en el 'ministerio de la verdad para luchar
contra el problema que ellas mismas crearon (o más bien, que ayudaron a
propagar) no solo es irónico: es inquietante.

El problema es aún más preocupante cuando vemos cómo quienes más utilizan
la inteligencia artificial para filtrar, moderar o censurar lo hacen de forma
peligrosa: sin aparente control. El papel del ser humano a la hora de cuidar que
esos contenidos no se conviertan en tóxicos es más importante que nunca

Es lo que al menos se detectó con el reciente problema con YouTube Kids, un

servicio que ha pasado de tranquilizarnos a aterrorizarnos. Los responsables del
servicio parecen estar preparando ya una versión 'curada' únicamente por
personal humano, algo que a priori parece lo único capaz de atajar la oleada de
vídeos perturbadores que estaban siendo publicados en este servicio.

Esa parece ser la triste conclusión actual del papel de una inteligencia artificial
que parece estar lejos de poder filtrar, moderar y censurar de la forma que
necesitamos. ¿Puede ayudar a hacerlo? Sin duda, pero el papel del ser humano
a la hora de cuidar que esos contenidos no se conviertan en tóxicos sin poner en
riesgo tampoco la necesaria libertad de expresión es más importante que nunca.

https://www.xataka.com/robotica-e-ia/zuckerberg-y-el-papel-de-la-inteligencia-
artificial-como-moderadora-y-censuradora-de-contenidosx