Procesamiento del Lenguaje Natural, Revista nº 47 septiembre de 2011, pp 179-187 recibido 02-05-2011 aceptado 23-05-2011
Resumen : EmotiBlog es una colección de entradas de blogs creado y anotado para detectar expresiones
subjetivas en los nuevos géneros textuales nacidos con la Web 2.0. Investigaciones previas han demostra-
do la relevancia de los sistemas de aprendizaje automático como recurso para la detección de información
de opinión. En este artículo exploramos características adicionales para un análisis profundo de estas téc-
nicas. Además, comparamos EmotiBlog con la colección JRC. Los resultados obtenidos demuestran la
validez de EmotiBlog y nos animan a seguir en esta línea de investigación.
Palabras clave: Análisis de Sentimientos, EmotiBlog, Aprendizaje Automático.
Abstract: EmotiBlog is a collection of blog posts created and annotated for detecting subjective expres-
sions in the new textual genres born with the Web 2.0. Previous work has demonstrated the relevance of
the Machine learning systems as tool for detecting opinionated information. In this paper we explore addi-
tional features for a deep analysis of these techniques. Moreover, we compare EmotiBlog with the JRC
collection. The obtained results demonstrate the usefulness of EmotiBlog and support us to continue in
this research path.
Keywords: Sentiment Analysis, EmotiBlog Corpus, Machine Learning.
ISSN 1135-5948 © 2011 Sociedad Española Para el Procesamiento del Lenguaje Natural
Phones3 y además con la colección JRC4 . Estos Balahur and Montoyo (2008). Estos recursos con-
Phones3 y además con la colección JRC4 . Estos Balahur and Montoyo (2008). Estos recursos con-
experimentos han sido posibles ya que los corpus tienen palabras sueltas cuya polaridad y emoción
comparten ciertos elementos anotados comunes no son necesariamente aquellas anotadas dentro del
(mirar sección 3). De esta forma hemos obtenido recurso en un contexto más amplio. En nuestro
un conjunto mayor de resultados comparables. Una trabajo, sin embargo, hemos creado un corpus am-
vez realizada esta comparación, hemos integrado pliamente anotado tanto a nivel de sentencia como
dos recursos léxicos con relaciones semánticas: de elementos individuales dentro de la frase para
SentiWordNet (Esuli and Sebastiani, 2006) y considerar el contexto y su influencia. El punto de
WordNet (Miller, 1995) para aumentar la cobertura partida de la investigación de la emoción se marcó
de los resultados sin disminuir la precisión. Para principalmente por el trabajo de Wiebe (1994)
mejorar los resultados de los modelos de aprendi- quién estableció los puntos de referencia en la con-
zaje supervisado, hemos utilizados técnicas de figuración del AS para el reconocimiento del len-
PLN ( stemming, lematización, bolsa de palabras , guaje orientado a opinión y discriminar éste del
etc.). En trabajos previos se ha demostrado que lenguaje objetivo. Wiebe propuso un método para
EmotiBlog es un recurso beneficioso para la bús- etiquetar los corpus dependiendo de estos dos as-
queda de respuestas de opinión en Balahur et al. pectos. Nuestro trabajo tiene en consideración esta
(2009c y 2010a,b) o el resumen automático de inicial distinción pero añadimos un nivel más pro-
textos subjetivos (Balahur et al. 2009a). Por tanto, fundo de anotación de la emoción. Ya que expre-
el primer objetivo de esta investigación es demos- siones de emoción también están relacionadas con
trar que EmotiBlog es un recurso útil para entrenar la opción, trabajos previos también incluyen revi-
sistemas AA enfocados a varias aplicaciones. Co- siones y comentarios de usuarios para la clasifica-
mo veremos en la sección 2, la mayor parte de los ción a nivel de documento, usando clasificadores
trabajos hechos en minería de opiniones (MO) sólo de sentimiento, técnicas de AA (Pang and lee,
clasifican la polaridad del sentimiento en positivo 2003), puntuación de características (Dave, La-
o negativo. Por lo tanto, nuestro segundo objetivo, wrence and Pennock, 2003), relaciones sintácticas
es demostrar que el uso de EmotiBlog puede ser y otros atributos con SVM (Mullen and Collier,
beneficioso para valorar otras características como 2004), clasificación de sentimientos considerando
la intensidad y la emoción gracias a su etiquetado escalas de valoración (Pang et al, 2002) y métodos
con granularidad fina. Así, nuestro tercer objetivo supervisados (Chaovalit and Zhow, 2005). Investi-
es demostrar cómo una clasificación más profunda gación en clasificación a nivel de documentos in-
de la tarea de MO es crucial (mirar sección 2) para cluye clasificación de sentimientos de revisiones
avanzar en esta área de investigación. Creemos que (Ng et al. 2006), realimentación de los clientes
hay una necesidad de determinar la intensidad y el (Gamon et al. 2005) o experimentos comparativos
tipo de emoción (Boldrini et al, 2009a) como parte (Cui et al. 2005). Otros analizan sentimientos a
de otros elementos presentados en Boldrini et al. nivel de frase usando técnicas de bootstrapping
(2010). como Riloff and Wiebe (2003), o considerando
adjetivos (Hatzivassiloglou and Wiebe, 2000) o
2 Trabajos relacionados buscando fuerzas de opinión (Wilson et al., 2004).
El AS es una disciplina del PLN que recientemente Otros trabajos incluyen frases comparativas, ex-
ha originado interés en la comunidad científica tracción de relaciones y características basadas en
generando algunos recursos como WordNet Affect MO y resumen (Turney, 2002) o emplean recursos
(Strapparava and Vilitutti, 2004), SentiWordNet léxicos con relaciones semánticas como Sen-
(Esuli and Sebastiani, 2006), Micro-WNOP (Cerini tiWordNet en Ohana y Tierney (2009) o Abulaish
et. Al, 2007) – estos dos últimos con relaciones et al. (2009). Todos estos están enfocados en en-
semánticas con WordNet – o Emotion triggers por contrar y clasificar la polaridad de las palabras de
opinión (mayoritariamente adjetivos) sin tener en
cuenta los modificadores o el contexto. Así, nues-
en Estados Unidos, pero para este trabajo sólo hemos utilizado tro trabajo presenta el primer paso hacia una com-
la parte del Protocolo de Kyoto prensión contextual de las raíces del lenguaje de
3
Es una extensión de EmotiBlog con opiniones acerca de
las expresiones de opinión y el desarrollo de un
teléfonos móviles
4
http://langtech.jrc.ec.europa.eu/JRC_Resources.html sistema de MO para una aplicación concreta. Co-
180
mo veremos en las siguientes secciones, la inclu- empleamos aquellas frases de JRC en las que todos
sión de EmotiBlog permite un análisis y procesa- los anotadores han coincidido. La Tabla 1 también
miento más detallados. Aparte de este recurso, presenta el tamaño de este corpus en frases.
incluimos otros recursos léxicos y técnicas de PLN
para alcanzar un entrenamiento automático más 4 Experimentos del sistema de AA
efectivo y con mejores resultados. Con el fin de demostrar que EmotiBlog es un va-
lioso recurso para AA, hemos llevado a cabo una
3 Corpus
serie de experimentos con diferentes aproximacio-
El corpus que hemos empleado principalmente es nes, elementos y recursos. Dichos experimentos
EmotiBlog 5 Kyoto extendido con una colección de han sido evaluados mediante validación cruzada.
páginas Web sobre teléfonos móviles ( EmotiBlog
Phones). La primera parte ( Kyoto ) es una colección 4.1 EmotiBlog sin información semántica
de entradas de blogs en inglés acerca del Protocolo En este primer paso usamos EmotiBlog Kyoto y
de Kyoto, mientras que la segunda ( Phones) está EmotiBlog Phones por separado, y una combina-
compuesta por opiniones sobre teléfonos móviles ción de ambos ( EmotiBlog Full ). La Tabla 2 pre-
extraídas de Amazon 6 . El modelo de anotación de senta las estadísticas de las distintas clasificaciones
ción de ambos ( EmotiBlog Full ). La Tabla 2 pre-
extraídas de Amazon 6 . El modelo de anotación de senta las estadísticas de las distintas clasificaciones
EmotiBlog contempla la anotación a nivel de do- que evaluamos. Las categorías de los diferentes
cumento, frase y elemento (Boldrini et al. 2010), corpus varían porque no todas ellas han sido en-
distinguiéndolos entre objetivos y subjetivos. La contradas y anotadas en todos los corpus.
lista completa de etiquetas así como la explicación
Clasificación Muestras Categorías
de cada una de ellas está disponible en Boldrini et Objetividad 556 2
al. (2009a). Para cada elemento se anotan ciertos Polaridad 202 2
EmotiBlog
Kyoto
atributos comunes: polaridad , grado (o intensidad) Grado 209 3
Emoción 209 5
y emoción. Cabe destacar que se ha detectado un Obj+Pol 549 3
alto porcentaje de coincidencias entre los dos expe- Obj+Pol+Grado 549 6
rimentados anotadores encargados de etiquetar esta Objetividad 416 2
Polaridad 244 2
colección en un trabajo previo (Boldrini et al,
EmotiBlog
Phones
Grado 236 3
2009a), asegurándonos así de la precisión y fiabili- Emoción 243 4
dad del etiquetado. La Tabla 1 presenta el tamaño Obj+Pol 416 3
del corpus en número de frases. Obj+Pol+Grado 408 7
Objetividad 972 2
Polaridad 446 2
EmotiBlog
Subjetivas
Objetivas Total Grado 445 3
Full
Total POS NEG Emoción 452 5
EmotiBlog Kyoto 210 62 141 347 557 Obj+Pol 965 3
EmotiBlog Phones 246 198 47 172 418 Obj+Pol+Grado 957 7
EmotiBlog Full 456 260 188 519 975
JRC 427 193 234 863 1290 Tabla 2: Número de muestras y categorías por
Tabla 1: Tamaño de los corpus en frases clasificación
Como corpus a comparar con el EmotiBlog usamos Podemos observar que clasificar la objetividad o la
JRC7, un conjunto de 1590 citas extraídas automá- polaridad es más sencillo que clasificar el grado o
ticamente a partir de noticias y, posteriormente, la emoción debido al mayor número de categorías
anotadas las frases que expresaban sentimiento de estas dos últimas. Sin embargo, para poder eva-
(Balahur et al., 2010c). JRC tiene una granularidad luar la polaridad necesitamos evaluar primero la
gruesa en su etiquetado, es decir, sólo contempla objetividad, con el fin de aplicar la polaridad sólo a
objetividad y polaridad para el sentido general de las frases subjetivas (en la frases objetivas esto no
cada frase. Es por eso que, para nuestro propósito tiene sentido ya que siempre la polaridad será neu-
de comparar ambos corpus, utilizamos únicamente tra). La misma situación se aplica al grado: necesi-
estos elementos comunes. Cabe destacar que sólo tamos determinar primero que una frase es
subjetiva y además su polaridad, ya que así podre-
5
mos discernir si el grado se refiere a una opinión
Disponible mediante petición a los autores
6 positiva o negativa. Por esta razón hemos decidido
http://www.amazon.co.uk
7
http://langtech.jrc.ec.europa.eu/JRC_Resources.html combinar clasificaciones, para observar si esta
181
Grado 0.5884 tfidf, ig900 0.6296 tfidf, ig350 0.6146 tfidfn, ig600
Emoción 0.4437 tfidfn, ig350 0.4665 jirsn, ig650 0.4520 jirsn, ig650
Obj+Pol 0.5914 jirsn, ig600 0.5899 tfidfn, ig750 0.6064 jirsn, ig250
Obj+Pol+Grado 0.5612 jirsn 0.5626 jirsn 0.5433 tfidf, ig700
Objetividad 0.6200 jirsn, ig900 0.6405 tfidfn, chi500 0.6368 tfidfn, ig600
Polaridad 0.7746 tfidf, ig250 0.7719 tfidfn 0.7516 tfidfn, ig500
EmotiBlog
Phones
Emoción 0.5675 jirsn, ig850 0.5712 tfidfn, ig800 0.5644 jirsn, ig800
Obj+Pol 0.5332 tfidf 0.5381 tfidf, ig700 0.5431 tfidf
Obj+Pol+Grado 0.4794 tfidf, ig700 0.4903 tfidf 0.4923 jirsn
Tabla 3. Mejores resultados obtenidos y técnicas utilizadas
aproximación mejora los resultados en la evalua- textos (Sebastiani, 2002) y los prometedores resul-
ción de la polaridad y el grado. Hemos combinado tados obtenidos en estudios previos (Boldrini et al.
polaridad y objetividad ( Obj+Pol), con las siguien- 2009b). La implementación utilizada ha sido la de
tes categorías resultantes: objetiva, positiva y ne- Weka 8con los parámetros por defecto. Debido al
gativa. También hemos combinado el grado con la gran número de experimentos realizados (aproxi-
objetividad y la polaridad ( Obj+Pol+Grado), con madamente 1 millón, debido a todas las combina-
las siguiente siete categorías resultantes: objetiva, ciones de técnicas posibles) y parámetros de AA
positiva baja, positiva media, positiva alta , negati- ajustados, en la Tabla 3 presentamos sólo los mejo-
va baja, negativa media y negativa alta . Para este res resultados y la combinación de técnicas para
primer paso, empleamos la clásica bolsa de pala- cada uno de ellos.
bras (word). Para reducir las dimensiones de las En general, los mejores resultados han sido obteni-
muestras también hemos utilizado técnicas de dos utilizando lematización o stemming . El stem-
stemming (stem), lematización (lemma) y métodos ming funciona mejor cuando el número de
reducción de dimensionalidad por selección de características es reducido, mientras que cuando es
reducción de dimensionalidad por selección de características es reducido, mientras que cuando es
términos (RDS). Para RDS hemos comparado dos mayor es más apropiado utilizar lematización. Los
aproximaciones, ganancia de información (ig) y experimentos que utilizan RDS han obtenido mejo-
chi square (x2), por reducir la dimensionalidad res resultados que los que no la utilizan, sin dife-
sustancialmente sin perder efectividad (Yang and rencias significativas entre ig y x2. El mejor núme-
Pedersen, 1997). Hemos aplicado estas técnicas número de características seleccionadas oscila
con diferentes números de características seleccio- entre 100 y 800, dependiendo del número de clases
nadas ( ig50, ig100, …, ig1000). Para pesar estas y muestras de la clasificación: cuantas más haya,
características hemos evaluado las técnicas más más características es necesario seleccionar. Po-
comunes: pesado binario (binary), tf/idf (tfidf ) y demos decir también que, en general, cualquier
tf/idf normalizado (tfidfn ) (Salton and Buckley, técnica de pesado funciona mejor que el pesado
1988). También hemos incluido como técnica de binario, aunque los resultados son muy similares
pesado la utilizada por Gómez et al. (2006) en independientemente del método utilizado.
recuperación de información (RI) para comprobar También observamos que los resultados obtenidos
su fiabilidad en este nuevo ámbito ( jirs ). En resu- con los corpus de Kyoto y Phones separadamente
men podemos decir que este último pesado es simi- nos dan mejores resultados que la unión de ellos
lar a tf/idf pero sin tener en cuenta la frecuencia de (Full). Este resultado era de esperar debido a la
los términos. También hemos utilizado su versión especialización de ambos corpus: al modelo de AA
normalizada ( jirsn ). Como método de aprendizaje es más fácil aprender sobre dominios restringidos.
supervisado hemos elegido máquinas de soporte
vectorial (SVM) por su calidad en clasificación de 8
http://www.cs.waikato.ac.nz/ml/weka/
182
Como podemos deducir a partir de los experimen- caciones se combinan, mayor es la mejora. Esto
tos, la evaluación de las clasificaciones de objeti- ocurre porque en el caso de clasificaciones separa-
vidad y polaridad es más fácil debido al bajo nú- das, el proceso de AA no tiene información acerca
número de categorías de cada una de ellas. Los del resto de clasificaciones. Cuando las juntamos,
resultados obtenidos son más altos que la clasifica- esto ya no ocurre.
ción del grado con una media de mejoría de 4.9% y Combinación Precisión
14.2% respectivamente. Además, una vez se ha P(Obj) ! P(Pol) 0.4352
Kyoto
P(Obj+Pol) 0.6113
detectado la objetividad, determinar la polaridad
EB
P(Obj+Pol) 0.5584
ambos tengan el mismo número de categorías. La
EB
183
dad de 0,25 y una negatividad de 0,75, añadiríamos fico para AS que contiene información muy valio-
por un lado una característica llamada S (con el sa sobre términos subjetivos. De nuevo, no parece
peso dado por el método de pesado), y por otro dos haber diferencias significativas entre las distintas
características más: S-negativa y S-positiva, con técnicas de pesado (exceptuando el binario, que
las puntuaciones negativa y positiva respectiva- siempre da peores resultados). Es importante men-
mente. Estos experimentos con recursos léxicos se cionar el hecho de que las técnicas de RDS apare-
han llevado a cabo en cinco configuraciones dife- cen siempre entre los mejores resultados, con lo
rentes utilizando: sólo sentidos de SWN ( swn), cual parece demostrar que estos métodos son apro-
sólo sentidos de WN ( wn), sentidos de SWN para piados para la desambiguación. Pese a todo, en
términos subjetivos y de WN para el resto trabajos futuros queremos realizar más experimen-
(swn+wn), sólo sentidos de SWN añadiendo las tos para intentar afirmarlo con más rotundi-
puntuaciones ( swn+scores) y sentidos de SWN dad.Podemos observar que los mejores resultados
para términos subjetivos añadiendo las puntuacio- incluyen recursos léxicos. Es más, podemos ver en
nes y de WN para el resto ( swn+wn+scores ). la Tabla 5 que SWN está presente en todos los
Cuando un término no se encuentra en ningún re- mejores resultados, y las puntuaciones de positivi-
curso léxico, se utiliza su lema directamente. dad y negatividad aparecen en un 55% de ellos.
Además, para resolver la ambigüedad, hemos op- Además, la utilización de estas puntuaciones está
tado por utilizar dos técnicas: añadir todos los sen- presente en casi todos los mejores resultados para
tidos y dejar que los métodos de RDS se encarguen el corpus Full. Por lo tanto, esta técnica parece ser
de desambiguar (los mencionados swn, wn, mejor para los corpus que no pertenecen a un do-
swn+wn, swn+scores y swn+wn+scores ), pero minio específico. En nuestros próximos experi-
también añadir únicamente el sentido más frecuen- mentos comprobaremos si esta tendencia continúa
te para cada término ( snw1, wn1, swn1+wn1, utilizando un corpus más grande y que abarque un
swn1+scores y swn1+wn1+scores). En la Tabla 5 mayor número de dominios. Los experimentos nos
se presentan los mejores resultados añadiendo la animan a continuar utilizando SWN en este tipo de
información semántica al proceso de clasificación. tareas y encontrar nuevas formas de aprovechar la
Clasificación f-measure Técnicas información subjetiva que proporciona.
Objetividad 0.6647 swn+wn+scores, tfidf, chi900
Polaridad 0.7602 swn1, tfidfn, chi550 4.3 Experimentos con el corpus de JRC
EmotiBlog
Kyoto
Grado 0.6101 swn1+wn1+scores, tfidf, ig1000 Lemma Polaridad 0.5240 tdidfn, ig800
Full
184
do sólo WN obtenemos mejores resultados que EmotiBlog Phones, una extensión de EmotiBlog.
añadiendo además la información de SWN. Esto se Hemos procesado todas las combinaciones de
debe al hecho de que, al contrario de EmotiBlog, el TSR, tokenización y pesado de términos, llegando
número de frases objetivas en JRCes mayor que el a un total de 1 millón de experimentos, pero por
número de las subjetivas y, por lo tanto, la infor- razones de espacio nos hemos limitado a presentar
mación que SWN suministra no tiene tanto impac- los resultados más relevantes. Como hemos de-
to en el corpus. Mirando en todos los resultados en mostrado, el AS es una tarea extremadamente
general (no sólo en los mejores) podemos observar compleja y hay muchas posibilidades de mejorar
los mismos aspectos que obtuvimos con EmotiBlog los resultados obtenidos. Con respecto a la mejora
sobre las técnicas de stemming, lematización y de la detección el objeto del discurso (target) nues-
RDS. También apreciamos una semejanza con los tra intención es usar modelos de entrenamiento
resultados de la Tabla 5 al evaluar las clasificacio- basados en secuencias de palabras ( n-gramas, mo-
nes de forma combinada, pues en este caso tam- delos ocultos de Markov , etc) para encontrar el
bién mejoran. En general, los resultados en estos tema principal del discurso de una opinión y poder
experimentos son peores que en los realizados con hacer un estudio comparativo de las diferentes
EmotiBlog, a pesar de que el corpus de JRCes más técnicas (que se usarán también para detectar los
grande. Esto es debido a que el proceso de anota- fenómenos lingüísticos basados secuencialidad,
ción de JRC incluía unas reglas muy laxas para los como las negaciones, la ironía y el sarcasmo).
anotadores que permitían mayores errores en el
Como trabajo futuro nuestra intención es unir los
etiquetado. Estas reglas provocan que frases subje-
corpus ( EmotiBlog y el JRC) además de otras co-
tivas puedan ser etiquetadas como objetivas,
lecciones disponibles para poder tener a disposi-
creando ruido en los modelos de AA. Esto no ocu-
ción más datos para los modelos de AA y así
rre con EmotiBlog porque el proceso de anotación
obtener mayor precisión sobre los elementos que
ha sido más cuidadoso y estricto. En la Tabla 7
tienen en común en la anotación. Cabe mencionar
resumimos los mejores resultados para cada cor-
que EmotiBlog contiene también textos extraídos
pus.
de blogs en italiano y castellano, pero debido a la
EB Kyoto EB Phones EB Full JRC falta de recursos en estos idiomas y para hacer un
Objetividad 0.6647 0.6405 0.6274 0.6088 estudio comparativo ( JRC sólo contiene textos en
Polaridad 0.7602 0.8093 0.6374 0.5340
Obj+Pol 0.5893 0.5447 0.5493 0.5769
inglés), hemos decidido utilizar únicamente la
Tabla 7. Mejores resultados según clasificación y parte en inglés. En trabajos futuros tenemos la
corpus. intención de explotar las colecciones en italiano y
castellano de EmotiBlog, además de anotar más
5 Conclusiones y Trabajos Futuros textos en nuevos idiomas. En este trabajo no he-
mos aprovechado la totalidad de etiquetas de gra-
Es bien conocido que la importancia del AS se ha nularidad fina que proporciona EmotiBlog. Por eso
visto incrementada debido a la inmensa cantidad en futuras investigaciones nos proponemos tener
de información subjetiva disponible. Esto es debi- en cuenta esta información para mejorar nuestros
do a que es necesario explotar esta información en modelos de AA. Respecto a la fiabilidad de Emo-
aplicaciones que trabajen con opiniones. Es por tiBlog para tareas de AS y su comparación con el
esto que en este artículo hemos evaluado las técni- corpus JRC, hemos observado que experimentando
cas existentes enfocándonos en la detección y cla- con las mismas técnicas en ambos corpus se han
sificación automática de frases con información obtenido resultados muy parecidos. Este hecho nos
subjetiva. Los corpus que hemos utilizado proce- muestra que el sistema de anotación y el proceso
den de distintos dominios y géneros textuales y de etiquetado de EmotiBlog son válidos. En algu-
esto dificulta la tarea, especialmente en el dominio nos casos los resultados obtenidos con EmotiBlog
de los teléfonos móviles dónde tenemos expresio- son mejores, confirmando nuestra hipótesis de que
nes de subjetividad más informales si los compa- este corpus está basado en un sistema de anotación
ramos con el resto de corpus basados en apropiado y sigue un sistema de anotación robusto.
comentarios de periódicos. Para entrenar y probar Esto nos anima a continuar nuestra investigación
nuestro sistema de AA para la detección automáti- utilizando EmotiBlog.
ca de datos subjetivos hemos utilizado el corpus
185
LNCS 5909, pp. 219–224, 2009. Springer- Traditional Textual Genres. In Proceedings of
WOMSA 2009. Seville, Spain.
Verlag Berlin Heidelberg. Chaovalit P, Zhou L. 2005. Movie Review Mining:
Balahur A., and Montoyo A. 2008. Applying a a Comparison between Supervised and Unsu-
Culture Dependent Emotion Triggers Database
Balahur A., and Montoyo A. 2008. Applying a a Comparison between Supervised and Unsu-
Culture Dependent Emotion Triggers Database pervised Classification Approaches. In Proce-
for Text Valence and Emotion Classification. In edings of HICSS-05.
Proceedings of the AISB 2008 Symposium on
Cui H., Mittal V., Datar M. 2006. Comparative
Affective Language in Human and Machine, Experiments on Sentiment Classification for On-
Aberdeen, Scotland. line Product Reviews. In Proceedings of the 21st
Balahur A., Lloret E., Boldrini E., Montoyo A.,
National Conference on Artificial Intelligence
Palomar M., Martínez-Barco P. 2009a. Summa-
AAAI.
rizing Threads in Blogs Using Opinion Polarity. Cerini S., Compagnoni V., Demontis A., Formen-
In Proceedings of ETTS workshop. RANLP.
telli M., and Gandini G. 2007. Language resour-
Balahur, A., Boldrini, E., Montoyo, A., Martínez- ces and linguistic theory: Typology, second
Barco, P. 2009c. Opinion and Generic Ques- language acquisition. English linguistics
tion Answering systems: a performance
(Forthcoming), chapter Micro-WNOp: A gold
analysis. In Proceedings of ACL, 2009, Sin- standard for the evaluation of automatically
gapore. compiled lexical resources for opinion mining.
Balahur, A., Boldrini, E., Montoyo, A., Martínez-
Franco Angeli Editore, Milano, IT.
Barco, P. 2010b. Opinion Question Dave K., Lawrence S., Pennock, D. 2003. “Mining
Answering: Towards a Unified Approach. In the Peanut Gallery: Opinion Extraction and Se-
Proceedings of the ECAI conference.
mantic Classification of Product Reviews”. In
Balahur, A., Boldrini, E., Montoyo, A., Martínez- Proceedings of WWW-03.
Barco 2009b. P. Cross-topic Opinion Mining Esuli A., Sebastiani F. 2006. SentiWordNet: A
for Realtime Human-Computer Interaction.
Publicly Available Resource for Opinion Mi-
ICEIS 2009. ning. In Proceedings of the 6th International
Balahur Alexandra, Ralf Steinberger, Mijail Ka- Conference on Language Resources and Evalua-
badjov, Vanni Zavarella, Erik van der Goot, tion, LREC 2006, Genoa, Italy.
Matina Halkia, Bruno Pouliquen & Jenya
Gamon M., Aue S., Corston-Oliver S., Ringger E.
Belyaeva (2010c). Sentiment Analysis in the 2005. Mining Customer Opinions from Free
News. In: Proceedings of the 7th International Text. Lecture Notes in Computer Science.
Conference on Language Resources and Eva-
Galavotti, L., Sebastiani, F., and Simi, M. 2000.
luation (LREC'2010), pp. 2216-2220. Valletta, Experiments on the use of feature selection and
Malta, 19-21 May 2010.
negative evidence in automated text categoriza-
Boldrini, E., Balahur, A., Martínez-Barco, P.,
tion. In Proceedings of ECDL-00, 4th European
Montoyo, A. 2010. EmotiBlog: a finer- Conference on Research and Advanced Techno-
grained and more precise learning of subjecti-
logy for Digital Libraries (Lisbon, Portugal,
vity expression models. In Proceedings of
2000), 59–68.
LAW IV, ACL. Gómez, J.M.; Buscaldi, Bisbal, E.; D.; Rosso P.;
Boldrini, E., Balahur, A., Martínez-Barco, P.,
Sanchis E. QUASAR: The Question Answering
Montoyo, A. 2009a: EmotiBlog: an Annota- System of the Universidad Politécnica de Va-
tion Scheme for Emotion Detection and
186
187