Uma extenso baseada em caractersticas de redes sociais do modelo evolucionrio de preferncias sociais para autorregulao de agentes aplicada ao jogo

do ultimato
Murian dos Reis Ribeiro

Orientador: Prof. Dr. Marilton Sanchotene de Aguiar Co-Orientadora: Prof. Dr. Graaliz Pereira Dimuro

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base O Modelo Proposto Resultados Concluso Trabalhos Futuros

Problemtica e Contexto
Simulaes atuais muitas vezes no so prximas da
realidade;

Simulaes utilizando o JU puro demoram at obter um

resultado satisfatrio nas jogadas;

Verificar a eficincia de uma abordagem inspirada em

trocas em RSO;

Propor um novo modelo de interao em sistemas

multiagente;

Autorregulao de agentes sem necessidade de um agente

ou mecanismo regulador.

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base O Modelo Proposto Resultados Concluso Trabalhos Futuros

Objetivos
Este trabalho tem por objetivo principal a proposta de um
modelo hbrido de agentes, com regulao internalizada inspirada em trocas sociais em RSO, que podem apresentar traos de personalidade conhecidos ou desconhecidos;

Realizar uma anlise comparativa de um sistema que use e

que no use tcnicas de descoberta de conhecimento e trocas sociais em redes sociais;

Propor um modelo de descoberta de perfis de agentes

apropriado para a autorregulao dos agentes;

Desenvolver uma aplicao-alvo para a verificao do

modelo proposto, relacionada com os trabalhos em teoria dos jogos desenvolvidos pelo grupo de pesquisa.

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base O Modelo Proposto Resultados Concluso Trabalhos Futuros

Trocas Sociais de Piaget

As interaes so compreendidas como trocas de
servios entre indivduos;

As trocas sociais envolvem no somente a realizao

de servios entre indivduos envolvidos, mas tambm a avaliao desses servios;

Personalizao dos indivduos envolvidos;

Altrusta, Egosta, Invejoso

Aplicao de tais implicaes em um ambiente

simulado.

Teoria dos Jogos

Soma zero e soma diferente de zero;
Poker, Xadrez Dilema do prisioneiro

Simtricos e assimtricos;
Dilema do Prisioneiro; Jogo do Ultimato;

Informao perfeita e imperfeita;

Go; Jogo do Ultimato;

Algoritmos Genticos
Inicializao da Populao;

Avaliao da Populao;
Seleo de Pais; Reproduo (Operadores Genticos); Substituio; Critrio de Parada;

Redes Sociais
Surgimento do primeiro teorema da teoria dos grafos
com Leonard uler em 1736;

Anlise Estrutural de Redes Sociais no final da dcada

de 90 e incio dos anos 2000;

Topologias de Rede (centralizada, descentralizada e

distribuda);

Redes de Mundo-Pequeno (Small-World Networks);

Descoberta de conhecimento em RSO;

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base O Modelo Proposto Resultados Concluso Trabalhos Futuros

Caracterizao do JU base
O modelo tem por base um conjunto de 400 agentes
com preferncias sociais;

Agentes conectados por uma rede complexa SmallWorld Network;

Desenvolvido no Netlogo; jogado duas vezes; O modelo de inspirao do trabalho tem por base os
trabalhos de [Xianyu, 2009] e [Macedo et al., 2012]

Caracterizao do JU base
Na forma mais simples do JU, dois jogadores determinam
como dividir entre eles um dado valor econmico. O primeiro jogador, o proponente, prope a forma deve ser dividido o valor; e, o segundo jogador, o respondente, avalia a proposta; aps, os papeis so invertidos;

Baseado na teoria dos jogos clssica, prefervel receber

qualquer valor, mesmo que este valor seja baixo, a no receber nada; O QUE NO OCORRE EM UM JU PADRO!

Trs status possveis: nenhuma troca, uma troca e duas

trocas.

Caracterizao do JU base

Caracterizao do JU base

Caracterizao do JU base

Caracterizao do JU base

Caracterizao do JU base

Representao de um Cromossomo
oi Oferta;
ri Reserva (mnimo que o jogador aceita) ai sofrimento ai (ou inveja, quando seu retorno menor do
que os seus agentes vizinhos) seus agentes vizinhos;

bi Culpa, quando o retorno do agente maior do que os

wi Preocupao com o bem estar de seus vizinhos;

Os parmetros a, b e w tm relao direta com as
preferncias sociais.

Caracterizao das estratgias

p0i probabilidade de aumentar ambos os valores oi e ri; p1i probabilidade de aumentar oi e diminuir ri;
p2i probabilidade de diminuir ambos os valores oi e ri; p3i probabilidade de diminuir oi e aumentar ri;

p4i probabilidade de aumentar oi e no alterar o valor de ri;

p5i probabilidade de diminuir oi e no alterar o valor de ri; p6i probabilidade de no alterar o valor de oi e aumentar ri; p7i probabilidade de no alterar o valor de oi e diminuir ri; p8i probabilidade de no alterar nem o valor de oi nem o valor de ri.

Preferncias Sociais
Foram utilizadas trs preferncias sociais bsicas:

Nvel Mnimo Aceitvel; Bem-Estar Social; Averso Desigualdade.

A Funo de Utilidade
A Funo de Recompensa ou Utilidade tem como
objetivo medir o sucesso da jogada no Jogo do Ultimato e representada da seguinte forma:

A Funo de Fitness
A Funo de Fitness tem como objetivo evoluir as
estratgias do algoritmo e podem ser definidas das seguintes formas:

Mnimo Aceitvel e Averso Desigualdade:

Bem-Estar Social:

Um Algoritmo Gentico para Evoluo das Estratgias

Cromossomo com 14 genes;

Valores de Oferta e Reserva ajustados a cada ciclo;

Vetor de probabilidades ajustado a cada ciclo; Fator fp para evoluo das probabilidades (25%); Fator fe para evoluo da Oferta e Reserva (50%); Melhores estratgias tendem a permanecer inalteradas
(aprendizado por reforo);

Evoluo do Algoritmo
Criao do Ambiente Criao das Redes

Jogadas Avaliao (Utilidade e Fitness) Estatsticas

Ajuste dos Parmetros Condio de Trmino Fim

Deciso da Estratgia

Ambiente das Simulaes

Populao de 400 agentes;

Diviso da populao em trs preferncias sociais;

Populao heterognea; Fator fp para evoluo das probabilidades (25%);

Fator fe para evoluo da Oferta e Reserva (50%);

Agentes i com a preferncia social mnimo aceitvel tm
ai = 0.9, bi = 0.2 e o mnimo valor para ri 0.2;

Agentes avessos a desigualdade tm ai = 0.5 e bi = 0.5; Agentes que desejam o bem-estar social tm
ai = 0.4, bi = 0.3 e wi = 0.2.

Anlise dos Resultados

Evoluo da Oferta e Reserva

Anlise dos Resultados

Evoluo do Total de Trocas

Anlise dos Resultados

Evoluo do Total de Trocas

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base O Modelo Proposto Resultados Concluso Trabalhos Futuros

Aquisio de Dados no Twitter e Uma Breve Anlise de Trocas Entre Usurios

Desenvolvimento de um algoritmo para aquisio de
dados no Twitter;

Aquisio de Dados no Twitter e Uma Breve Anlise de Trocas Entre Usurios

Classificao destes perfis por palavras-chave;

Filtragem de dados com o mesmo significado (case

sensitive, ou uso de pontuao) ;

Humanizao das simulaes, proporcionando que

existam simulao e anlises de logs de interao no somente com valores de trocas, mas tambm com informaes abstratas ou texto.

Caracterizao do Modelo Proposto

Itens Mantidos Iguais
Representao de um Cromossomo;

Caracterizao das estratgias;

Preferncias Sociais; A Funo de Utilidade; A Funo de Fitness; Um Algoritmo Gentico para Evoluo das Estratgias;

Introduzindo Confiabilidade ao Modelo

Foi inspirado no recurso Star dos sites de e-commerce
norte-americano eBay e no brasileiro Mercado-Livre;

representado por um vetor de trs posies:

Total de trocas do agente; Total de trocas bem sucedidas; Total de trocas mal sucedidas.

Resultados no foram utilizados para evoluo das

estratgias, mas serviram como base para identificar de forma individual a confiabilidade dos agentes.

Introduzindo o Recurso de Blacklist no modelo

Recurso responsvel por armazenar o id de cada
agente onde as trocas foram mal sucedidas, bem como o nmero de vezes que tiveram insucesso entre as trocas;

Partido do princpio utilizado em interaes humanas,

seja de forma pessoal ou atravs de outros meios, onde existe um reforo de relaes positivas ou enfraquecimento de relaes negativas, aqui busca-se reforar as relaes onde no houve xito nas trocas do JU.

Introduzindo o Recurso de Blacklist no modelo / Uma Lista de Excluidos

Desenvolveu-se uma segunda caracterstica ao
modelo que teve como finalidade excluir indivduos que alcanaram uma determinada quantidade de insucesso nas trocas;

Diferentemente do que imaginava-se inicialmente o

recurso acabou por produzir resultados piores que a no utilizao do mesmo, j que, a lista de vizinhos no qual um agente iria jogar, caia bruscamente, resultado em menores valores de utilidade e fitness.

Introduzindo um Recurso de Histrico

Inspirao em trocas em RSO;

Ideia de um histrico de trocas como no Facebook ou

Twitter;

Os agentes continuam no sabendo o valor mnimo de

reserva dos outros agentes no qual ir jogar;

Resultados so gerados a partir de uma mdia de

oferta realizada por cada jogador e atualizado a cada iterao do algoritmo;

Evoluo do Algoritmo
Criao do Ambiente Criao das Redes

Jogadas Avaliao (Utilidade e Fitness) Estatsticas

Ajuste dos Parmetros Condio de Trmino Fim

Deciso da Estratgia

Ambiente das Simulaes

Populao de 400 agentes;

Diviso da populao em trs preferncias sociais;

Populao heterognea; Fator fp para evoluo das probabilidades (25%);

Fator fe para evoluo da Oferta e Reserva (50%);

Agentes i com a preferncia social mnimo aceitvel tm
ai = 0.9, bi = 0.2 e o mnimo valor para ri 0.2;

Agentes avessos a desigualdade tm ai = 0.5 e bi = 0.5; Agentes que desejam o bem-estar social tm
ai = 0.4, bi = 0.3 e wi = 0.2.

Anlise dos Resultados

Evoluo da Oferta e Reserva

Anlise dos Resultados

Evoluo do Total de Trocas

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base

O Modelo Proposto
Resultados Concluso

Trabalhos Futuros
Publicaes

Comparao dos Resultados

Evoluo do Total de Zero Trocas

Comparao dos Resultados

Evoluo do Total de Uma Troca

Comparao dos Resultados

Evoluo do Total de Duas Trocas

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base

O Modelo Proposto
Novos Resultados Concluso

Trabalhos Futuros
Publicaes

Oferta conforme a confiabilidade

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% 1

Mdia + 10%

Mdia

Mdia - 10%

Evoluo do Modelo com Confiabilidade Diferenciada

50 100 200 300 400 500 600 700 800 900 1000 Zero-Trocas 14,66% 12,76% 11,96% 11,48% 11,93% 11,45% 12,22% 11,66% 11,88% 11,56% 12,07% Uma-Troca 53,00% 50,89% 48,31% 48,90% 47,86% 49,80% 48,16% 49,37% 47,88% 50,01% 48,87% Duas-Trocas 32,35% 36,35% 39,73% 39,61% 40,22% 38,74% 39,61% 38,97% 40,24% 38,43% 39,06%

Comparao entre o total de trocas nos trs modelos

20.00% 18.00% 16.00% 14.00% 12.00%

Modelo Inicial
10.00% 8.00% 6.00% 4.00% 2.00% 0.00% 50 100 200 300 400 500 600 700 800 900 1000 Modelo Proposto Modelo com Confiabilidade

Comparao entre o total de trocas nos trs modelos

60.00% 50.00%

40.00%

Modelo Inicial
30.00% Modelo Proposto Modelo com Confiabilidade 20.00%

10.00%

0.00% 50 100 200 300 400 500 600 700 800 900 1000

Comparao entre o total de trocas nos trs modelos

90.00%

80.00%
70.00%

60.00%

50.00%

Modelo Inicial
Modelo Proposto Modelo com Confiabilidade

40.00%

30.00%

20.00%

10.00%

0.00% 50 100 200 300 400 500 600 700 800 900 1000

Roteiro
Problemtica e Contexto

Objetivos
Fundamentao Terica O Modelo Base

O Modelo Proposto
Resultados Concluso

Trabalhos Futuros
Publicaes

Concluso
Busca de inspirao em RSO;

Busca de inspirao em sites de e-commerce;

Resultados mais eficientes no modelo proposto; Duas vezes mais eficiente no total de zero trocas; Duas vezes mais eficiente no total de uma troca; 50% mais eficiente no total de duas-trocas;

Trabalhos Futuros
Estudo de novas personalidades de agentes;

Novas aplicaes para a caracterstica de

confiabilidade (com notas nos intervalos de 0 a 5)

Estudo da evoluo do sistema com trocas das redes; Implementao de caractersticas como discriminao
ou preconceito ao modelo.

Publicaes
2011

RIBEIRO, M.; AGUIAR, M. Cultural Algorithms: A Study of Concepts and Approaches. In: Theoretical Computer Science (WEIT), 2011 Workshop-School on. IEEE, 2011. p. 145-148. RIBEIRO, M.; AGUIAR, M. Um estudo sobre algoritmos Culturais. Encontro de Ps-Graduao da Universidade Federal de Pelotas (ENPOS) 2011. RIBEIRO, M.; AGUIAR, M. Algoritmo Gentico Cultural para mapeamento de padres de perfil em sites de redes social, Semana Pesquisa em Computao (SPC) 2011. RIBEIRO, M.; AGUIAR, M.; MACEDO, L. Simulao do Jogo do Ultimado utilizando sistemas multiagentes em um ambiente Netlogo, Semana Pesquisa em Computao (SPC) 2011

Publicaes
2012

MACEDO, L. F. K.; R. RIBEIRO, M. dos; AO, S. L. B.; FONSECA, C. N. da; AGUIAR, M. S. de; DIMURO, G. P. Simulao Multiagente de uma Abordagem Evolutiva e Espacial para o Jogo do Ultimato. Anais do Workshop-Escola de Sistemas de Agentes, seus Ambientes e apliCaes, [S.l.], v.VI, p.3546, 2012. RIBEIRO, M.; AGUIAR, M. "A New Model of Agent Self-Regulation Based on Profile Discovery in Social Networks Applied to the Ultimatum Game," Third Brazilian Workshop on Social Simulation (BWSS), 2012 , vol., no., pp.75-82, 20-23 Oct. 2012 doi: 10.1109/BWSS.2012.11 RIBEIRO, M.; AGUIAR, M. Um Modelo De Autorregulao De Agentes Baseado Em Descoberta De Conhecimento Em Sites De Rede Social Aplicado Ao Jogo Do Ultimato. Encontro de Ps-Graduao da Universidade Federal de Pelotas (ENPOS) 2012. RIBEIRO, M.; AGUIAR, M. Um Modelo de Regulao entre agentes baseado na descoberta de conhecimento em redes sociais aplicado ao jogo do ultimato. V Conferncia Sul em Modelagem Computacional (MCSUL 2012)

Uma extenso baseada em caractersticas de redes sociais do modelo evolucionrio de preferncias sociais para autorregulao de agentes aplicada ao jogo do ultimato
Murian dos Reis Ribeiro

Orientador: Prof. Dr. Marilton Sanchotene de Aguiar Co-Orientadora: Prof. Dr. Graaliz Pereira Dimuro