AGENTES BASEADOS EM UTILIDADE

(Silvia e Walter)

AGENTES BASEADOS EM UTILIDADE

Agentes baseados em utilidade

Tem uma medida continua da qualidade dos estados uma medida de desempenho mais geral deve permitir uma comparao entre os diferentes estados do mundo de acordo com o grau exato de felicidade que proporcionariam ao agente se fossem adotadas.
2

ESCOPO

diferentemente de um agente lgico ele pode...

Pode tomar decises em ambientes com incertezas e objetivos conflitantes (especifica o compromisso adequado) Possui uma escala contnua de medida de qualidade sobre os estados Valores associados a cada estado indicando a felicidade do agente. No caso de vrios objetivos desejados no puderem ser atingidos com certeza, a utilidade fornece um meio pelo qual a probabilidade de sucesso pode ser ponderada em relao a importncia dos objetivos.

No texto Port-Royal Logic, escrito em 1662, o filsofo francs Arnauld declarou:

Para julgar o que se deve fazer para obter um bem ou evitar um mal, necessrio considerar no apenas o bem e o mal em si, mas tambm a probabilidade de ele acontecer ou no acontecer, e ainda visualizar geometricamente a proporo que todos esses itens tm em conjunto."

Funes de utilidade
associam um valor a um estado

Tal valor Indica o desejo por estar nesse estado

U(S) utilidade do estado S de acordo com o agente
Ex.: s1 = {rico, famoso}, s2 = {pobre, famoso}

U(s1) = 10 U(s2) = 5
6

Uma ao no determinstica A ter estados resultantes possveis Resultadoi(A) onde i varia sobre os diferentes resultados. Para cada sada possvel est associada uma probabilidade

Princpio da Utilidade Mxima Esperada (UME)

Afirma que um agente racional deve escolher uma ao que maximize a utilidade esperada do agente; Relaciona-se com a idia de medida de desempenho; um modo razovel de tomar decises.

ou seja:
- O agente usa um modelo do mundo em conjunto com a funo utilidade (que mede suas preferncias entre os estados do mundo), em seguida escolhe a ao que leva melhor utilidade esperada.
8

UME versus Medidas de desempenho

lembrando que: AGENTE tudo que pode ser considerado capaz de
perceber seu ambiente por meio de sensores e de agir sobre esse ambiente por intermedio de atuadores.

AGENTES RACIONAIS
Para cada sequncia de percepes possvel, um
agente racional deve selecionar uma ao que venha a maximizar sua medida de desempenho, dada a evidncia fornecida pela sequncia de percepes e por qualquer conhecimento interno do agente.
9

UME versus Medidas de desempenho

Considerando: os ambientes que poderiam levar um agente a ter um dado histrico de percepes e os diferentes agentes que podem ser projetados.

Se um agente maximizar uma funo de utilidade que reflita

corretamente a medida de desempenho pela qual seu comportamento est sendo julgado, ele alcanar a mais alta pontuao de desempenho possvel, se tomarmos a mdia sobre os ambientes em que o agente poderia ser colocado. Porm, em tomada de decises simples, preocupa-se apenas com decises isoladas ou instantneas e no medidas de desempenho sobre histricos de ambientes.

10

 Os axiomas da teoria da utilizade versam sobre preferncias.... ... porem so consequncias desses axiomas os seguintes teoremas:
existncia da funo de utilidade; utilidade esperada de uma loteria.

11

 Existncia da funo utilidade:

Se as preferncias de um agente obedecem aos axiomas de utilidade ento existe uma funo de valores reais U que opera sobre estados tais que U(A) > U(B) se e somente se A preferivel em relao a B, e U(A) = U(B) se e somente se o agente est indiferente entre A e B.

Utilidade esperada de uma loteria: a soma das probabilidades de cada possibilidade vezes a sua utilizade

12

Utilidade uma funo que mapeia loterias nmeros reais

Um agente pode ter quaisquer preferncias que desejar:

preferir um corcel surrado 73 ao invs de um Mercedes novo preferir saldos de conta bancaria apenas em nmeros primos, abrindo mo do excedente Porm, em geral as preferncias de agentes reais so mais sistemticas

13

escalas de utilidade e avaliao de utilizade

objetivo: criar sistemas de deciso que ajudem um agente a tomar decises racionais. Para tal precisamos definir a funo de utilidade do agente deduo da preferncia (preference elicidation): apresentar escolhas para o agente e, usando as escolhas observadas, definir a sua funo de utilidade.

14

Utilidade do dinheiro
agentes preferem mais dinheiro do que menos (mantidas todas as condies iguais); agentes racionais possuem uma preferncia monotnica para mais dinheiro; porm no uma funo de utilidade pois no diz nada sobre preferncias a respeito de loterias envolvendo dinheiro.

15

Utilidade do dinheiro - exemplo

Um jogador ganhou um prmio de R$ 1.000.000 em um programa de TV Apresentador oferece uma proposta: Se ele jogar a moeda e aparecer cara jogador perde tudo; Se aparecer coroa jogador ganha R$ 3.000.000;

Supondo que a moeda justa o Valor Monetrio Esperado (VME) de aceitar proposta :
VME = 0.5 (R$ 0) + 0.5 (R$ 3.000.000) = R$ 1.500.000 O Valor Monetrio Esperado de recusar a proposta de R$ 1.000.000 (menor)

Isso indica que seria melhor aceitar a aposta ?

16

Utilidade do dinheiro exemplo (cont.)

A Utilidade Esperada (EU) para cada uma das duas aes, Sk = riqueza atual do jogador : EU (Aceitar) = 0.5 U(Sk) + 0.5 U(Sk+3.000.000) EU (Rejeitar) = U(Sk+1.000.000)
Deve-se atribuir valores de utilidade para cada estado de sada:

Sk = 5 Sk+3.000.000 = 9 Sk+1.000.000 = 8

Utilidade esperada: EU(aceitar) = 0.5x5 + 0.5x8 = 7.5 < 8 Ao racional: rejeitar ! Calculando a Utilidade Esperada (EU) para cada uma das duas aes temos que a deciso depende do estado de riqueza atual do jogador, uma vez que a utilidade (mudana no estilo de vida) para o primeiro R$ 1.000.000 muito alta.
17

Portanto a utilidade no diretamente proporcional ao valor monetrio (pois a utilidade do seu primeiro milho maior do que a do seu segundo milho).

Utilidade do Dinheiro
No uma funo linear: conforme aumenta a quantidade de dinheiro, a taxa de crescimento da utilidade diminui.
ou seja, as pessoas ficam mais avessas a risco conforme aumentam os valores

Do lado da dvida a tendncia ser favorvel ao risco.

18

18

Utilidade do dinheiro
Grayson (1960) deduziu que a utilidade do dinheiro proporcional ao logaritmo da quantia

19

A utilidade do dinheiro proporcional ao logaritmo da quantia entre -$150.000 e 800.000 (Mr. Beard)
U(L) < U(Seml(L)) Risk-adverso

U(L) > U(Seml(L)) Risk-calculado

Algum que j deve 10.000 pode muito bem aceitar um lanamento de moeda justo para um ganho de $10.000 (caras) e uma perda de $20000 para coroas. Tal comportamento poderia ser chamado de desesperado, mas racional se algum j est em uma situao desesperada.

20

Utilidade esperada e desapontamento ps deciso

a forma racional de escolher uma ao a*: a* = argmaxa EU(a|e) se EU for calculado corretamente, de acordo com o modelo probabilstico, se as probabilidades realmente corresponderem os processos estocasticos subjacentes aos eventos, ento em mdia obteremos o resultado esperado....

21

Sistemas especialistas de teoria da deciso

No campo da Anlise de Decises temos a aplicao da Teoria da Deciso a problemas reais (principalmente envolvendo altos
riscos);

No incio os Sistemas Especialistas concentravam-se em responder perguntas e no em tomadas de deciso; Hoje temos que os Sistemas Especialistas envolvem um Processo de Engenharia do Conhecimento com etapas definidas e que fornecem as seguintes capacidades: tomar decises; usar valor da informao para decidir se deve adquirir algo; calcular a sensibilidade de suas decises.

22

Descrio do processo de engenharia do conhecimento para sistemas especialistas de teoria da deciso

Cerca de 0,8% das crianas nascem com uma anomalia no corao chamada estreitamento da aorta. Pode ser tratata por cirurgia, angioplastia ou medicao. O problema decidir qual tratamento e quando faz-lo.
Etapas do processo de Engenharia do Conhecim ento

Crie um Modelo Causal

1) Determinar ( sintomas, doenas, tratamentos e resultados ); 2) Desenhar arcos ( que doen as causam cada sintoma ); 3) Desenhar arcos ( que tratamentos aliviam os sintomas de cada doena) Remover variveis no esto envolvidas em decises de tratamento 1) Pode vir de Banco de Dados de Pacientes; 2) Estudos de Literatura; 3) Avaliao de Especialistas Criar escala do melhor ao pior resultado: Recuperao Completa = 0 e Morte = -1000 Necessita conjunto de pares (entrada , sada) --> ( sintomas, solicitar tratamento ) Verificar se a melhor deciso sensvel a pequenas mudan as nas probabilidades e utilidades atribudas

Simplifique at chegar a um modelo de decis o qualitativa Atribua Probabilidades

Atribua Utilidade

Verifique e Refine o modelo

23

Execute a an lise de sensibilidade

Caso do estreitamento da aorta

IA Russel pg 586

24

 Perguntas?

25

 Obrigado!

26