Título: Processo de Decisão Markoviano com Transição Valorada por
Conjunto modelado como um Jogo Alternado de Soma Zero

Palestrante: Fábio de Oliveira Franco

Resumo: Nesse seminário, mostraremos a equivalência entre um MDPST
(Markov Decision Process with Set-valued Transitions) e um jogo
markoviano alternado de soma-zero (Alternating Markov Game --
AMG). Uma solução de um problema MDPST, uma extensão dos processos de
decisão markovianos (Markov Decision Processes -- MDPs) capaz de
modelar a combinação de incerteza knightiana e incerteza
probabilística, pode ser dada como uma interpretação de um jogo de
dois jogadores em que a Natureza faz o papel de um jogador
adversário. Isso porque a escolha não-determinística entre os
elementos dos conjuntos de estados alcançáveis em um passo (escolhas
da Natureza) pode ser modelada como um jogador com ações
determinísticas. Assim, provaremos que as equações de atualização da
função valor do Jogador I e do Jogador II podem ser reduzidas às
equações de Bellman para um MDPST correspondente. Como consequência
direta dessa formulação de um jogo contra a Natureza, e ainda fazendo
uma extensão que permita transições probabilísticas para o Jogador II,
obtemos uma nova classe de AMGs, em que as ações de um jogador o leva
para um conjunto de estados, enquanto que as ações do outro jogador o
leva para elementos desses conjuntos, deterministicamente ou de acordo
com uma distribuição de probabilidades. Chamamos esse novo jogo de
AMGST (Alternating Markov Game with Set-valued Transitions).