Download como arquivo ICAL
"Solving University Entrance Assessment Using Information Retrieval"
Quinta-feira 05 Julho 2018, 08:00
Contato: Este endereço de email está sendo protegido de spambots. Você precisa do JavaScript ativado para vê-lo.

Candidato: Igor Cataneo Silveira

 

Orientador: Prof. Dr. Denis Deratani Mauá

 

Resumo: Responder perguntas feitas em linguagem natural é uma capacidade há muito desejada pela
Inteligência Artificial. Porém, produzir um sistema de Question Answering (QA) é uma tarefa
desafiadora, uma vez que ela quer entendimento de texto, recuperação de informação, extração
de informação e produção de texto. Além disso, a tarefa se torna ainda mais difícil dada a dificuldade
em coletar datasets confiáveis e em avaliar as técnicas utilizadas, sendo estes pontos de
suma importância para abordagens baseadas em aprendizado de máquina. Isto tem levado muitos
pesquisadores a focar em Multiple-Choice Question Answering (MCQA), um caso especial de QA
no qual os sistemas devem escolher a resposta correta dentro de um grupo de possíveis respostas.
Um caso particularmente interessante de MCQA é o de resolver testes padronizados, tal como testes
de proficiência linguística, teste de ciência para ensino fundamental e vestibulares. Estes exames
fornecem perguntas de múltipla escolha de fácil avaliação sobre diferentes domínios e de diferentes
dificuldades.
O Exame Nacional do Ensino Médio (ENEM) é um exame realizado anualmente por estudantes
de todo Brasil. Ele é utilizado amplamente por universidades brasileiras como vestibular e é o
segundo maior vestibular do mundo em número de candidatos inscritos. Este exame consiste em
escrever uma redação e resolver uma parte de múltipla escolha sobre questões de: Ciências Humanas,
Linguagens, Matemática e Ciências Naturais. As questões nestes tópicos não são divididas
por matérias escolares (Geografia, Biologia, etc.) e normalmente requerem raciocínio interdisciplinar.
Ademais, edições passadas do exame e suas soluções estão disponíveis online, tornando-o um
benchmark adequado para MCQA.
Neste trabalho nós automatizamos a resolução do ENEM focando, por simplicidade, em questões
puramente textuais que não requerem raciocínio matemático. Nós formulamos o problema de responder
perguntas de múltipla escolha como um problema de identificar a alternativa mais similar
à pergunta. Nós investigamos duas abordagens para medir a similaridade textual entre pergunta e
alternativa. A primeira abordagem trata a tarefa como um problema de Recuperação de Informação
Textual (IR), isto é, como um problema de identificar em uma base de dados qual é o documento
mais relevante dado uma consulta. Nossas consultas são feitas utilizando a pergunta mais alternativa
e utilizamos três diferentes conjuntos de texto como base de dados: o primeiro é um conjunto
de artigos em texto simples extraídos da Wikipedia em português; o segundo contém apenas o texto
dado no cabeçalho da pergunta e o terceiro é composto por pares de questão-alternativa correta
extraídos de provas do ENEM. A segunda abordagem é baseada em Word Embedding (WE), um
método para aprender representações vetoriais de palavras de tal modo que palavras semanticaiii
iv
mente próximas possuam vetores próximos. WE é usado de dois modos: para aumentar o texto
das consultas de IR e para criar representações vetoriais para a pergunta e alternativas. Usando
essas representações vetoriais nós respondemos questões diretamente, selecionando a alternativa
que maximiza a semelhança de cosseno em relação à pergunta, ou indiretamente, extraindo features
das representações e dando como entrada para um classificador que decidirá qual alternativa é a
correta. Junto com as duas abordagens nós investigamos como melhorá-las utilizando a WordNet,
uma base estruturada de dados lexicais onde palavras são conectadas de acordo com algumas relações,
tais como sinonímia e hiperonímia. Por fim, combinamos diferentes configurações das duas
abordagens e suas variações usando WordNet através da criação de um comitê de solvers encontrado
através de uma busca gulosa. O comitê escolhe uma alternativa através de voto majoritário de seus
constituintes.
A primeira abordagem teve 24% de acurácia utilizando o cabeçalho, 25% usando a base de dados
de pares e 26.9% usando Wikipedia. A segunda abordagem conseguiu 26.6% de acurácia usando
WE indiretamente e 28% diretamente. O comitê conseguiu 29.3%. Estes resultados, pouco acima do
aleatório (20%), sugerem que essas técnicas conseguem captar algumas das habilidades necessárias
para resolver testes padronizados. Entretanto, técnicas mais sofisticadas, capazes de entender texto
e de executar raciocínios de senso comum talvez sejam necessárias para alcançar uma performance
humana.
Palavras-chave: Multiple Choice Question Answering, ENEM, Recuperação de Informação.

 

 

Local Auditório Antonio Giliolo - Bloco A