Oportunidades de pesquisa

Iniciação científica ou pós-graduação
(junto ao grupo de eSience do IME/USP)

Última atualização: agosto/2016

(IC) Reconhecimento de padrões e machine learning
Aplicação no reconhecimento online de símbolos matemáticos manuscritos

Orientação de Frank D. Julca-Aguilar (posdoc do MAC) e supervisão de Nina Hirata
  • se você estiver interessad@, escreva para faguilar @ ime . usp . br ou nina @ ime . usp . br
  • dependendo do interesse, comprometimento e desempenho, pode-se considerar a solicitação de bolsa de IC, por exemplo, para a FAPESP.

O interesse em reconhecimento online de escrita manuscrita vem aumentando devido ao amplo uso de dispositivos com tela sensível ao toque, à necessidade de cobrir uma maior variedade de linguagens, e avanços em áreas relacionadas, tais como a de reconhecimento de fala e deep learning, que sugerem novas técnicas para tratar o problema. Um subproblema chave no reconhecimento de escrita manuscrita é o reconhecimento de símbolos.

Embora o reconhecimento de símbolos tenha sido ``solucionado'' em alguns contextos, como no reconhecimento de dígitos (números de 0 a 9), os métodos existentes apresentam um desempenho consideravelmente menor quando há um grande número de símbolos ou muita variação na escrita (por diferentes pessoas, ou até por uma mesma pessoa). Adicionalmente, em geral, existe uma ambiguidade inerente à escrita. Por exemplo, um traço pequeno pode indicar um apóstrofe, uma vírgula, ou pode ser apenas um traço introduzido sem intenção (ruído); um traço circular pode representar um número ``zero'' ou uma letra ``o'', e assim por diante.

Esta IC tem como objetivo a implementação e avaliação de técnicas para resolver o problema do reconhecimento de símbolos matemáticos. As implementações terão como sistema base um classificador de símbolos desenvolvido dentro do grupo eScience do IME/USP.

Tópicos a serem explorados na IC incluem (mas não estão limitados a): redes neurais artificiais, deep learning, árvores de decisão, e classificadores de vizinho mais próximo.

Processamento de imagens de documentos

Com as várias iniciativas de digitalização de documentos, surgiu também o interesse pela extração de informações relativas ao conteúdo de documentos a partir de suas imagens. Algumas das informações de interesse são, por exemplo, a identificação da categoria de documentos (carta, memorando, formulário, manuscrito, etc), os temas abordados no documento, ou mesmo a conversão da imagem para o formato texto digital. A extração dessas informações é importante tanto para a análise do conteúdo como para busca eficiente de documentos por conteúdo.

O processamento de imagens de documentos é uma etapa que faz parte do processo de extração dessas informações. Alguns problemas de processamento de imagens comumente tratados nessa área são: binarização de documentos, filtragem de ruído, restauração, segmentação de texto, detecção de componentes, análise de layout, entre outros.

Uma vez que documentos variam muito em termos de tipo e tamanho de fontes, layout, espaçamentos, entre outros aspectos, desenhar algoritmos manualmente para esses problemas é uma tarefa pouco produtiva. Uma alternativa aos métodos manuais são as baseadas em aprendizado de máquina. Muitas das abordagens desse tipo dependem de imagens de treinamento, isto é, amostras de imagens antes e depois do processamento. Tais imagens são muitas vezes criadas manualmente.

Nesta IC, o objetivo é selecionar um problema de processamento de imagens no contexto de processamento de imagens de documentos e aplicar um método baseado em aprendizado de máquina para resolver o problema. Para tanto, a IC envolve o estudo de conceitos, técnicas e métodos de processamento de imagens e machine learning, assim como uma parte prática que consiste na preparação das imagens de treinamento e a aplicação dos métodos de machine learning para o problema selecionado.

Casamento entre árvores e grafos

Uma expressão matemática pode ser pensada como uma composição hierárquica, na qual os elementos atômicos são os símbolos e os níveis intermediários correspondem a subexpressões que se combinam para, no topo da hierarquia, formar a expressão completa. Uma hierarquia dessas pode ser representada por uma árvore.

Supondo que é dada uma expressão modelo, cuja representação hierárquica é conhecida, e uma transcrição dessa expressão, gostaríamos de identificar os traços na transcrição que correspondem a cada símbolo da expressão modelo. Ao modelarmos a expressão transcrita por meio de um grafo, esse problema pode ser entendido como um problema de encontrar uma árvore no grafo que seja isomorfa à expressão modelo.

Other topics

  • Convolutional neural networks
  • Feature extraction/selection
  • Learning image operators
  • Boolean function decomposition/minimization
  • Classifier ensembles/combination
  • Active learning
  • Interactive image segmentation
  • Graph modeling of 2D structures