Processamento de áudio em tempo real em Android

Uma das partes do meu projeto de mestrado trata da avaliação de desempenho de rotinas comuns de processamento de áudio em tempo real em sistemas Android. Para obter estatísticas sobre diversos aparelhos, foi desenvolvido um aplicativo para execução de testes automatizados e envio de relatório por email.

Conteúdo desta página:

Instalação e execução do aplicativo

Muito obrigado por se interessar por colaborar com esta pesquisa! Aqui estão as instruções para instalação, execução e envio dos resultados dos testes:

1. Fontes desconhecidas: Habilite a instalação de aplicativos a partir de fontes desconhecidas em Configurações -> Segurança -> Fontes desconhecidas. Em algumas versões de Android o caminho pode ser Configurações -> Aplicativos -> Fontes desconhecidas.
2. Download: baixe o aplicativo aqui.
3. Execução: por favor, coloque o dispositvo no "Modo avião" e encerre quaisquer aplicativos que estiverem sendo executados antes de iniciar os testes.
4. Tempo de execução: alguns testes buscam parâmetros máximos para os quais os algoritmos são viáveis em determinado dispositivo. Por isto, em aparelhos menos potentes, os testes podem demorar até uma hora para serem executados.
5. Envio dos resultados: ao final dos testes, o aplicativo irá compor um email com os resultados dos testes e você só precisa clicar para enviá-los para mim.

Muito obrigado pela colaboração!

Informações gerais sobre os testes

Para avaliar o desempenho de um dispositivo ao executar diversas tarefas comuns de processamento em tempo real, foi desenvolvido um aplicativo que implementa um sistema minimal de processamento de áudio. Este sistema inclui a possibilidade de obtenção de amostras de áudio a partir do microfone e de arquivos WAV, uma infraestrutura de manipulação periódica de blocos de amostras, e a escrita das amostras resultantes para a saída de áudio do dispositivo.

Utilizando esta infraestrutura, o aplicativo oferece a possibilidade de execução de uma série de testes para vários tamanhos de bloco, divididos em duas fases:

• Fase 1: medição do tempo de execução para diferentes tamanhos de bloco:
  • Rotina de DSP com retorno imediato sem modificação das amostras.
  • Filtro IIR com 3 coeficientes.
  • FFT com implementação em Java.
  • FFTW monothread via JNI.
  • FFTW multithread via JNI.
  • FFT com precisão dupla de ponto flutuante da JTransforms.
  • DCT com precisão dupla de ponto flutuante da JTransforms.
  • DST com precisão dupla de ponto flutuante da JTransforms.
  • DHT com precisão dupla de ponto flutuante da JTransforms.
• Fase 2: busca pela maior instância possível dos seguintes algoritmos:
  • Convolução.
  • Síntese aditiva utilizando a função seno da biblioteca.
  • Síntese aditiva utilizando consulta a tabela com interpolação linear.
  • Síntese aditiva utilizando consulta a tabela com interpolação cúbica.
  • Síntese aditiva utilizando consulta a tabela sem interpolação (consulta truncada).

Documentação

• Documentação das classes.
• Diagrama de classes.
• Diagrama de sequência.

Verificação do pacote binário

No Linux, você pode usar as ferramentas md5sum, sha1sum, sha256sum para obter um hash do pacote binário via linha de comando, e então comparar com os hashes listados abaixo. Para verificar a autenticidade dos hashes, você pode usar gpg e a minha chave pública. Para verificar a autenticidade da minha chave pública, você pode me procurar no IME ou me enviar um email e a gente combina de se encontra em algum lugar.

• MD5SUM, MD5SUM.sign.
• SHA1SUM, SHA1SUM.sign.
• SHA256SUM, SHA256SUM.sign.
• Minha chave pública GPG.
• Meu email: ajb arroba ime.usp.br

Código fonte

O código fonte está disponível no github, publicado sob a GPLv3. O arquivo README.txt contém instruções para compilação do projeto. O branch mais atualizado é o develop.

Agradecimentos

• Ao DJ e ao Max Rosan por me terem me forçado a documentar e melhorar o código, além de terem contribuído com melhorias na lógica do aplicativo e adicionado vários algoritmos para testes.
• Ao pessoal do grupo de computação musical por terem ajudado a testar o testes (?).
• A todos e todas que rodaram os testes em seus aparelhos e assim contribuíram com essa pesquisa.