Big data: potencial, paradoxos e a importância renovada do pensamento estatístico
Vivemos numa era em que a disponibilidade e acessibilidade a dados não tem precedentes. ‘Big data’ é uma das tendências deste início do Milênio a confrontar o pensamento estatístico. Por um lado, há imenso potencial para aproveitar as novas fontes de informação que se tem tornado disponíveis, acessíveis e de baixo custo. Por outro lado, lacunas substanciais persistem e há imensos riscos de utilização inadequada dessas fontes pelos que desprezam as lições traduzidas nos principais fundamentos do pensamento e da metodologia estatística. Uma das falácias principais é a de que, com as imensas bases de dados disponíveis, não será mais preciso avaliar incerteza de estimativas, pois será possível ‘conhecer’ as quantidades de interesse a partir dos ‘big data’. Apresentarei o conceito de ‘Índice de defeito dos dados’ proposto por Meng (2018), e usarei este conceito para mostrar que a qualidade de estimativas baseadas em pequenas amostras bem planejadas e executadas pode superar a de estimativas baseadas em conjuntos muito maiores provenientes de fontes orgânicas sujeitas a vieses de seleção. Penso que a metodologia estatística fornece a orientação essencial necessária para obter respostas atuais, relevantes, precisas e custo-efetivas às perguntas de interesse, mesmo na era do ‘big data’. Apresentarei alguns exemplos para motivar a discussão dessas ideias e de caminhos para superar as limitações das novas fontes de informação.
Link para os slides da apresentação e o vídeo da palestra.