Comitê Assessor de Ciência da Computação
Critérios Adotados para Avaliações
CNPq - Período 1991/1992

Compilado por
Edmundo A. de Souza e Silva

Agosto de 1993

Comitê Assessor de Ciência da Computação
Critérios Adotados para Avaliações
CNPq - Período 1991/1992

Introdução

Este documento tem como objetivo maior indicar os principais pontos adotados pelo Comitê Assessor de Ciência da Computação (CACC) nos últimos dois anos, para que o julgamento de processos, após mudanças na composição do Comitê, não sofra uma discrepância muito grande em relação aos julgamentos anteriores. Na verdade, este pode ser visto como um detalhamento das normas da Comissão de Coordenadores dos Comitês Assessores (CCCA), de acordo com a interpretação dada pelo CACC nos últimos anos. Fica a sugestão que documentos iguais a esse sejam feitos e arquivados para que os novos membros possam ter uma melhor idéia da evolução dos critérios de avaliação, minimizando as disparidades de julgamento.

Norma Geral

Caso um membro do Comitê seja da mesma universidade do pesquisador cujo pedido está sendo julgado, o membro em questão se omitirá de dar qualquer parecer sobre o caso, a não ser que os outros membros peçam explicitamente que seja feito algum comentário visando o esclarecimento de pontos sendo discutidos.

Classificação de Pesquisador: Bolsa de Pesquisa

Os critérios descritos abaixo, em itálico, foram publicado na Revista Brasileira de Computação e divulgados também pela Rede Nacional de Pesquisa (RNP). É importante salientar que estes critérios são basicamente uma cópia dos sugeridos pela CCCA. O restante do texto e as partes em negrito enfatizam os pontos principais considerados no julgamento.

Observações:

• Não há limite de tempo para permanência de pesquisador em qualquer nível, exceto o nível II-C. Portanto um pesquisador pode ficar vários anos no mesmo nível se não satisfizer os requisitos de progressão.
• Um pesquisador que esteja fora do sistema de bolsas é classificado no nível compatível com seu curriculum, isto é, não é necessária a passagem seqüencial por cada nível.
• O CACC tomou a decisão de adotar uma ``curva de histerese'' para passagem de nível. Em outras palavras, para subir de nível um pesquisador terá que satisfazer mais que o critério mínimo exigido. Isto é, o pesquisador deverá enquadrar-se bem dentro do nível a ser promovido, sem nenhuma margem de dúvida.
• No que diz respeito a reclassificação a um nível inferior, o CACC tem procurado adotar a posição da CCCA, que recomenda que um pesquisador não sofra rebaixamento de nível, e que a bolsa seja simplesmente retirada, caso o pesquisador não cumpra com os requisitos necessários. Entretanto, nos casos extremos, o rebaixamento poderá ocorrer, desde que o pesquisador tenha sido amplamente avisado do seu baixo rendimento, e dado prazo suficiente para sua melhora de maneira a compatibilizar a sua atuação acadêmica ao nível.
• Nos ítens abaixo, foi evitado deliberadamente atribuir números às palavras ``poucas, algumas, várias'', com relação ao número de publicações. Entretanto, o significado está claro no contexto e o comitê tem margem para dar uma interpretação mais concreta às palavras.
• É evidente que um pesquisador alocado a uma categoria deve satisfazer os pontos importantes das categorias inferiores, além dos explicitados na categoria em questão.

É pré-requisito para que um pesquisador concorra a uma bolsa de pesquisa do CNPq que o mesmo seja portador de grau de doutor.

:

Esse nível é atribuído a um pesquisador recém-doutorado em instituição de bom nível, que já demonstrou qualidades para o desempenho de atividades científicas comprovadas por pesquisas/publicações. O tempo máximo de permanência neste nível deverá ser de quatro anos. Findo este prazo, caso o pesquisador não tenha apresentado um desempenho que permita a sua promoção à Categoria II-B ele deve ser retirado do sistema.

O pesquisador tem sido classificado neste nível se:

• é recém-doutor.
• o seu projeto está bem estruturado;
• existirem evidências de publicações científicas a nível nacional ou internacional.

:

O pesquisador deverá apresentar produção científica regular e de qualidade. Caso pertença a uma instituição de ensino superior, deve estar participando do processo de formação de pesquisadores.

O pesquisador tem sido classificado neste nível se:

• Possuir várias publicações em congressos nacionais com sistema de referee;
• possuir no mínimo algumas poucas publicações em congressos internacionais de bom nível;
• caso em instituição de nível superior deverá estar orientando teses de mestrado.

:

O pesquisador já deve ter demonstrado autonomia e originalidade, comprovadas através de trabalhos publicados em meios de divulgação com padrão reconhecido internacionalmente. Caso pertença a uma instituição com programa de pós-graduação deverá ter orientado teses de mestrado.

O pesquisador tem sido classificado neste nível se:

• possuir várias publicações em congressos nacionais com sistema de referee;
• possuir várias publicações em congressos internacionais de bom nível, com sistema de referee e publicação de full paper nos anais;
• possuir no mínimo uma ou duas publicações em periódicos internacionais. (Este ítem não é fundamental, e é tido mais como um fator de incremento ao ítem de publicações internacionais.)
• ter orientado várias teses de mestrado.

:

A passagem do nível II para o nível I representa o reconhecimento de um trabalho regular, de qualidade reconhecida internacionalmente, o qual, aliado a uma demonstrada capacidade de formação de pesquisadores, evidencia definitivamente sua autonomia científica. Deve também ter evidenciado capacidade de captação de recursos para pesquisa.

:

O pesquisador nesta categoria já demonstrou capacidade para produção científica independente e regular, comprovada pela publicação de seus trabalhos em revistas de bom nível. Deve ter demonstrado sua competência na orientação de teses de pós-graduação.

O pesquisador tem sido classificado neste nível se:

• tem publicado regularmente em congressos nacionais e/ou revistas nacionais de bom nível, com sistema de referee.
• tem publicado regularmente em congressos internacionais de bom nível, com sistema de referee e publicação de full paper;
• possuir no mínimo algumas publicações em periódicos internacionais de bom nível.
• Além dos ítens acima, a qualidade do trabalho a nível internacional e independência científica pode ficar evidenciada pela participação em comitês de programa de conferências internacionais de bom padrão, programas de cooperação internacional, entre outros.
• A captação de recursos é indicada por projetos aprovados, etc.
• ter orientado várias teses de mestrado (em maior número que o exigido para a categoria II-A).

:

Nesta categoria os pesquisadores devem ter demonstrado uma produção científica original de alto nível, com publicações regulares em periódicos conhecidos, capacidade de orientação de teses de doutoramento, participação em programas e projetos científicos de longo prazo e contribuído para a criação de uma reconhecida competência do grupo e instituição onde trabalha.

O pesquisador tem sido classificado neste nível se:

• tem publicado regularmente em periódicos internacionais conhecidos, o que indica que o pesquisador deve possuir várias publicações em periódicos internacionais de bom nível.
• ter orientado teses de doutorado, ou capacidade de orientação de teses de doutorado, evidenciado pelas publicações a nível internacional;
• Além dos ítens acima, a qualidade do trabalho a nível internacional é evidenciada pela participação em comitês de programa de conferências internacionais de bom padrão, programas de cooperação internacional, entre outros.
• ter contribuido para uma reconhecida competência do grupo a nível nacional e/ou internacional.

:

O pesquisador desta categoria acumula experiência e desempenho que o coloca entre as lideranças científicas do país na sua área. Tem realizado trabalhos reconhecidamente importantes em escala nacional e internacional, com contribuição significativa para o desenvolvimento da sua área no país. Sua carreira tem demonstrado uma atividade científica contínua, a nível de excelência, contribuindo para a formação de novos cientistas, nucleação de grupos de pesquisa reconhecidos e fortalecimento de instituições de pesquisa no país.

Os pontos chaves para a promoção a este nível são:

• O trabalho contínuo através dos anos evidenciado por um excelente número de publicações a nível nacional e internacional;
• A indiscutível contribuição para o desenvolvimento da sua área no país;
• a formação de recursos humanos: novos cientistas, grupos de pesquisa, etc.;
• A evidência de liderança científica nacional.

Observações Gerais:

1. Excepcionalmente, a critério do CA correspondente, a exigência de doutoramento formal poderá ser relevada, desde que haja equivalência comprovada do perfil científico.
2. Embora se reconheca que o desempenho de atividades administrativas constitui uma contribuição relevante do pesquisador para a comunidade, estas não justificam, por si só, a concessão ou renovação de bolsas de pesquisa. Atualmente, a bolsa de pesquisa se constitui num incentivo extremamente importante ao pesquisador, e como consequência, a ênfase permanece na atividade de pesquisa strictu-sensu.

Participação em Congressos com Artigo Aceito

Principais pontos considerados:

• Comitê de Programa Internacional (e de renome, caso seja possível identificar nomes do comitê).
• Processo de seleção por referee, baseado em full paper.
• Publicação de full paper em anais da conferência.
• Conferência tradicional da área em questão.
• Conferência apoiada por organismos internacionais de renome, por exemplo, IEEE, ACM, IFIP.
• Pesquisador com doutorado.

Caso o pedido satisfaça todos esses ítens a aprovação tem sido quase que automática. Entretanto, outros casos que foram considerados:

• Paper selecionado por extended abstract, caso este seja suficientemente grande para dar detalhes sobre o conteúdo do artigo e suporte ao processo de avaliação.
• Pesquisador conjuga a sua viagem com visitas a centros de pesquisa/universidades onde mantém contatos de pesquisa.

Observações:

• Não temos aprovado se o artigo é abstract ou poster section. Entretanto, foi discutido que isso poderia (eventualmente, se os recursos não estiverem tão apertados) ser considerado caso:
  • O pesquisador seja senior suficiente para ter um bom aproveitamento da conferência (contatos, etc.)
  • O congresso seja, sem sombra de dúvidas, muito importante.
  • O CACC tem incentivado a visita a centros de pesquisa de renome durante a ida a congresso, para melhor aproveitar a viagem, fazendo contatos científicos importantes (melhor razão custo/benefício).
• No caso de Mestres, se não conflitar com normas do CNPq: aprovar se o trabalho satisfaz os ítens mais importantes, em caráter excepcional, dependendo da disponibilidade de recursos do CNPq. No caso do mestre ser aluno de doutorado há uma maior flexibilidade.

Participação em Congressos como Membro de Comitê de Programa

Caso o solicitante seja membro do comitê de programa, sem artigo aceito, os pontos principais a serem considerados são:

• Comitê de Programa Internacional (e de renome, caso seja possível identificar nomes do comitê).
• Conferência tradicional da área em questão.
• Conferência apoiada por organismos internacionais de renome, por exemplo, IEEE, ACM, IFIP.

Em resumo, ficar claro que o convite para participação no Comitê foi devido às qualificações acadêmicas do pesquisador, além de trazer prestígio acadêmico para o pesquisador e sua instituição.

Observações:

No caso de pedido para participação da reunião do comitê de programa, além dos ítens acima, o pesquisador deve:

• Indicar claramente que a sua presença na reunião é essencial. (Por exemplo incluindo carta do Program Committee Chairman).
• Conjugar a viagem com visitas a centros de pesquisa próximos ao local da reunião, ou participação em congresso internacional, ou outra atividade de relevância acadêmica.

Participação em Congressos para Ministrar Tutorias

O CACC considera que a participação em congressos de renome para ministrar tutorias (a convite ou escolhido por um comitê especial) demonstra maturidade do pesquisador e reconhecimento internacional de seu trabalho, e portanto o pedido pode ser apoiado. Os pontos principais a serem considerados são os mesmos de participação em congressos como membro de comitê de programa. E, novamente, ficar claro que o convite (ou escolha) para ministrar o tutorial foi devido às qualificações acadêmicas do pesquisador, além de trazer prestígio acadêmico para o pesquisador e sua instituição.

Bolsa de Doutorado

Pontos Principais:

• Universidade a ser realizado o curso deve ser comprovadamente uma das mais renomadas Universidades a nível mundial. A comprovação é feita pelas listas de classificação (exemplo, Estados Unidos, Inglaterra) disponíveis no CNPq.
• Aluno com histórico escolar excelente, tanto na pós-graduação quanto na graduação.
• Vínculo empregatício no Brasil.
• Cartas de recomendação.
• Plano de trabalho, indicando o porquê da escolha da instituição.

Observações:

• O vínculo empregatício foi considerado apenas como uma forma de priorizar os candidatos.
• Cuidado especial deve ser tomado nas cartas de recomendação. Na sua maioria elas não tem sido de serventia, pois sempre julgam o canditato como excelente.
• Como tem havido uma demanda muito grande para a Inglaterra (e França em menor escala), o comitê decidiu dar prioridade para candidatos aceitos para Universidades nos EUA e outros países da Europa (e.g. Alemanha), desde que a Universidade escolhida seja comprovadamente renomada a nível mundial. Uma nota foi divulgada na RNP pelo CACC alertando para esse fato.

Prorrogação de Bolsas de Doutorado Após 4 Anos

A prorrogação de bolsas de doutorado por um período superior a 4 anos é excepcional e será de no máximo 6 mêses, seguindo os principais pontos abaixo:

• O aluno tem que ter tido excelente progresso durante o curso, evidenciado principalmente por cartas do orientador e evolução do processo (relatórios anuais)
• Ficar claro que o aluno terminará o trabalho durante os mêses de prorrogação.
• Nos casos em que existiram problemas de força maior, independentemente da vontade do aluno. Exemplo: orientador mudou de instituição, problemas de saude, etc.

Observações:

Não tem sido prorrogada bolsas naqueles casos em que for evidente que o aluno não terminará o trabalho durante a prorrogação. Deve ser notado que, de uma forma geral, se o orientador tem interesse no trabalho do aluno e este teve desempenho exemplar durante os 4 anos, o aluno ainda poderá pleitear financiamento do orientador para terminar a tese, além do prazo. Este fato não é incomum.

Bolsa de Pós-Doutorado

Pontos principais:

• Universidade hospedeira deve estar entre as mais renomadas, a não ser que haja uma boa justificativa do solicitante, tal como o pesquisador hospedeiro seja sem dúvida um dos líderes da área (embora esteja numa universidade de menor porte), ou o laboratório hospedeiro tenha competência reconhecida internacionalmente na área.
• A preferência será por trabalhar com um pesquisador de renome. Entretanto, se a Universidade é das mais conhecidas, então não há problema, pois um dos objetivos do programa é a reciclagem do pesquisador, o que certamente deverá ocorrer numa universidade renomada em várias áreas.
• O plano de trabalho deve ser claro e objetivo, mas não necessariamente detalhado. Deve ficar claro que um dos objetivos principais do pós-doutorado será atingido (reciclagem e/ou trabalhar com um pesquisador experiente).
• O Pós doutorado anterior não pode ser muito próximo do atual (isso é regra do CNPq).

Observações:

• Caso o pesquisador solicitante não faça nenhuma pesquisa há muitos anos (isto é, está muito inativo ou nunca fez pesquisa), então muito provavelmente não vale a pena investir no pesquisador, a não ser em casos muito especiais.

Bolsas de Iniciação Científica

As bolsas de Iniciação Científica são julgadas principalmente de acordo com:

• O historico escolar do aluno.
• O projeto onde o aluno irá participar.
• O curriculum do professor orientador.

Um peso maior tem sido dado para o professor horientador, levando em consideração a sua experiência em orientação de bolsas de IC. Em geral, um limite de 4 bolsas tem sido usado numa primeira solicitação, caso o orientador seja experiente. Em pedidos de novas solicitações, o CACC tem aprovado 1 ou 2 bolsas a mais quando o desempenho dos alunos do orientador em questão for muito bom.

Projeto Integrado

São dois os principais pontos considerados para avaliação de um projeto integrado:

• Avaliação dos ad-hocs.
• Classificação do Pesquisador / curriculum.

A avaliação dos ad-hocs, quando bem elaborada e feita por pesquisadores que trabalham no assunto do projeto tem sido de extrema valia ao comitê que tem procurado dar o parecer de acordo com as avaliações recebidas. Obviamente peso maior é dado para avaliações de pesquisadores seniors da área e cuja revisão é objetiva, clara e criteriosa. Quando as avaliações são conflitantes, o CACC tenta fazer uma análise mais detalhada, envolvendo sempre o membro do comitê de maior experiência na área em questão.

Para análise do projeto, os pontos principais observados são:

• Resumo do estado atual da área, incluindo uma bibliografia adequada, mostrando conhecimento da literatura atual.
• Objetivos claros. A contribuição esperada deve ser facilmente verificada.
• A experiência do pesquisador na área.
• As viagens, bolsas e os equipamentos pedidos tem que estar bem justificados e dentro de um orçamento ``razoável'', de acordo com o projeto e experiência do(s) pesquisador(es).

A classificação do(s) pesquisador(es) tem sido levada em conta para os valores a serem concedidos ao projeto, dado é claro, que o projeto esteja bem elaborado de acordo com os ítens acima. Por exemplo, projetos de pesquisadores do nível II-C recebem valores mais modestos de equipamentos em comparação a pesquisadores do nível II-A ou I (comparando dois projetos com montante de recursos solicitados semelhantes). Restrições também são aplicadas para a concessão de passagens internacionais, seja para participação em congressos ou pesquisador visitante. Da mesma forma, o número de bolsas tem sido atribuído de acordo com o nível.

Em resumo, o CACC tem usado de uma forma geral um teto de valores e bolsas como um ponto de referência para um projeto, de acordo com a classificacão do(s) pesquisador(es) envolvidos. Por exemplo, não se tem concedido mais de uma passagem internacional para um pesquisador do nível II-C, num projeto integrado. Caso o pesquisador tenha um desempenho exemplar durante a vigência do projeto, ele sempre poderá solicitar mais passagens, desde que devidamente justificadas. Também tem-se evitado conceder valores de hardware elevados em projetos ``ousados'' de pesquisadores II-C. Aprova-se apenas o suficiente para que o pesquisador possa fazer um trabalho mais modesto, compatível com a pouca experiência do recém doutor, porém suficiente para a realização de um bom trabalho.

Da mesma forma o CACC tem usado um valor de referência máximo de 30.000 dólares por ano para um pesquisador senior. Certamente esse valor não é limite, e pode ser aumentado de acordo com as necessidades de hardware do projeto, desde que claramente justificadas. No caso em que o solicitante não faça parte do sistema de bolsas de pesquisa, a sua classificação é feita, independente do pedido de bolsa, para auxiliar na decisão.

O CACC tem indicado sempre a importância do acompanhamento do projeto. A ``história'' dos projetos passados de um pesquisador também é levada em conta sempre que possível.