19 Novembro 2017
Página inicial / Canais / Opinião
Avaliação Bibliométrica
A questão da avaliação da actividade científica é o tema do artigo "Avaliação bibliométrica", da autoria do Prof. Manuel Pereira dos Santos, docente do departamento de Física.

A discussão dos últimos dias nos users sobre a forma de contabilizar a actividade científica merece-me alguns comentários:

· Estranhamente, muito se discutiu sobre a componente científica e como validá-la/contabilizá-la, quando esta é a componente mais validada per si e com mais experiência na quantificação do seu valor (para cada domínio científico);

· Como se validam "textos pedagógicos" (por exemplo, se não tiverem qualidade, ou se forem quase transcrições de livros?

· Como se valida a função de gestão (ou seja, como se distingue aí um bom de um mau desempenho)?

· Quais os critérios para se considerarem acções ditas de "extensão" ou "divulgação"?

Só refiro estes pontos, porque se aceita, aparentemente, a sua inclusão sem avaliação real, mas quanto às publicações - referindo-me apenas às que surgem no ISI Web of Science - que já foram apreciadas por dois referees e um editor (pelo menos no domínio da Física), se quer afectar a avaliação com outros índices relativos às revistas, número e ordenação dos autores (e, ignoro porquê, não se considera o n.º de citações, que constitui, juntamente com o factor de impacto da revista, uma forma de avaliar o impacto naquele domínio científico!)... Aliás, nos concursos em Espanha (e não só) inclui-se o "factor h" do investigador (que é o número n de artigos que este tem com mais de n citações)... que tem a vantagem de ser simples... e os índices simples têm a vantagem de ser mais transparentes!

Penso que a tentação de fazer uma espécie de ranking (mesmo que o regulamento preveja expressamente o contrário!) conduz às propostas de análise muito "fina" desta bibliometria - uma discussão infindável com quase duas décadas, desde que os registos de artigos e citações passaram a estar disponíveis na internet. Se a intenção for apenas detectar os casos graves de falta de qualidade no desempenho, ou os de qualidade excepcional, uma versão mais simples serviria perfeitamente. E qualquer análise fina (e pretensamente mais equitativa) da bibliometria tem o defeito de não ser de aplicação idêntica em todos os domínios científicos... se acomodar mal de peculiaridades de certos grupos (que assinam por ordem alfabética, por exemplo), ou da dimensão de certas equipas de investigação (com as excepções notórias dos domínios de "Biologia Hunana/Medicina" e de "Física das Partículas/Altas Energias", em que as largas dezenas de membros participantes - 80 a 100, vulgarmente! - gera um efeito multiplicativo no número de artigos e citações que não permita a sua padronização/comparação com outros domínios científicos), bem como o carácter menos internacionalizado de certos domínios de investigação (aspectos de História nacional, por exemplo), que leva a publicações ausentes do referido ISI Web of Science. Não há, portanto, uma "solução universal e equitativa" para este problema, o que não impede comparações dentro de certos grandes domínios científicos (como os que somos obrigados a fazer em concursos, para ordenar os candidatos).

Parece-me também uma "ideia peregrina" a criação na UE de um ranking ordenado de revistas (por factores de impacto?)... até porque - mesmo com todos os defeitos que a listagem/ranking do ISI Web of Science possa ter - qualquer outra listagem, feita caseiramente na UE, pelo menos nos domínios científico-tecnológicos, não teria qualquer valor e seria simplesmente ridícula: qual é a autoridade científica da UE para ter uma listagem que se sobreponha à que é aceite e reconhecida pela comunidade científica?

Também convém estarmos conscientes de que, por mais bem elaboradas que sejam, todas as regras podem ser "furadas" e contornadas... razão pela qual, quando há que fazer escolhas de uns em detrimento de outros (como nos concursos), não seja possível depender apenas de uma qualquer "fórmula mágica" que escalonasse de forma automática os candidatos, dispensando os júris dos "pares", e a sua contribuição especializada: nas várias dezenas de júris em que participei, já cruzei com técnicas de "multiplicação" de artigos (quase fotocopiados e enviados a 3 ou 4 revistas simultaneamente), "listas telefónicas" de 12-15 autores em domínios em que as equipas têm, em média 3 a 4... etc... E no dia em que se valorizar mais o primeiro autor do que os seguintes... veremos os orientadores ou líderes de certos grupos a abandonar a "convencional" última posição nos artigos para virem ocupar a primeira! Portanto, a ilusão de que uma regra mais complicada tornará a avaliação mais equitativa revela-se totalmente falsa.

Não existe na UE tradição ou experiência de avaliação da docência ou da investigação - como aliás na generalidade das outras universidades portuguesas, e mesmo nas restantes europeias a prática é relativamente recente, da última década - e a única entidade nacional com mais experiência global de avaliação da investigação é a FCT (Fundação para a Ciência e Tecnologia). Nesse sentido, parecia-me que começar por introduzir as regras que a FCT utiliza na avaliação de Centros e Projectos (com as devidas adaptações) seria uma primeira abordagem judiciosa da avaliação dos docentes nesta componente científica. Ter-se-á toda a oportunidade de melhorar/corrigir estes critérios no início do período seguinte de avaliação, face à experiência entretanto adquirida.

Além do mais, a simplicidade e transparência não sobrecarregariam demasiado os avaliadores... em detrimento da sua actividade lectiva e de investigação!

Manuel Pereira dos Santos | Departamento de Física
Publicado em 13.12.2010