Quais métricas são utilizadas na pesquisa?

Fonte: Shutterstock.

Deseja ouvir este material?

Áudio disponível no material digital.

PRATICAR PARA APRENDER

Caro estudante,

O conhecimento científico desfruta de grande prestígio na sociedade em virtude da alta confiabilidade do conhecimento científico. Com a democratização do fazer científico, a construção de universidades, agências e centros de pesquisa, a literatura científica expandiu enormemente, tornando a comunicação científica um nicho de mercado altamente rentável. A pressão por publicações decorrente da concorrência do campo científico produziu um efeito negativo sobre a qualidade das publicações.

A fim de organizar esse volume de publicações, filtrando as boas e más produções científicas, surgiram os indicadores e indexadores, por meio dos quais conseguimos ter uma base dos periódicos e pesquisadores mais relevantes em determinado campo de conhecimento. Como você sabe, conhecer a literatura científica estabelecida de uma área é importante no início de qualquer pesquisa, tanto para fundamentá-la, quanto para extrair as questões que merecem uma investigação mais profunda.

Conhecendo indicadores e indexadores, você estará mais próximo de encontrar as produções científicas mais relevantes para sua área de estudo. Geralmente, as boas pesquisas também possuem boas fundamentações teóricas. Tais plataformas também dispõem de redes e mídias sociais de colaboração que podem auxiliar no processo de comunicação entre você e pesquisadores de todo o mundo.

Um parecerista contratado por uma agência de fomento à pesquisa é responsável pela análise técnica de dois projetos de pesquisa que buscam financiamento. O parecerista deve analisar não apenas os objetivos e a relevância de cada pesquisa, mas também o currículo acadêmico desses pesquisadores. 

As tabelas a seguir apresentam respectivamente a produção de cada pesquisador.

Considerando os dados apresentados, indique qual é o índice H de cada pesquisador e qual deveria ser o pesquisador contemplado com o financiamento da pesquisa.

Não há ensino sem pesquisa e pesquisa sem ensino.

conceito-chave

Indicadores e métricas na pesquisa científica

Depois de desenvolver a pesquisa, entramos no campo da comunicação científica. É o dever de todo pesquisador divulgar os resultados de sua pesquisa a fim de contribuir com o avanço daquela área de conhecimento. Além disso, as publicações servem como um indicador de produtividade científica do pesquisador, o que pode se transformar tanto em oportunidades e reconhecimento acadêmico, quanto em obtenção de maior apoio financeiro para as pesquisas da área. 

A forma de comunicação mais usual dos resultados de uma pesquisa é através da publicação de artigos científicos, que são publicados em periódicos ou anais de eventos científicos e acadêmicos. 

Os primeiros periódicos (revistas) foram criados em 1665 e, com o passar do tempo, o número de periódicos só cresceu. Atualmente, há um grande número de periódicos, o que desencadeou grandes volumes de artigos de baixa qualidade. Por essa razão, foram desenvolvidos métricas e indicadores capazes de auxiliar na avaliação da qualidade de um periódico ou de um pesquisador, de forma a separar o joio do trigo. 

É importante que os pesquisadores analisem cuidadosamente o periódico que pretendem publicar, e os indicadores de qualidade podem ajudar nesse processo. A avaliação da qualidade do trabalho de um pesquisador ou periódico usualmente se dá com o auxílio de uma análise bibliométrica realizada por indicadores. Adicionalmente, existem ferramentas analíticas de produção científica, como InCites, SciVal, VantagePoint e Google Scholar Metrics. 

De acordo com a Agência USP de Gestão da Informação Acadêmica (AGUIA), os principais indicadores de qualidade da pesquisa científica são: 

1. Produção científica (scholary outputs): esse indicador mede volume e produtividade, mostrando o número total de itens publicados em um dado período, por exemplo. 
   
2. Contagem de citações (citation count): esse indicador mede o total de citações que um autor, uma instituição ou um país acumulou durante um período, e têm como uma das vantagens a comparação dos pesquisadores entre si. 
   
3. Citações por publicação (citation per publication): esse indicador mostra o número de citações de um artigo ou trabalho. Indica também uma média do impacto das citações. 
   
4. Índice H (h-index): esse indicador é um dos mais utilizados atualmente, ele mede o equilíbrio entre a produtividade e o impacto das citações. O índice pode ser calculado manualmente, ordenando as publicações com o número de suas citações de forma decrescente. O índice é o ponto de encontro entre a quantidade de publicação com o número de citações. Exemplo, o Índice-H 8 significa que um autor tem, no mínimo, 8 artigos publicados e estes receberam pelo menos 8 citações cada um. 
   
5. Impacto de citação (citation impact): esse indicador mostra o número médio de citações que um artigo recebeu em um período, ele é calculado pela divisão do número total de citações pelo número total de publicações. 
   
6. Impacto de citação ponderado por área de conhecimento (field-weighted citation impact): esse indicador tem a vantagem de comparar publicações similares em termos de citação, por exemplo, se a publicação se sobressai ou não em relação à média das citações das publicações nesse campo. 
   
7. Fator de impacto do periódico (journal impact factor): esse indicador mostra quantas vezes o artigo foi citado em relação ao total de trabalhos já publicados pelo periódico em determinado período de tempo. 
   
8. Fator de impacto do periódico sem autocitações (journal impact factor without self cites): esse indicador adiciona uma exceção ao anterior – as citações que provém de outros trabalhos do pesquisador são excluídas do cálculo. 
   
9. Fator de impacto do periódico em 5 anos (five year journal impact factor): esse indicador mostra o número de vezes que os trabalhos de um periódico têm sido citados no ano, de acordo com o JCR (Journal Citation Reports).
   
10. Produção no top percentis (outputs in the top percentiles): esse indicador mostra o grau em que as publicações estão presentes em termos percentis no universo de dados analisado. Ele mostra, por exemplo, quantas publicações de um grupo, instituição ou país estão no topo de 1%, 10% ou 25% dos trabalhos mais citados. Esse indicador também serve para comparar pesquisadores que possuem índices semelhantes pelos fatores anteriores.
    
11. Colaboração (collaboration): esse indicador mostra o número de publicações de uma instituição, pesquisador ou grupo que são produzidas com coautoria. Autorias únicas podem ser contabilizadas.
    
12. Impacto das colaborações (collaboration impact): esse indicador mostra o impacto da citação de uma publicação em colaboração, por exemplo, quantas citações recebeu em nível nacional, internacional etc. 
    

Além dos indicadores, temos ferramentas analíticas digitais que podem ser úteis para mensurar a qualidade das pesquisas. O Incites é uma plataforma on-line de avaliação de citações e tem como base de dados o Web of Science. O SciVal também é uma ferramenta de análise que tem como base o Scopus e o Science Direct. O VantagePoint é uma ferramenta de mineração e análise de dados que realiza análises bibliométricas bastando que se tenha a base de dados. O Publish ou Perish é um software gratuito que analisa os dados do Google Scholar obtendo várias estatísticas sobre o impacto das pesquisas. Por fim, o Google Scholar Metrics é uma das ferramentas mais conhecidas e fácil de utilizar para avaliar rapidamente a visibilidade e a influência de produções na ciência.

Altmetrias na ciência

Há formas de bibliometrias não tradicionais que surgem como alternativas ou complementos às métricas tradicionais. Chamadas de altmetrias (altmetrics), não são baseadas em contagens de citações, mas sim no impacto acadêmico medido com base nas pesquisas on-line, mídias sociais, mídias on-line etc. 

O surgimento da altmetria pode ser explicado por fatores como: a insatisfação com os medidores tradicionais de impacto das pesquisas científicas; a ampliação das ferramentas de rede e das formas de comunicação como um todo; a carência de filtros para a seleção de informações relevantes; o movimento open access, que visa democratizar o acesso aos resultados das pesquisas científicas.

Tais ferramentas analisam a quantidade de compartilhamentos em redes sociais, como Facebook, Twitter, Blogs etc., citações, menções, comentários, curtidas, downloads, tagueamento, visualizações, notícias etc. A altmetria se preocupa com o debate e a repercussão das publicações científicas em toda a sociedade; nesse sentido é importante compreender como os resultados das pesquisas têm sido vistos e utilizados. São algumas delas: 

1. Altmetric: é uma empresa que rastreia onde as pesquisas publicadas são mencionadas, fornecendo formas de monitorar as publicações no meio digital. 
   
2. Impactstory: é uma ferramenta de código aberto que ajuda os pesquisadores a medir o impacto dos resultados de pesquisa em periódicos, blogs, base de dados etc.
   
3. Plum Analytics: é uma empresa de altimetria, pertencente à Elsevier, que realiza a mensuração de artigos e trabalhos acadêmicos considerando uma ampla base de dados. 
   

Como acontece com os outros indicadores, cabe lembrar que a altmetria não mede de maneira automática a qualidade de um artigo científico, mas auxilia no processo de avaliação do impacto deste. Artigos bem citados e publicados em periódicos relevantes têm uma grande chance de serem bons. Todavia, é possível existir casos de artigos citados repetidamente pelo fato de terem cometidos grandes erros, o que mostra que uma análise da qualidade dos artigos apenas por indicadores de citações nem sempre é confiável. Sendo assim, para medir de fato a qualidade de um artigo é indispensável uma análise rigorosa sobre o seu conteúdo, metodologia e resultados.

Marketing Científico Digital

Com as redes de internet, as formas de comunicação passaram por grandes transformações. Devido à grande presença de pessoas on-line, cresceu a necessidade de que a comunicação científica chegue nesses espaços. Dada essas novas necessidades, novas práticas de publicação das pesquisas e de mensuração de relevância têm sido adotadas no mundo todo, levando à criação da ciência 2.0.

A ciência 2.0 é pensada a partir da aplicação das tecnologias de redes sociais nos processos de produção do conhecimento científico, em especial, no processo de comunicação científica. 

Com o objetivo de melhorar a comunicação científica nesses espaços e seu engajamento, surgiram iniciativas como o marketing científico digital. O marketing científico digital é uma modalidade de marketing que está sendo utilizada para auxiliar no processo de consumo do conhecimento científico. Dessa maneira, ele é utilizado para alavancar uma boa imagem da ciência e de seus resultados (produtos), tendo como um dos fins a ampliação da confiança e do investimento nas pesquisas científicas. 

Segundo Araújo (2015), o marketing científico busca uma adesão ampla pelo público do discurso científico, a promoção e divulgação dos trabalhos visando o reconhecimento das pesquisas em diversos âmbitos e a projeção de autores a fim de conquistarem o prestígio e a visibilidade. 

As estratégias de marketing científico digital são definidas com base no tipo de imagem que se quer transmitir para o público-alvo. De acordo com Araújo (2015), os pesquisadores, os editores e as instituições que buscam o marketing científico precisam observar três fatores indispensáveis:

1. A presença on-line: é importante que os interessados visem o alcance de um público amplo. Criar blogs ou perfis em mídias sociais são ações que auxiliam nesse objetivo.
   
2. Oferecimento de um conteúdo adequado ao ambiente: o conteúdo a ser transmitido nas redes deve ser criativo e a linguagem adequada à mídia social em questão. 
   
3. Atuação responsiva: é necessário que se atente à interação com os usuários consumidores do conteúdo para que se tenha um bom desempenho no ambiente digital. Sugere-se a criação de espaços de participação e colaboração pelos usuários.
   

Visibilidade Científica

Dada a importância das redes de internet no mundo atual, a visibilidade nestas redes tem sido cada vez mais almejada pelo impacto social que gera tanto na ampliação do debate acadêmico quanto na popularização da ciência. Todavia no âmbito da comunicação científica digital cabe diferenciar as diferentes expressões e modalidades de divulgação. 

Por comunicação científica, entende-se a produção e circulação de dados sobre a ciência, tecnologia e inovação. Em geral, a comunicação científica se destina a um público especializado, de modo que ela se dirige aos periódicos, eventos acadêmicos etc., e geralmente possui a linguagem formal utilizada nas pesquisas. 

Por divulgação científica, entende-se um processo de difusão de informação científica ao público mais amplo, especializada em um público leigo. Dessa maneira, o discurso e a linguagem científica são adequados para atender esse público, pois há a necessidade de tradução de termos científicos para termos de entendimento mais popular; o objetivo é fazer com a audiência entenda o assunto. 

Por jornalismo científico, entende-se uma publicação que é produzida e tratada por profissionais de jornalismos que têm acesso a dados das pesquisas científicas. O objetivo muitas vezes é comunicar em meios de comunicação de massa a informação científica de interesse público, todavia, há casos em que as pesquisas são tratadas com sensacionalismos e distorcidas, visando apenas uma maior audiência e engajamento do público. Por meio desses canais, os cientistas podem buscar a visibilidade de suas pesquisas. Além disso, um fator que tem contribuído para o aumento da visibilidade são as redes de colaboração entre os cientistas. 

Atualmente, há uma tendência crescente do processo de internacionalização da ciência que é percebida como uma forma de melhoria na qualidade de conhecimento produzido e de democratização da produção científica. Essa internacionalização tem sido expressa a partir da participação de autores de outros países nas publicações regionais (coautoria), da difusão dos resultados das pesquisas em outros idiomas e periódicos internacionais e, também, na mensuração dos impactos das publicações internacionais que mostram a influência das pesquisas em outros países. Uma expressão de suas vantagens está na contestação realizada por estudos de que o número de citações das publicações que envolvam pesquisadores de diferentes países é superior quando comparado ao número de citações das publicações estritamente nacionais (GHENO, 2020).

Assegurar a qualidade da produção científica é parte constitutiva de sua credibilidade. Tão fundamental quanto conhecer as etapas da produção científica é saber encontrar produções de qualidade. Os indicadores e as ferramentas digitais altimétricas estão disponíveis para nos auxiliar com essa tarefa.

Faça a valer a pena

Referências

Agência USP de Gestão da Informação Acadêmica (AGUIA). Indicadores e Métricas. Publicado em novembro, 2016. Disponível em: http://bit.ly/3qcOtO1. Acesso em: 10 dez. 2020.

ARAÚJO, R. F. Marketing científico digital e métricas alternativas para periódicos: da visibilidade ao engajamento. Perspectivas em Ciência da Informação, v. 20, n. 3, p. 67-84, 2015.

GHENO, E. M. et al. Impacto da internacionalização na visibilidade da produção científica do Programa de Pós-Graduação em Ciências Biológicas: BIOQUÍMICA/UFRGS (2007-2016). Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, v. 25, p. 01-25, 2020.