[su_quote cite="William Bruce Cameron"]Not everything that counts can be counted and not everything that can be counted counts.[/su_quote]
size="20"
A produção científica é um indicador de desempenho das instituições académicas que concorre para o reconhecimento da relevância e impacto do investigador, dos resultados da investigação, das unidades de investigação, das instituição e publicações. A avaliação da produção científica faz-se a partir da aplicação de diversos indicadores bibliométricos.
Considerando a importância que estes dados têm no panorama científico atual e o aumento do apoio solicitado à Unidade de Apoio ao Ensino e Investigação da Área de Biblioteca e Informação, destacam-se alguns conceitos base cujo domínio se reveste da maior importância em áreas tão críticas como as progressões de carreira e o financiamento e avaliação de projetos de investigação, sendo a análise bibliométrica um dos critérios estabelecidos pela FCT desde 2013.
Para efeitos de avaliação, os métodos tradicionais utilizados para medir o impacto da produção científica baseiam-se na contagem de publicações e de citações, existindo indicadores que se aplicam aos autores e outros às publicações científicas.
Métricas Tradicionais para avaliação de autores
Um relatório de citações de autor deve fazer-se na Web of Science ou na Scopus e não deve cruzar dados de ambas as fontes. De um relatório de citações constam as seguintes métricas:
Métricas Tradicionais para avaliação de publicações:
Tradicionalmente considera-se que uma publicação científica tem qualidade, âmbito internacional e cumpre todos os requisitos da revisão por pares se for indexada na Web of Science ou Scopus. As métricas utilizadas para avaliação de publicações são o Impact Factor e Quartil:
Métricas Alternativas
As Métricas Alternativas ou Altmetrics são indicadores do impacto da informação científica publicada na Web, complementares às métricas tradicionais (e não substitutas). A principal vantagem destas métricas é a capacidade de aumentar a visibilidade de investigadores e resultados de investigação contabilizando por exemplo quantas vezes um artigo foi compartilhado numa rede social como o Twitter ou arquivado num gestor de referências como o Mendeley.
Trata-se de um campo ainda recente resultante das tendências atuais de publicação e edição científica associado também à transparência da Ciência Aberta que pode vir a resultar na redefinição dos processos de avaliação tradicionais, considerando a coexistência de diferentes modelos para a avaliação da investigação. Para que estas métricas venham a ganhar peso e credibilidade enquanto medida de avaliação da produção científica, tal como acontece com as métricas tradicionais, será necessária ainda alguma evolução nomeadamente ao nível da criação de standards essenciais à sua aplicação mais generalizada e segura, tal como referido no projeto "Alternative Assessment Metrics (Altmetrics) Initiative” da NISO.
O Manifesto Altmetrics, publicado em 2010, aponta e reforça as limitações das métricas convencionais, propondo meios mais abrangentes para a aferição do impacto da investigação. Para além dos artigos científicos, tradicionalmente considerados para aferição do impacto, mediante a contagem de citações, as métricas alternativas abrangem a diversidade dos resultados científicos, tais como: data sets, software científico, livros e capítulos de livro, posters e apresentações em conferências, teses de mestrado e doutoramento, entre outros.
As Métricas Alternativas têm como principal vantagem a aplicação em tempo real, já que permitem a perceção do impacto em dias e a abrangência em termos de público e a transparência, ao basear-se em dados disponíveis livremente na Web.
Sobre o Uso Responsável das Métricas
Considerando todas as questões associadas à avaliação científica e ao impacto que a aplicação das métricas tem, este é um assunto sobre o qual muito se tem refletido, nomeadamente quanto à necessidade de conferir maior contextualização e responsabilidade na utilização dos indicadores bibliométricos para encontrar um formato mais justo e adaptado à realidade atual.
Sendo complementares, ambos os modelos apresentam ainda muitos constrangimentos nomeadamente quanto à facilidade com que os dados podem ser manipulados:
“Without going into the debate about the use and abuse of the JIF yet again, it is still worth noticing that more present-day metrics have entered the market. A fascinating one is propagated by a company aptly called “Altmetric” (www.altmetric.com). Its colorful, doughnut-shaped symbols are increasingly seen on journal and article websites. They graphically depict the “attention and online discussion surrounding your scholarly content” by measuring reception of a scientific article in the (social) media such as news outlets, blogs, Twitter, Facebook, Wikipedia, Google, and the like. On the related details page it will show “all of the original shares and mentions for a research output,” the theory being that the wider an article is spread the more likely it will be cited in the scientific closed shop JIF community in the end. So it is basically all about the attention created and the dissemination achieved, and by nature it is instantly available and constantly changing. The Altmetric Score must be seen as complementary to the traditional “bibliometrics” and, of course, it has all their usual drawbacks too, such as the potential for manipulation.”
Heinemann, MK (2018). Alt(ernative)Metrics. The Thoracic and cardiovascular surgeon, 66(06), 425-425. DOI: 10.1055/s-0038-1669912
“The possibility of manipulation of citation metrics is a serious matter, and Clarivate Analytics remains the only bibliometrics provider to monitor, survey, and curate our data to identify anomalies that lead to distorted rankings.(…) Metrics for the titles listed below are not published due to anomalous citation patterns found in the 2017 citation data. These patterns result in a significant distortion of the Journal Impact Factor and rank that does not accurately reflect the journal’s citation performance in the literature. The Journal Impact Factor provides an important and objective measure of a journal’s contribution to scholarly communication. In the interest of fairness and accuracy for all journals, the distortion of the Journal Impact Factor by an excessive concentration of citations gives rise to the need for suppression. JCR staff will monitor these journals going forward and the titles will be included in a future edition of JCR when the anomalous patterns are resolved. Coverage of these journals in Web of Science and other Clarivate Analytics products is not immediately affected by suppression from the JCR. However, the titles may be subject to review to determine if they continue to meet the quality and publication standards necessary for inclusion in Web of Science Core Collection flagship indexes (Science Citation Index Expanded and Social Science Citation Index).”
Title Suppressions - Editorial Expression of Concern from InCites Journal Citation Report (2018 release)
“We study history to avoid repeating mistakes but also to guide us in our quest to innovate and push the envelope. Of the IF tool, Garfield(1955) said, “The new bibliographic tool, like others that already exist, is just a starting point in literature research. It will help in many ways, but one should not expect it to solve all our problems.” There may never be a one-stop shopping resource that answers every question posed in the medical and scientific spheres, but we can leverage altmetrics and social media and embrace the IF’s strong historical performance to ensure that optimal academic and societal impact is afforded to scholarly work now and for future generations of aesthetic plastic surgeons.”
Cress, PE. (2014). Using altmetrics and social media to supplement impact factor: maximizing your article’s academic and societal impact. Aesthetic Surgery Journal,34(7),1123–1126. https://doi.org/10.1177/1090820X14542973
Para saber mais sobre Métricas:
Amath, A, Ambacher, K, Leddy, JJ, Wood, TJ, & Ramnanan, CJ. (2017). Comparing alternative and traditional dissemination metrics in medical education. Medical Education, 51(9), 935-941. https://doi.org/10.1111/medu.13359 Texto integral disponível aqui
Gasparyan, AY, Yessirkrpov, M, & Kitas, GD. (2018) Researcher and Author Impact Metrics: Variety, Value, and Context. J Korean Med Sci, 33(18):e139 doi: 10.3346/jkms.2018.33.e139 Texto Integral disponível aqui
Molero, R. (2015) Altmetrics – a complement to conventional metrics. Biochem Med, 25(2): 152-60. doi: 10.11613/BM.2015.016 Texto integral disponível aqui
Ruano, J, Aguilar-luque M, & Isla-Tejera, B. (2018). The differential impact of scientific quality, bibliometric factors, and social media activity on the influence of systematic reviews and meta-analyses about psoriasis. Plos one, 13(1): e0191124.
https://doi.org/10.1371/journal.pone.0191124 Texto Integral disponível aqui
UK Forum for Responsible Research Metrics (2018).UK Progress towards the use of metrics responsibly - Three years on from The Metric Tide report. Texto integral disponível aqui
MOOC “Ciência Aberta” – Módulo 3: As implicações da Ciência Aberta no processo de investigação científica, impacto e avaliação. Texto integral disponível aqui
Garfield, E. (1955). Citation indexes for science. A new dimension in documentation through association of ideas. Science, 122(3159), 108–111. http://doi.org/10.1093/ije/dyl189
San Francisco Declaration on Research Assessment – DORA
Leiden Manifesto for Research Metrics
size="30"
Susana Oliveira Henriques
Área de Biblioteca e Informação
susanahenriques@medicina.ulisboa.pt
size="20"
A produção científica é um indicador de desempenho das instituições académicas que concorre para o reconhecimento da relevância e impacto do investigador, dos resultados da investigação, das unidades de investigação, das instituição e publicações. A avaliação da produção científica faz-se a partir da aplicação de diversos indicadores bibliométricos.
Considerando a importância que estes dados têm no panorama científico atual e o aumento do apoio solicitado à Unidade de Apoio ao Ensino e Investigação da Área de Biblioteca e Informação, destacam-se alguns conceitos base cujo domínio se reveste da maior importância em áreas tão críticas como as progressões de carreira e o financiamento e avaliação de projetos de investigação, sendo a análise bibliométrica um dos critérios estabelecidos pela FCT desde 2013.
Para efeitos de avaliação, os métodos tradicionais utilizados para medir o impacto da produção científica baseiam-se na contagem de publicações e de citações, existindo indicadores que se aplicam aos autores e outros às publicações científicas.
Métricas Tradicionais para avaliação de autores
Um relatório de citações de autor deve fazer-se na Web of Science ou na Scopus e não deve cruzar dados de ambas as fontes. De um relatório de citações constam as seguintes métricas:
- Total de artigos publicados
- Total de citações e/ou média das citações
- h-index - É uma das métricas mais comuns para avaliar os autores. Fornece dados sobre a produção científica de um investigador, combinando a quantidade (número de artigos) com a qualidade (impacto, número de citações por artigo). Quantifica a produção científica de um autor, a partir da contagem do seu maior número de artigos, que tenham pelo menos igual número citações. Foi proposto em 2005 pelo Professor Jorge Hirsch da Universidade da Califórnia. O seu método consiste em relacionar o número de publicações científicas com o número das suas citações. Por exemplo, um h-index 8 significa que um autor tem, no mínimo, 8 artigos publicados e estes receberam pelo menos 8 citações cada um.
Métricas Tradicionais para avaliação de publicações:
Tradicionalmente considera-se que uma publicação científica tem qualidade, âmbito internacional e cumpre todos os requisitos da revisão por pares se for indexada na Web of Science ou Scopus. As métricas utilizadas para avaliação de publicações são o Impact Factor e Quartil:
- Impact Factor é o indicador de impacto de uma revista no Journal of Citation Reports (JCR). O Impact Factor mais recente é sempre o do ano anterior ao ano em que estamos, correspondendo ao número médio de citações de artigos científicos publicados em determinada revista nos dois anos anteriores, divididos pelo número total de scholarly items/citable documents (i.e. artigos, reviews e proceedings) publicados na revista nesses dois anos. Um Impact Factor de 4.5 significa que em média, os artigos publicados há 1 ou 2 anos foram citados 4.5 vezes.
- Qualtil - Um quartil é qualquer um dos três valores que divide o conjunto ordenado de dados em quatro partes iguais e, assim, cada parte representa 1/4 da amostra. Permite comparar revistas de áreas temáticas distintas uma vez que atribui um parâmetro relativo à área temática. Uma revista que está no Q1 da sua área temática pode ser comparada a qualquer outra revista de Q1 mesmo que o JIF ou o SJR sejam totalmente diferentes. A consulta de Quartis faz-se no Scimago Journal & Country Ranking (SJR).
Métricas Alternativas
As Métricas Alternativas ou Altmetrics são indicadores do impacto da informação científica publicada na Web, complementares às métricas tradicionais (e não substitutas). A principal vantagem destas métricas é a capacidade de aumentar a visibilidade de investigadores e resultados de investigação contabilizando por exemplo quantas vezes um artigo foi compartilhado numa rede social como o Twitter ou arquivado num gestor de referências como o Mendeley.
Trata-se de um campo ainda recente resultante das tendências atuais de publicação e edição científica associado também à transparência da Ciência Aberta que pode vir a resultar na redefinição dos processos de avaliação tradicionais, considerando a coexistência de diferentes modelos para a avaliação da investigação. Para que estas métricas venham a ganhar peso e credibilidade enquanto medida de avaliação da produção científica, tal como acontece com as métricas tradicionais, será necessária ainda alguma evolução nomeadamente ao nível da criação de standards essenciais à sua aplicação mais generalizada e segura, tal como referido no projeto "Alternative Assessment Metrics (Altmetrics) Initiative” da NISO.
O Manifesto Altmetrics, publicado em 2010, aponta e reforça as limitações das métricas convencionais, propondo meios mais abrangentes para a aferição do impacto da investigação. Para além dos artigos científicos, tradicionalmente considerados para aferição do impacto, mediante a contagem de citações, as métricas alternativas abrangem a diversidade dos resultados científicos, tais como: data sets, software científico, livros e capítulos de livro, posters e apresentações em conferências, teses de mestrado e doutoramento, entre outros.
As Métricas Alternativas têm como principal vantagem a aplicação em tempo real, já que permitem a perceção do impacto em dias e a abrangência em termos de público e a transparência, ao basear-se em dados disponíveis livremente na Web.
Sobre o Uso Responsável das Métricas
Considerando todas as questões associadas à avaliação científica e ao impacto que a aplicação das métricas tem, este é um assunto sobre o qual muito se tem refletido, nomeadamente quanto à necessidade de conferir maior contextualização e responsabilidade na utilização dos indicadores bibliométricos para encontrar um formato mais justo e adaptado à realidade atual.
Sendo complementares, ambos os modelos apresentam ainda muitos constrangimentos nomeadamente quanto à facilidade com que os dados podem ser manipulados:
“Without going into the debate about the use and abuse of the JIF yet again, it is still worth noticing that more present-day metrics have entered the market. A fascinating one is propagated by a company aptly called “Altmetric” (www.altmetric.com). Its colorful, doughnut-shaped symbols are increasingly seen on journal and article websites. They graphically depict the “attention and online discussion surrounding your scholarly content” by measuring reception of a scientific article in the (social) media such as news outlets, blogs, Twitter, Facebook, Wikipedia, Google, and the like. On the related details page it will show “all of the original shares and mentions for a research output,” the theory being that the wider an article is spread the more likely it will be cited in the scientific closed shop JIF community in the end. So it is basically all about the attention created and the dissemination achieved, and by nature it is instantly available and constantly changing. The Altmetric Score must be seen as complementary to the traditional “bibliometrics” and, of course, it has all their usual drawbacks too, such as the potential for manipulation.”
Heinemann, MK (2018). Alt(ernative)Metrics. The Thoracic and cardiovascular surgeon, 66(06), 425-425. DOI: 10.1055/s-0038-1669912
“The possibility of manipulation of citation metrics is a serious matter, and Clarivate Analytics remains the only bibliometrics provider to monitor, survey, and curate our data to identify anomalies that lead to distorted rankings.(…) Metrics for the titles listed below are not published due to anomalous citation patterns found in the 2017 citation data. These patterns result in a significant distortion of the Journal Impact Factor and rank that does not accurately reflect the journal’s citation performance in the literature. The Journal Impact Factor provides an important and objective measure of a journal’s contribution to scholarly communication. In the interest of fairness and accuracy for all journals, the distortion of the Journal Impact Factor by an excessive concentration of citations gives rise to the need for suppression. JCR staff will monitor these journals going forward and the titles will be included in a future edition of JCR when the anomalous patterns are resolved. Coverage of these journals in Web of Science and other Clarivate Analytics products is not immediately affected by suppression from the JCR. However, the titles may be subject to review to determine if they continue to meet the quality and publication standards necessary for inclusion in Web of Science Core Collection flagship indexes (Science Citation Index Expanded and Social Science Citation Index).”
Title Suppressions - Editorial Expression of Concern from InCites Journal Citation Report (2018 release)
“We study history to avoid repeating mistakes but also to guide us in our quest to innovate and push the envelope. Of the IF tool, Garfield(1955) said, “The new bibliographic tool, like others that already exist, is just a starting point in literature research. It will help in many ways, but one should not expect it to solve all our problems.” There may never be a one-stop shopping resource that answers every question posed in the medical and scientific spheres, but we can leverage altmetrics and social media and embrace the IF’s strong historical performance to ensure that optimal academic and societal impact is afforded to scholarly work now and for future generations of aesthetic plastic surgeons.”
Cress, PE. (2014). Using altmetrics and social media to supplement impact factor: maximizing your article’s academic and societal impact. Aesthetic Surgery Journal,34(7),1123–1126. https://doi.org/10.1177/1090820X14542973
Para saber mais sobre Métricas:
Amath, A, Ambacher, K, Leddy, JJ, Wood, TJ, & Ramnanan, CJ. (2017). Comparing alternative and traditional dissemination metrics in medical education. Medical Education, 51(9), 935-941. https://doi.org/10.1111/medu.13359 Texto integral disponível aqui
Gasparyan, AY, Yessirkrpov, M, & Kitas, GD. (2018) Researcher and Author Impact Metrics: Variety, Value, and Context. J Korean Med Sci, 33(18):e139 doi: 10.3346/jkms.2018.33.e139 Texto Integral disponível aqui
Molero, R. (2015) Altmetrics – a complement to conventional metrics. Biochem Med, 25(2): 152-60. doi: 10.11613/BM.2015.016 Texto integral disponível aqui
Ruano, J, Aguilar-luque M, & Isla-Tejera, B. (2018). The differential impact of scientific quality, bibliometric factors, and social media activity on the influence of systematic reviews and meta-analyses about psoriasis. Plos one, 13(1): e0191124.
https://doi.org/10.1371/journal.pone.0191124 Texto Integral disponível aqui
UK Forum for Responsible Research Metrics (2018).UK Progress towards the use of metrics responsibly - Three years on from The Metric Tide report. Texto integral disponível aqui
MOOC “Ciência Aberta” – Módulo 3: As implicações da Ciência Aberta no processo de investigação científica, impacto e avaliação. Texto integral disponível aqui
Garfield, E. (1955). Citation indexes for science. A new dimension in documentation through association of ideas. Science, 122(3159), 108–111. http://doi.org/10.1093/ije/dyl189
San Francisco Declaration on Research Assessment – DORA
Leiden Manifesto for Research Metrics
size="30"
Susana Oliveira Henriques
Área de Biblioteca e Informação
susanahenriques@medicina.ulisboa.pt
