Introdução

A publicação de artigos é uma parte essencial da pesquisa científica. Contudo, ter um artigo impresso não basta - também é preciso garantir que o trabalho seja lido pelo maior número possível de pessoas, e que seja citado. Por isso, a maioria das revistas trabalha duro para ser indexada em bases de dados internacionais, partindo da convicção, fruto da lógica, de que a indexação naturalmente trará, primeiramente, maior visibilidade e, partir daí, mais citações (1-3).

Contudo, tal convicção não é embasada por dados da literatura. Uma busca detalhada desse tipo de evidência revelou apenas editoriais que comemoravam a indexação de uma dada revista ou comentavam a difícil trajetória cursada para atingir essa meta e as perspectivas considerando essa valorizada realização (4-7). Encontramos apenas uma breve avaliação que de fato mostrou que o número de citações a artigos publicados em cinco revistas brasileiras mais do que dobrou (em termos do fator de impacto medido pelo Institute for Scientific Information, o ISI) após a sua inclusão na base latino-americana SciELO (Scientific Electronic Library Online) (1).

Assim, foi nosso objetivo avaliar o impacto da inclusão do Jornal de Pediatria no SciELO em 2002 (8) e na base internacional MEDLINE em 2003 (9), tomando como indicador de visibilidade e qualidade atribuída a taxa de submissão de artigos após esses eventos.

Métodos

O número total de artigos submetidos ao Jornal de Pediatria de 2000 a 2004 foi analisado. Os desfechos secundários foram a submissão de artigos de países estrangeiros e os números relativos à aceitação de artigos para o mesmo período.

Como não houve mudanças nem no conselho editorial, nem nos métodos de submissão dos manuscritos no período do estudo, passamos a considerar o impacto em potencial de três eventos sobre as taxas de submissão de artigos: o primeiro foi o lançamento do site bilíngüe (português/inglês) de acesso gratuito, em março de 2001; o segundo foi a indexação no SciELO, em julho de 2002; e o terceiro foi a indexação na MEDLINE, em agosto de 2003. Assim, quatro etapas foram considerados: a etapa I, chamada de "pré-site" (15 meses), a etapa II, "site" (16 meses), a etapa III, "SciELO" (13 meses), e a etapa IV, "MEDLINE" (16 meses).

Para fins de análise estatística foram utilizados análises de tendência, ANOVA unidimensional para dados ordenados pelo teste post hoc de Duncan (para comparação do número de submissões em cada momentos) e o teste exato de Fisher com ajuste do valor p pelo teste de Finner-Bonferroni (para comparação da submissão de artigos estrangeiros nos quatro períodos).

Resultados

Foi observada uma tendência significativa de aumento linear no número de artigos submetidos ao Jornal de Pediatria em todo o período do estudo (p = 0,009) (Figura 1). A tabela 1 mostra o número de artigos submetidos em cada categoria nos momentos de I a IV. O número de submissões não foi estatisticamente diferente nas etapas I e II (p = 0,148), mas foi estatisticamente maior a etapa III (p < 0,001 vs. etapa I; p = 0,006 vs. etapa II) e IV (p < 0,001 vs. etapa I e II, e p < 0,05 vs. etapa III). A variação positiva na submissão de cartas ao editor foi a mais marcante entre as categorias de artigos, seguida pelos artigos originais.

Figura 1 -
Jornal de Pediatria: Números mensais de submissão e aceitação de artigos, 2000 a 2004

Tabela 1 -
Jornal de Pediatria: taxas de submissão e aceitação de artigos por momento de análise, 2000 a 2004

Houve uma flutuação errática e pronunciada na submissão mensal de artigos nas etapas III e IV (Tabela 2).

Tabela 2 -
Jornal de Pediatria: Número médio mensal de submissões por momento de análise, 2000 a 2004

Como o número absoluto de artigos aceitos por número da revista permaneceu estável durante o período do estudo, a taxa de aceitação diminuiu. Essa queda foi mais pronunciada para os relatos de caso.

O número de artigos estrangeiros submetidos nas etapas de I a IV foi 1, 2, zero e 17, respectivamente, com p < 0,001 para a comparação da etapa IV com as etapas anteriores.

Discussão

Foi observada uma associação inequívoca entre a indexação no SciELO e um aumento no número de manuscritos brasileiros submetidos ao Jornal de Pediatria, enquanto que a indexação na MEDLINE claramente levou a um aumento nas submissões tanto do Brasil quanto do exterior. Esses resultados substanciam a noção empírica de que os autores submetem mais artigos a revistas indexadas em bases internacionais (1,10-16).

Os autores preferem revistas indexadas devido a sua visibilidade, mas também porque as agências de financiamento valorizam essas publicações (10,17). No Brasil, esse é um dos principais critérios utilizados pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) para classificar os programas de pós-graduação. A CAPES classifica as revistas através de um sistema chamado de Qualis. Conforme o Qualis, as melhores revistas são aquelas indexadas na MEDLINE e com um alto fator de impacto conforme os Journal Citation Reports (JCR) da empresa Thomson Scientific (18,19). A seguir estão as revistas indexadas na MEDLINE, mas que possuem um baixo fator de impacto. E em terceiro lugar estão as revistas indexadas na MEDLINE, mas que não são incluídas nos JCR.

O fato de as agências de financiamento no Brasil, e talvez também em outros países, valorizarem acima de tudo um alto fator de impacto merece atenção especial. Em primeiro lugar, muitos já apontaram que contar citações é uma forma falha de avaliar o mérito acadêmico, entre outros porque não se mede a citação a artigos específicos (20-25). Em segundo lugar, se um artigo é citado com freqüência como exemplo de pesquisa de má qualidade, mesmo assim a menção repetida a esse artigo irá aumentar o fator de impacto da revista. Além disso, as revistas com versões impressas em outras línguas que não o inglês dificilmente serão avaliadas por organizações como a Thomson-ISI, com o pretexto de que o seu fator de impacto é baixo demais - o que provavelmente é verdade, já que os leitores internacionais dificilmente citarão um artigo publicado em uma língua que não sabem ler. Vale mencionar que o número de citações da MEDLINE a artigos em inglês aumentou de aproximadamente metade do total de registros naquela base antes da década de 1970 para quase 90% atualmente (26).

Além disso, sempre que a MEDLINE lista um artigo em "não-inglês" (ou seja, um artigo cuja versão original impressa é publicada em qualquer língua que não o inglês, não importando se existe uma versão em inglês do conteúdo), seu título aparece entre colchetes. Assim, embora o Jornal de Pediatria - como muitas outras revistas oficialmente indexadas como "não-inglesas" - ofereça acesso gratuito ao texto integral dos artigos em inglês, é razoável pressupor que aqueles colchetes por si só desestimulem muitos leitores. Duas perguntas interessantes que emergem desse cenário são: quantos pesquisadores que fazem buscas na MEDLINE utilizam filtros de linguagem, ou quantos acessam artigos cujos títulos aparecem entre colchetes? E - será que a cobertura de uma revista pelo ISI teria o poder de aumentar o seu fator de impacto, da mesma forma como a indexação na MEDLINE aumenta a taxa de submissão de artigos?

Não resta dúvidas de que o Jornal de Pediatria passou a publicar artigos de maior qualidade como resultado da preparação para a indexação e da indexação propriamente dita. Isso explica, em parte, a queda marcante na taxa de aceitação, que diminuiu praticamente pela metade no período do estudo. O número de artigos originais publicados na revista está estabilizado desde o número de março/abril de 2001, quando atingimos o limite máximo de páginas impressas. Esse fato, juntamente com o aumento no número de submissões, contribuiu para a adoção de critérios mais rigorosos de avaliação, e a taxa de aceitação naturalmente diminuiu. Esse efeito foi mais evidente para os relatos de caso, indicando uma mudança nas características do Jornal de Pediatria, tendo sido priorizados os artigos originais.

Em conclusão, mostramos que a indexação do Jornal de Pediatria no SciELO e na MEDLINE aumentou a visibilidade internacional da revista, assim como a percepção global de qualidade atribuída, o que estimulou mais pesquisadores a submeter os seus artigos para fins de publicação.