Información basada en Campanario, J.M. (2006). El factor de impacto de las revistas académicas: preguntas y respuestas (link).

El Factor de Impacto (FI o Impact Factor, IF) es uno de los indicadores bibliométricos más utilizados. Los FI determinan anualmente la asignación de millones de euros en proyectos de investigación, promociones académicas, incentivos, etc.

El FI cada año es calculado por el Instituto de Información Científica (ISI o Institute for Scientific Information) para aquellas publicaciones a las que éste da seguimiento, las cuales son publicadas en un informe de citas llamado Journal Citation Report (JCR).

En el JCR se divide actualmente en la edición científica (Science Citation Index, SCI) y la edición de las ciencias sociales (Social Science Citation Index, SSCI). Veamos las características de cada uno:

Science Citation Index Expanded:

  • Provides access to current information and retrospective data from 1900 to the present. Note that you may not have access to all data years.
  • Averages 19,000 new records per week.
  • Includes approximately 423,000 new cited references per week.
  • As of January 1991, contains searchable, full-length, English-language author abstracts for approximately 70% of the articles in the index.

Some of the disciplines covered include:

Agriculture Neuroscience
Astronomy Oncology
Biochemistry Pediatrics
Biology Pharmacology
Biotechnology Physics
Chemistry Plant Sciences
Computer Science Psychiatry
Materials Science Surgery
Mathematics Veterinary Science
Medicine Zoology

Social Sciences Citation Index®

The Social Sciences Citation Index is a multidisciplinary index to the journal literature of the social sciences. It fully indexes more than 1,725 journals across 50 social sciences disciplines, and it indexes individually selected, relevant items from over 3,300 of the world’s leading scientific and technical journals.

In addition, the Social Sciences Citation Index:

  • Provides access to current information and retrospective data from 1956 forward. Note that you may not have access to all data years.
  • Averages 2,900 new records per week.
  • Includes approximately 60,000 new cited references per week.
  • As of January 1992, contains searchable, full-length, English-language author abstracts for approximately 60% of the articles in the index.

Some of the disciplines covered include:

Anthropology Political Science
History Public Health
Industrial Relations Social Issues
Information Science &
Library Science
Social Work
Law Sociology
Linguistics Substance Abuse
Philosophy Urban Studies
Psychology Women’s Studies
Psychiatry

Cálculo del FI: El FI es el promedio de veces en los dos últimos años que los artículos publicados en una determinada revista han sido citados por las otras revistas del JCR en el año en curso.

Se calcula dividiendo el número de citas en el año en curso del JCR por el total de artículos publicados en los dos años precedentes. Un FI de 1.0 significa que, de media, los artículos publicados uno o dos años antes han sido citados una vez. Un FI de 2.5 significa que han sido citados dos veces y media de media.

Ejemplo: FI en el año 2003 para la Revista de Promoción de la Ciencia (RPC).

A = Número de veces en que los artículos publicados en el periodo 2001-2002 han sido citados por las revistas a las que se les da seguimiento a lo largo del año 2003 = 298
B = Número de artículos publicados en el periodo 2001-2002 por la RPC = 66.
Factor de impacto 2003 = 298/66 = 4.515

¿Es un factor de impacto grande o pequeño? Eso sólo se puede saber comparándolo con factores de impacto de revistas parecidas o del mismo tema. Por ejemplo, el factor de impacto de las revistas de medicina o de física es muy superior, en promedio, al factor de impacto en matemáticas.

¿Cómo se cuentan las citas?. El ISI cuenta las citas que cada documento (no se incluyen cartas, editoriales, revisiones de libros, etc.) publicado en cada una de las revistas que indexa. Obviamente, si una revista es citada en otra que no está indexada por el ISI, esas citas no cuentan para el factor de impacto. Se sospecha que no es fácil reproducir el cálculo de los factores de impacto porque el ISI añade o elimina algunas citas mediante algunos procesos manuales (no automáticos) que no han sido explicados con detalle. Posiblemente se corrigen o rechazan determinadas citas erróneas. Lo cierto es que es habitual encontrar discrepancias entre el número de citas que uno es capaz de identificar y las que considera el ISI válidas para calcular el factor de impacto. El ISI no detalla las citas concretas que utiliza para calcular el factor de impacto, sólo ofrece el número total, pero no las identifica una a una. Por otra parte, para el cálculo del factor de impacto se cuentan tanto las citas que provienen de otras revistas como las que aparecen en artículos publicados en la propia revista (autocitas de la revista). Igualmente, se cuentan las citas que realizan los investigadores a sus propios artículos (autocitas del autor).

¿Es correcto el uso exclusivo del FI?. El propio inventor del factor de impacto, Eugene Garfield, ha insistido repetidas veces en la conveniencia y aún en la necesidad de contrastar el factor de impacto con otros indicadores y con una evaluación detallada y complementada con otros enfoques, como, por ejemplo, el juicio de expertos. Sin embargo, no es raro que las autoridades académicas y los gestores de la investigación utilicen el factor de impacto como único criterio a la hora de tomar decisiones. Estamos convencidos de que una parte importante de los usuarios del factor de impacto ni siquiera sabe cómo se calcula este indicador bibliométrico. Al parecer, resulta extremadamente difícil que ciertas personas entiendan los inconvenientes que tiene una evaluación acrítica de algo tan complejo como la investigación, utilizando indicadores cuyos fundamentos y limitaciones no se conocen del todo bien. En Economía se produce un fenómeno similar con el P.I.B.: mucha gente habla de él, a pesar de no tener la más remota idea de cómo se define.

¿Representa el factor de impacto el número medio de citas de un artículo?. Más bien no. La distribución de artículos según el número de citas recibidas es muy desigual. En general, esta distribución no sigue una curva normal. Lo habitual es que existan unos cuantos artículos muy citados y haya una gran cantidad de artículos que no son citados o son muy poco citados. Cuando se produce esta situación (muy frecuente), el factor de impacto no representa el número medio de citas que recibe un artículo publicado en una revista determinada.

¿Se puede influir en el factor de impacto de las revistas académicas?. Aunque lo ideal para un editor sería hacer crecer el FI de su revista seleccionando los mejores artículos, existen diversas artimañas más o menos éticas, más o menos legales.

Los diez mandamientos para incrementar las citas (Buela-Casal, G. (2002). La evaluación de la investigación científica: el criterio de la opinión de la mayoría, el factor de impacto, el factor de prestigio y «Los Diez Mandamientos» para incrementar las citas. Análisis y Modificación de Conducta, 28, 455-476.)

01. Incrementar la difusión de la revista.
02. Incluir la revista en el mayor número posible de bases de datos.
03. Publicar artículos polémicos.
04. Publicar revisiones.
05. Publicar en idioma inglés.
06. Publicar artículos sobre temas de actualidad.
07. Publicar artículos de autores muy citados.
08. Establecer acuerdos con medios de comunicación.
09. Recomendar que se citen trabajos publicados en la misma revista.
10. Facilitar el acceso a los artículos por internet.

Pero todavía podemos añadir otras artimañas más enrevesadas citadas por J. M. Campanario:

- Intentar “colar” artículos de investigación como “notas” o “contribuciones breves” o cualquier tipo de documento que despiste al ISI, es posible que estos artículos no sean tenidos en cuenta en el denominador de la ecuación.

- Que el editor sugiera, durante el proceso de revisión (“peer review”), a los autores que citen artículos publicados recientemente en la propia revista. Se sabe incluso que alguna revista ha pedido abiertamente a sus lectores que la citen en publicaciones internacionales (obviamente, las recogidas en la base de datos del ISI).

- ¿Es posible, por otra parte, que los miembros de los comités editoriales se confabulen para citar a la propia revista cuando publican artículos en ella o en otras?. Evidentemente es una posibilidad…

A la vista de todo, ¿tiene algo que ver el factor de impacto de una revista con su calidad o su prestigio? (según Juan Miguel Campanario…). Creemos que definir la calidad o el prestigio es tan difícil como definir la belleza, por tanto, esta pregunta no tiene mucho sentido. De todas formas, parece que existe una cierta correlación entre el factor de impacto de una revista y su calidad o su prestigio, al menos si admitimos que la calidad o el prestigio tiene algo que ver con el juicio de los expertos en un área determinada. Sin embargo, no parece que existan estudios sistemáticos, realizados a gran escala. Por otra parte, el editor de la revista Cardiovascular Research realizó una simulación muy interesante: calculó de nuevo el factor de impacto de la revista, pero suprimiendo previamente algunos de los artículos publicados. Se optó por suprimir aquellos artículos publicados en los cuales los referees no habían coincidido en sus evaluaciones. Se supone que estos son los peores artículos. Por supuesto, en el cálculo no se tuvieron en cuenta las citas recibidas por los artículos eliminados. Se trata, entonces, de averiguar si la disminución en el numerador compensa la disminución del denominador. Se observó que el nuevo factor de impacto era más alto. Es decir, parece que el factor de impacto tiene alguna relación con la calidad o con lo que quiera que sea lo que evalúan los referees de las revistas cuando enjuician los originales que les envían los editores. También podría suceder que los artículos eliminados fuesen los más innovadores y, precisamente debido a ello, los referees no se pusiesen de acuerdo, ni la comunidad investigadora los hubiese sabido apreciar o reconocer mediante citas. Sea como fuere, la revista en cuestión habría aumentado su factor de impacto publicando menos artículos y renunciando a las citas que atraían los artículos suprimidos.

En resumen, al margen de las controversias más de fondo (y de la picaresca) el FI constituye la forma más fácil, simple y consensuada de medir la calidad de un artículo pero, asuminedo, como mínimo estas limitaciones:

  • El número de las citas no mide realmente la calidad de la publicación, sino la cantidad de publicaciones.
  • El periodo de cálculo base para citas es muy corto (dos años). Los artículos clásicos son citados frecuentemente aún después de décadas.
  • La naturaleza de los resultados en distintas áreas de investigación produce distinta cantidad de publicaciones y a diferente ritmo, lo que tiene un efecto en el factor de impacto (no son comparables distintas áreas).
  • El FI es un promedio de artículos citados de una revista, pero normalmente ello nunca sigue una distribución normal. Es decir, que los responsables del FI son unos pocos artículos (que realmente son muy citados), mientras otra mayoría se puede beneficiar del mismo FI sin haber recibido ni una sola cita.
  • Se da el mismo valor a todas las citas, cuando seguramente no tiene el mismo valor que un artículo sea citado en la revista Scientist (que en el año 2000 tenia un FI de 0,347) que en Science (que en el mismo año tenía un FI de 23,872).
Follow

Get every new post delivered to your Inbox.