Aggregation properties of relative impact and other classical indicators: convexity issues and the Yule-Simpson paradox - INRAE - Institut national de recherche pour l’agriculture, l’alimentation et l’environnement Accéder directement au contenu
Communication Dans Un Congrès Année : 2007

Aggregation properties of relative impact and other classical indicators: convexity issues and the Yule-Simpson paradox

Les propriétés d'agrégation des impacts relatifs et autres indicateurs classiques : questions de convexité et le paradoxe de Yule-Simpson

Résumé

Among classical bibliometric indicators, direct and relative impact measures for countries or other players in science are appealing and standard. Yet, as shown in this article, they may exhibit undesirable statistical properties, or at least ones that pose questions of interpretation in evaluation and benchmarking contexts. In this article, we address two such properties namely sensitivity to the Yule-Simpson effect, and a problem related to convexity. The Yule-Simpson effect can occur for direct impacts and, in a variant form, for relative impact, causing an apparent incoherence between field values and the aggregate (all-fields) value. For relative impacts, it may result in a severe form of 'out-range' of aggregate values, where a player's relative impact shifts from 'good' to 'bad', or conversely. Out-range and lack of convexity in general are typical of relative impact indicators. Using empirical data, we suggest that, for relative impact measures, 'out-range' due to lack of convexity is not exceptional. The Yule-Simpson effect is less frequent, and especially occurs for small players with particular specialisation profiles
Parmi les indicateurs bibliométriques classiques, il existe, pour les pays ou autres acteurs scientifiques, des mesures intéressantes et standardisées d'impacts directs et relatifs. Cependant, comme le montre cet article, ces mesures peuvent présenter des caractéristiques statistiques non désirées, ou du moins des caractéristiques qui posent des problèmes d'interprétation dans des contextes d'évaluation et de positionnement comparatif. Cet article traite de deux de ces points, la sensibilité à l'effet de Yule-Simpson, et un problème lié à la convexité. L'effet de Yule-Simpson peut se manifester pour les impacts directs, et dans une variante de forme pour les impacts relatifs. Il en résulte une incohérence apparente entre les valeurs par champ et les valeurs agrégées "toutes sciences". Pour les impacts relatifs la déviation hors-bornes es valeurs agrégées "toutes sciences" peut-etre être sévère, avec des impacts relatifs passant de 'bon' à 'mauvais', ou inversement. Les déviations et plus généralement le manque de convexité sont typiques des indicateurs d'impact relatif. Les test sur données empiriques suggèrent que ces phénomènes ne sont pas exceptionnels pour les mesures d'impact relatif. L'effet de Yule-Simpson est moins fréquent, et se rencontre surtout pour les petits acteurs avec des profils de spécialisation particuliers.
Fichier non déposé

Dates et versions

hal-02755724 , version 1 (03-06-2020)

Identifiants

  • HAL Id : hal-02755724 , version 1
  • PRODINRA : 10115

Citer

Suzy Ramanana-Rahary, Michel Zitt, Ronald Rousseau. Aggregation properties of relative impact and other classical indicators: convexity issues and the Yule-Simpson paradox. 11. International Conference of the International Society for Scientometrics and Infometrics, Jun 2007, Madrid, Spain. ⟨hal-02755724⟩

Collections

INRA INRAE
15 Consultations
0 Téléchargements

Partager

Gmail Facebook X LinkedIn More