Presentació d'Ismael Ràfols, investigador a INGENIO (CSIC-UPV) a les Jornades de Ciència Oberta organitzades pel Museu de Ciències Naturals de Barcelona, que van tenir lloc el 3 d'octubre de 2018.

1. Indicadors per a fomentar la
participació en ciència oberta
Ismael Ràfols
Ingenio (CSIC-UPV), Universitat Politècnica de València
CWTS (Centre for Science and Technology Studies), University of Leiden, NL
SPRU (Science Policy Research Unit), University of Sussex, UK
Jornada sobre Ciència Oberta
Museu de les Ciències Naturals
Barcelona, Octubre 2018

2. Resum
1. Per què són els indicadors/avaluació importants en ciència oberta?
 Els incentius són una barrera per a les pràctiques de ciència oberta.
 Sistema de revisió per experts i jerarquia de revistes, tancat en la torre d‘ivori.
2. Expectatives de nous indicadors per a l‘avaluació?
 Twitter, cites a documents polítics, % accés obert, % dades oberts???
 Les promeses dels nous indicadors no donen lloc a una avaluació robusta
– Comptar outputs (blogs, cafè científics, articles premsa) no reflecteix les qualitatSS
– La recerca és diversa, no pot ser coberta en uns pocs indicadors
– Substitució d‘objectius per indicadors, reducció de tasques i efectius indesitjables
3. Marcs d‘indicadors: cap a una avaluació plural i condicional
 Avaluació hauria de deprendre de
– missió, objectius avaluació, pràctiques, agents implicats i els contextos de recerca
 Cal fer avaluació per a cada configuració (marc)
– Genòmica de plantes per a la recerca bàsica internacional
– Agronomia aplicada a un context local específic

3. Valors clàssics i ciència oberta (sota vents autoritaris?)
Robert K. Merton
L’estructura normativa de la ciència
El 1942, Robert Merton escrigué sobre
els valors als que aspira la ciència
• Communalisme (coneixement compartit)
• Universalisme (tothom hi pot participar)
• Sense interès personal (bé public)
• Escepticisme organitzat (transparència)
...valors clau darrera de Ciència Oberta
La motivació del seu articles va néixer per l’ús de
la ciència en règims autoritaris (1930s-40s):
La seva resposta: La millor ciència floreix
en societats pluralistes i democràtiques
• Vents autoritaris
• Suppressió de drets i llibertats a migrants
i minories culturals i socials
• Ordre burocràtics vs. bé public

4. 1. INDICADORS I AVALUACIÓ

5. Què és avaluació?
Sinònims: valoració, apreciació, consideració, qualificació
• Definició: comprovar o fixar el valor d’un objecte d’acord amb certs criteris
especificats.
• Avaluación professional és la ‘determinació sistemàtica de la qualitat o valor
d’alguna cosa (Scriven, Evaluation thesaurus, 4th edition, 1991)
Objectius de l’avaluació:
• Auditoria / Retiment de comptes
• Distribució de recursos (e.g. beques, projectes, centres)
• Ànalisi i aprenentatge (per a millorar)
... segons la missió de la recerca:
• Coneixement acadèmic
• Formació
• Contribució Social
Indicadors bibliomètrics (JIF, cites) -- útils per a funcions d’auditoria en algunes
ciències naturals.
Problemàtics per altres funcions (formació, contribució social). Útil per a mànagers però
perjudicial per al sistema.

6. Problema: focus en indicadors bibliomètrics afavoreixen
la recerca de la torre d’ivori
- Cal contextualitzar
- Els indicadors serveixen per
a ajudar a reflexionar no per
a decidir
Hicks et al. (2015)
San Francisco
Declaration
of Research
Assessment
(DORA)
2013
No utilitzeu el factors
d’impacte de revistes!!
The Metric Tide
HEFCE Report
• Robustesa
• Humilitat
• Transparència
• Diversitat
• Reflexivitat
Wilsdon et al. (2015)

7. Principis del Manifest de Leiden sobre indicadors
1. L’avaluació quantitativa ha de donar suport a la valoració qualitativa
per experts
2. El rendiment ha de ser mesurat d’acord amb les missions de recerca
de la institució, grup o investigador
3. L’excel·lència en investigació de rellevància local ha de ser
protegida
4. Els processos de recopilació i anàlisi de dades han de ser oberts, transparents i
simples
5. Les dades i les anàlisis han d’estar obertes a la verificació per part dels avaluats
6. Les diferències en les pràctiques de publicació i citació entre camps científics s’han
de tenir en compte
7. L’avaluació individual d’investigadors s’ha de basar en la valoració qualitativa del seu
dossier d’investigació
8. S’ha d’evitar la concreció improcedent i la falsa precisió
9. Cal reconèixer els efectes sistèmics de l’avaluació i els indicadors
10. Els indicadors s’han d’examinar i actualitzar periòdicament
Hicks, Wouters, Waltman, de Rijcke and Rafols (Nature, 2015)

8. Un procés d’avaluació
de la recerca
Quin són els objectius
de la recerca?
Quin són els criteris
per assolir els objectius
en el context específic?
Quins indicadors
representen els criteris?
Adam et al. 2018

9. 2. INDICADORS I CIÈNCIA OBERTA

10. Indicadors per a promoure la ciència oberta
EC Expert Group on Indicators for fostering engagement with OS.
(P. Wouters (chair), B. Holbrook, M. Jacob, Lynn Kamerlin, A. Oancea, I. Ràfols)
Nous mètodes d‘avaluació i indicadors per a:
• identificar and eliminar barreres per a la ciència oberta; (IF)
• promoure la capacitació i infrastructura en ciència oberta;
• reformar el sistema d’incentius per a fomentar la ciència oberta.
Quins indicadors?

11. Indicadors per a promoure la ciència oberta
Què és la ciència oberta?
• ‘nova aproximació al procés científic basada en la feina cooperativa i
noves maneres de difondre el coneixement utilitzant tecnologies
digitals i noves eines col·laboratives. La idea captura un canvi
sistèmic cap a un ús compartit de tot el coneixement en estadis
anteriors del procés de recerca.’ (p. 33)
Gran diversitat de pràctiques cap a la ciència oberta:
• Accés obert i dades obertes
• Open source en software
• Communicació amb media, i social media
• Ciència ciutadana (e.g. crowd-sourcing)
• Co-creació amb actors socials --e.g. en salut i agricultura
• Participació en avaluació i agendes de recerca

12. Exemple: Com la compartició de dades depèn del context
Wolfram Horstmann (RDA Long tail group) emfasitza la diversitat de dades
• Standardizació vs. ‘diversitat de dades’
“Estandards per a dades de recerca tenen l’objectiu de fer les dades
uniformes i homogènies. Però la diversitat de dades requereixen
multiplicitat i heterogeneïtat. Per tant, podríem dir que estàndards i
diversitat de dades estan en conflicte i s’exclouen l’un a l’altre.”
Propietats de les dades:
Tamany, format, estructura, compexitat, protocol, disciplina, mètode
Lloc: Les dades són creades en lloc específics, en un espai físic particular, i a
partir d’instruments específics, i guardades en llocs particulars.
Ús: Aplicacions diferents de dades demanen contextos human i tecnològics
diferents amb condicions diferents d’accés i participació.

13. Context de recerca: rànkings d’universitats per accés obert
Siler et al. (2018) -- estudi de pubs AO en salut global:
-- “...els autors que treballen a universitats de baix rànking tenen més
probabilitat de publicar en revistes de pagament, i menys probabilitat
d’escollir revistes que tinguin Article Processing Charge (APCs).”
-- “.. .autors que treballen a universitat d’alt rànking i institucions ben
finançades tendeixen a (...) escollir publicacions OA de pagament.”
-- Rànking basats en indicadors d’accés obert són anàlegs a jerarquies
científiques en publicacions tradicionals.
-- Suggereix:
• Indicators of AO reflecteixen recursos a disposició
• Poden reprodueir o accentuar desigualtats en la visibilitat
-- Fenomen possible en altres àmbits de ciència oberta

14. 3. CAP A MARCS D’INDICADORS

15. Cap a evaluacions basades en ‘marcs d’indicadors’
Dimensions a considerar en una avaluació
• Objectiu de l’evaluació
• Missió de la recerca
• Camp científic i mètodes de recerca
• Possibles co-creadors, agents participants i beneficiaris
• Contextos de recerca
• Recursos humans i tècnics (infrastructures, personal,
capacitació en ciència oberta)
Donada una determinada configuració de dimensions
-- certs indicadors específics seran relevants i altres NO
Atenció:
• NO hi pot haver indicador UNIVERSALS de ciència oberta
• Indicadors conventionals poden NO ser relevants en moltes situacions

16. Exemple: els canals de comunicació depenen del context
Els temes i els llocs específic són importants
Pràctiques estàndard practices d’indicadors convencionals de ciència
oberta poden no ser ideals.
• Recerca en ‘maracujà’ (passiflora o passion fruit) (Chavarro et al. 2017)
• Revista professional de pagament de pràctiques agronòmiques
• publicacions domèstiques professionals en portuguès i castellà
• Revista prestigiosa internacional d’accés obert (Gold)
• anglès inaccessible, llenguatge massa abstracte, publicació lenta
(plagues!)
• Recerca sobre immigració
• Ciències polítiques - distinció entre discurs acadèmic i divulgació és
ambígua
• Diari de pagament (paywall) més accessible que una revista OA.

17. 4. RESUM

18. Resum
1. Expectatives de nous indicadors per a l‘avaluació?
 Twitter, cites a documents polítics, % accés obert, % dades oberts???
 Les promeses dels nous indicadors NO donen lloc a una avaluació
robusta
– Comptar outputs (blogs, cafè científics, articles premsa) no reflecteix les
qualitatSS
– La recerca és diversa, no pot ser coberta en uns pocs indicadors
2. Marcs d‘indicadors: cap a una avaluació plural i condicional
 Avaluació depèn de
– missió, objectius avaluació, pràctiques, agents implicats i els contextos de
recerca
 Cal fer avaluació per a cada configuració (marc)
– Genòmica de plantes per a la recerca bàsica internacional
– Agronomia aplicada a un context local específic