Usos y desusos de la inteligencia artificial en revistas científicas

Dr. Juan D. Machin Mastromatteo
@Juantífico
Profesor de la Universidad Autónoma de Chihuahua (UACH). Miembro del Sistema Nacional de
Investigadores (Nivel II) y del Cuerpo Académico Estudios de la Información.
Doctor en Ciencias de la Información y Comunicación (Tallinn University), Magíster en Bibliotecas Digitales
y Aprendizaje (Oslo University College; Tallinn University; y Parma University) y Licenciado en
Bibliotecología (Universidad Central de Venezuela).
Alfabetización informacional, investigación acción, bibliometría, acceso abierto y bibliotecas digitales
Más de 130 publicaciones científicas. Más de 40 cursos y más de 120 eventos internacionales como
ponente, panelista, organizador o moderador.
Editor Asociado de Information Development (SAGE) y Revista Estudios de la Información (UACH).
Comités: Journal of Academic Librarianship (Elsevier), IE Revista de Investigación Educativa (REDIECH).
Publicó la sección Desarrollando América Latina en Information Development (2015-2020)
Creó el Proyecto Juantífico (2019) | Coanfitrión de InfoTecarios podcast (2022-)
Publica la sección Escuela de editores en la Revista Estudios de la Información (2023-)
Sígueme en @Juantífico | youtube.com/juantifico | facebook.com/machinmastromatteo |
instagram.com/juantifico | juantifico.com | patreon.com/juantifico | 0000-0003-4884-0474

Problemas con la IA
en la investigación y
publicación científica
10 Políticas editoriales
sobre el uso de IA
Para qué usar IA en la
revista y la generación
de asistentes
Demostración del
asistente
Conclusión
P R O G R A M A
Imágenes complementarias de Pexels y DALL-E

Consulta:
¿Quieres incorporar la IA
en tu revista?
¿Para qué?
menti.com
Código: 7832 6580

Problemas con la IA
en la investigación
y publicación científica

Preprint con ChatGPT como coautor
https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v2
Kung, T., Cheatham, M., Medenilla, A., Sillos, C., De Leon, L., Elepaño, C., Madriaga, M., Aggabao, R.,
Diaz-Candido, G., Maningo, J., y Tseng, V. (2023). Performance of ChatGPT on USMLE: Potential for
AI-assisted medical education using large language models. PLOS Digital Health, 2(2), e0000198.
https://doi.org/10.1371/journal.pdig.0000198

Tsai, C.., Yeh, Y., Tsai, L., y Chou, E. (2023). The efficacy of transvaginal ultrasound-guided BoNT-A external sphincter
injection in female patients with underactive bladder. Toxins, 15(3), 199. http://doi.org/10.3390/toxins15030199

https://twitter.com/MushtaqBilalPhD/status/1769740682632020103
https://twitter.com/MushtaqBilalPhD/status/1769028364092805236

https://twitter.com/gcabanac/status/1708063342819000827
https://twitter.com/gcabanac/
status/1671646001340227585

https://twitter.com/MishaTeplitskiy/status/1769433162122232127

¿Será por esto que quitaron el texto “regenerar respuesta”?

Tang, G., y Eaton, S. (2023). A rapid investigation of artificial intelligence generated content footprints in
scholarly publications [Preprint]. Research Square. https://doi.org/10.21203/rs.3.rs-3253789/v1
Rastros
de inteligencia artificial:
¿nueva línea
de investigación?

Además de citaciones imprecisas,
realiza citaciones falsas Citas falsas
de inteligencia artificial

10 Políticas editoriales sobre el uso de IA

Políticas citadas:
1. Arxiv
2. Elsevier (a, b, c)
3. Emerald
4. International Committee of Medical Journal Editors (ICMJE)
5. Oxford University Press
6. Sage
7. SpringerNature
8. Taylor & Francis Group (T&FG)
9. Wiley
10. World Association of Medical Editors (WAME)

 Reportar el uso de IA generativas, señalar claramente el contenido generado,
propósito y cuál se usó. (arXiv; Elsevier; Emerald; ICMJE; OUP; Sage; Springer; T&FG; WAME; Wiley)
 Incluir los prompts utilizados, fecha y hora, herramienta y versión. (WAME)
 Se reafirma la responsabilidad de los autores sobre la exactitud, integridad y
originalidad de sus documentos (arXiv; Elsevier; Emerald; ICMJE; Springer; T&FG; WAME; Wiley)
 NO puede incluirse la IA como autor (arXiv; Elsevier; ICMJE; OUP; Sage; Springer; T&FG; WAME; Wiley), ya que no
puede asumir responsabilidad o dar consentimiento.
 Pueden usarse únicamente para mejorar el lenguaje y redacción, no para
interpretar datos o extraer conclusiones. (Elsevier; Emerald; Sage; Wiley)
 No se permite generar ningún contenido o imagen con IA (Emerald)
 Verificar la exactitud, integridad, validez y pertinencia del texto y citas,
corrigiendo errores o inconsistencias (Elsevier; Emerald; ICMJE; Sage; T&FG; WAME; Wiley), dado que sus
resultados pueden ser incorrectos, incompletos o sesgados. (arXiv; Elsevier; Sage)

 Incluir la lista de fuentes usadas para generar contenidos y declarar sus
limitaciones, como los sesgos, errores y vacíos de conocimiento. (Sage)
 Advierten sobre el riesgo potencial de plagio (arXiv; ICMJE; Sage; WAME)
 No puede usarse IA para crear o alterar imágenes (Elsevier; Emerald; Springer), solo si es
parte del diseño de investigación o metodología (Elsevier; Springer), en tal caso se
debe describir de tal manera que el proceso pueda reproducirse. (Elsevier)
 No debe usarse para la revisión por pares (Elsevier; Sage; Springer), pero si se usa, se
debe declarar (WAME; Springer)
 No se permite a los editores subir manuscritos a una IA, por
confidencialidad y porque su evaluación puede ser incorrecta, incompleta
o sesgada. Solo debe ser realizada por humanos. (Elsevier; Sage)
 Los editores necesitan herramientas para la detección de IA, sin importar
su capacidad de pago y formación sobre su uso. (WAME)

Sintetizo y comento en mayor profundidad las políticas en el siguiente artículo:
Implicaciones y políticas editoriales de la inteligencia artificial
Machin-Mastromatteo, J. D. (2023). Implicaciones y políticas editoriales de la
inteligencia artificial. Revista Estudios de la Información, 1(2), 123-133.
https://doi.org/10.54167/rei.v1i2.1448
https://youtu.be/SURIHtWWcno
¡Escúchalo tipo audiolibro!

Por cierto, ¡tenemos convocatoria permanente en la revista!
Revista Estudios de la Información
Publicada por:
Cuerpo Académico ‘Estudios de la Información’
y la Universidad Autónoma de Chihuahua
ISSN-e: 2992-8184
https://vocero.uach.mx/index.php/Estudios_Informacion
¡O nos buscan en Google!

¿Ética?
La postura de COPE
“El uso de herramientas de IA no es inherentemente poco ético y
puede ser útil, por ejemplo, para autores que no escriben en inglés
como su primera lengua, que tienen deficiencias de aprendizaje (por
ejemplo, disgrafia) u otras dificultades al escribir. Al respecto, la IA
puede ser una útil tecnología auxiliar o adaptable. El factor clave es
la responsabilidad y claridad sobre su uso. La necesidad de su
detección surge cuando su uso no es declarado”.
COPE. (2023). Artificial intelligence (AI) and fake papers. https://publicationethics.org/resources/forum-discussions/artificial-intelligence-fake-paper

Para qué usar IA en la revista
y la generación de asistentes

Preguntamos al respecto de estos
temas a Chat GPT-4

¡Vota!
¿Estás de acuerdo con GPT4?
menti.com
Código: 7832 6580
Información generada por ChatGPT-4, el 22 de abril de 2024.

Generación de asistentes
¿Lo vemos
con lupa?
¿Por qué desarrollar un asistente
y no preguntarle directamente?

Nombre del asistente
Descripción: qué hace y para qué, definir cierto contexto alrededor de las actividades que
hará.
Instrucciones breves y claras de las tareas (inputs, outputs, acciones, preguntas de
seguimiento), tono, tipo de preguntas y respuestas a atender, qué elementos o tipos de
respuesta debe ignorar.
Puntos de partida para iniciar conversaciones. Pueden enlistarse las actividades que
puede realizar, para que su usuario haga clic en la opción de interés.
Base de conocimiento: documentos a subir con instrucciones detalladas. Le instruimos
para que use el “documento X” de su base de conocimiento para “Y”. Si subimos datos o
queremos que analice, debemos habilitar el “Code Interpreter”.
Permite acceder a la Web para basar sus respuestas
Permite generar imágenes con la tecnología de DALL-E
Necesario para que analice documentos adjuntos, datos y haga cálculos
Necesario para trabajar con API
Opciones de configuración
del asistente

Recomendaciones para
desarrollar un asistente
 Imaginemos que le explicamos y damos instrucciones
a un niño pequeño. Uno que ha leído millones de
libros y entiende cualquier concepto, pero que es flojo,
en momentos finge demencia y si no se le ponen
límites, da un resultado aleatorio.
 Escribir de forma simple, concisa, precisa y directa. No
incluir palabras innecesarias. Evitar las posibilidades
de varias interpretaciones.
 Utilizar un lenguaje sencillo: escribir las indicaciones
de forma conversacional, explicativa y que sean claras
las instrucciones que queremos que siga.
 Evitar vocabulario* y oraciones complejas.
 Agregar contexto: antecedentes relevantes que
encuadren lo que queremos. Definir actividades,
situaciones y sus conceptos principales.

 El contexto puede incluir:
a) nombre y propósito de nuestra operación;
b) tipo de actividad que va a apoyar, detalles y terminología;
c) conocimiento básico que debe aplicar
d) rol que va a asumir, sus funciones y tono de respuestas;
e) su público objetivo;
f) objetivos y resultados esperados;
g) retos comunes
h) cómo deseamos que presente sus resultados para evitar
que haga suposiciones.
 Ser específico: incluir detalles importantes para obtener
respuestas precisas. Las indicaciones vagas reciben
respuestas genéricas o indeseadas.
 Cuidar la ortografía y gramática.
 No suponer ni dar nada por sentado, evitar asumir que
el asistente conoce el contexto implícito.

 Pensar en que desconoce la temática, el contexto, los
procedimientos y conceptos involucrados en mis tareas.
 Probar y experimentar para determinar que da las
respuestas que queremos.
 Comenzar con cuestiones simples, evaluar resultados y
luego integrar varios procesos más complejos.
 Poner entre comillas las expresiones y tareas más
importantes. Utilizar un vocabulario controlado.
 Si quiero que haga una acción empleando los archivos
que le adjunte, usar expresiones como:
“con base en el archivo ‘nombre.extensión’ de la base de
conocimiento, realiza…”

Funciones de los asistentes
para supervisar envíos a revistas
Comparación de artículos para
determinar editores/revisores
Comprobar el cumplimiento de las
normas de la revista
Analizar las características de las
referencias
Comprobar el estilo de las referencias
Mejora de resúmenes, títulos y palabras
clave
Confirmar la pertinencia temática
Wiley usa IA para facilitar el proceso de envío (ver Wiley Research Exchange)

Este asistente debe apoyar en la revisión de manuscritos enviados a la Revista
Estudios de la Información, considerando los parámetros de envío y evaluación.
Descripción (límite 300 caracteres)
Serás un experto en edición editorial científica, con una experiencia de 10 años en
la revisión de propuestas de artículos científicos que sean enviados a la Revista
Estudios de la Información. Tu trabajo será analizar todos los manuscritos que se
carguen bajo los parámetros que a continuación se te dan y presentar resultados
de tus análisis en formato de tabla. [agregar procesos y parámetros]
Instrucciones: contexto y actividades (límite 8000 caracteres)
Code interpreter activo
 Definición de los objetivos y alcances temáticos de la revista
 Directrices para presentar un resumen, títulos y palabras clave (tesauros)
 Evaluación formato de citas y referencias
 Parámetros para el análisis de las referencias; listas de revistas indizadas
 Normas de la revista
 Datos de artículos y sus revisores
Base de conocimiento, procedimientos para:
Diseño
del
asistente
de
la
revista
(alfa)

Demostración
del asistente
¿Es el manuscrito adecuado para la
revista?
Analiza posibles errores en citas y
referencias
¿El manuscrito cumple con las
normas de la revista?
Realiza el análisis de referencias para
este manuscrito.

Iniciar el desarrollo de un asistente en
función de un solo aspecto de las normas
de mi revista (o la revista que me guste)
3. Probar resultados con documentos publicados de la misma
disciplina/área de investigación con la que se trabaja.
Sugerencia: usar un documento bueno para probar el desarrollo y
luego usar otro bueno y uno no tan bueno para comprobar su
funcionamiento.
1. Crear una cuenta en https://chat.openai.com
Si ya tiene una cuenta, ignore este paso.
Sugerencia: crear una cuenta de correo secundaria para
esto, por cuestión de protección de datos personales.
2. Desarrollar el asistente en el espacio
gratuito, pero limitado
https://platform.openai.com/playground
/assistants
Sugerencia: trabajar en un solo aspecto,
¡porque esto toma mucho tiempo!

Diseñar asistentes requiere
suscripción plus a GPT
Pero se puede usar el entorno de prueba,
previa creación de una cuenta de usuario en
Open AI. Es gratuito, pero limitado:
https://platform.openai.com/playground/assistants

Conclusión
 La IA diversifica y amplia las brechas digitales: quienes pueden usar la
herramienta, quienes la usen a profundidad, quienes la puedan pagar.
 Necesidad de establecer políticas y usos correctos de la IA por parte de
los autores, revisores y editores.
 Muchas dudas y cuestionamientos alrededor de la ética, integridad y
preocupaciones similares a las del plagio.
 Preparar asistentes no es sencillo, requiere tiempo, trabajo y paciencia.
 Por sus limitaciones, no puede reemplazar el discernimiento ético y
profesional de editores y revisores, hay muchas sutilezas y parámetros
implicados y no se puede comprometer la integridad y responsabilidad.
 Es esencial que los editores y revisores se mantengan informados y
capacitados sobre las nuevas herramientas.

Lainteligenciaartificialvuelveahacernosreafirmarnuestrocompromisoconlaexcelenciaylaéticacientífica

¡Gracias por su atención!
Dr. Juan D. Machin-Mastromatteo @Juantífico
Si te gustó esta presentación, visita mi canal y suscríbete
YouTube.com/Juantifico
Videos sobre información, investigación y publicación científica,
con un toque de tecnología, humor y cultura pop.
Es Juan, es científico, ¡es Juantífico!
También estoy en:
@juantifico | facebook.com/machinmastromatteo
es.slideshare.net/judamasmas | tiktok.com/@juantifico
instagram.com/juantifico | juantifico.com
Apóyame en:
Patreon | PayPal | Membresía en YouTube

Usos y desusos de la inteligencia artificial en revistas científicas

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Usos y desusos de la inteligencia artificial en revistas científicas

Semelhante a Usos y desusos de la inteligencia artificial en revistas científicas (20)

Mais de Juan D. Machin-Mastromatteo #Juantífico

Mais de Juan D. Machin-Mastromatteo #Juantífico (20)

Último

Último (20)

Usos y desusos de la inteligencia artificial en revistas científicas