melilla, 19-23 junio de 2014 - evaluación de la ciencia y de …ec3.ugr.es/i jornadas de...

Perfiles online para publicaciones La comunicación científica en la actualidad

Bases de Datos científicas. La búsqueda de citas: Estrategias y Técnicas

Automatización de alertas a nuevas publicaciones y citas Vigilancia científica de fuentes de investigación

Autoinformes de evaluación bibliométricos La evaluación de proyectos de investigación: ANEP

I Jornadas de Investigación de la Facultad de Ciencias Sociales

Facultad de Ciencias Sociales

Melilla, 19-23 junio de 2014

Emilio Delgado López-Cózar

Catedrático de Documentación

Universidad de Granada

Perfiles online para

publicaciones

CÓMO CREAR Y GESTIONAR UN PERFIL

GOOGLE SCHOLAR CITATIONS

http://www.slideshare.net/torressalinas/cmo-utilizar-

google-scholar-para-mejorar-la-visibilidad

CREAROS UN PERFIL EN

GOOGLE SCHOLAR

CITATIONS

La comunicación

científica en la

actualidad

¿Por qué es necesario

comunicar la investigación?

El método científico (el ethos de la ciencia) exige que el

conocimiento científico sea difundido públicamente

para que la comunidad pueda contrastar su fiabilidad,

verificar su validez y hacer uso del mismo.

El conocimiento certificado

Asegurar el reconocimiento: el investigador registra

sus contribuciones, retiene la propiedad de sus ideas

y fija su prioridad en los descubrimientos.

El conocimiento reconocido

Redactar el informe

Si es un trabajo que contiene investigación original aplicaremos la estructura IMRYD

(Introducción, Material y Métodos, Resultados y Discusión y Conclusiones)

Comunicar los resultados

Publicar Congresos de la especialidad: anunciar resultados de la investigación

Monografías o artículos de revista

Difundir

Repositorios: institucionales o temáticos

Web 2.0: blog, redes sociales…

Escribir

el trabajo de investigación

IDENTIFICACIÓN

– Título

– Autores: nombres y filiación profesional

– Resumen

– Palabras clave

TEXTO

– IMRYD: Introducción, Material y Métodos,

Resultados, Discusión y Conclusiones

– Tablas, gráficos e ilustraciones

– Agradecimientos

– Lista de referencias bibliográficas

– Apéndices (infrecuente)

¿Dónde publicar?

Medios de publicación e información de los científicos

Variaciones según disciplinas

RIN 2009. Communicating knowledge: How and why UK researchers

publish and disseminate their findings. (N=944)

¿Dónde publican los Científicos británicos?

Research Information Network and JISC. 2009

¿Cómo valoran las publicaciones

los científicos británicos?

¿y los científicos españoles?

Muestra: 1294 Profesores TU y Catedráticos con 1 o 2 tramos Buela-Casal, G. y Sierra, J. C. (2007). Criterios, indicadores y estándares para la acreditación de Profesores Titulares y

Catedráticos de Universidad. Psicothema, 19, 357-369

En consecuencia….

A día de hoy lo más rentable:

artículos de revistas

Congresos: NO GRACIAS

Excepto en las Ingenierías: Informática…

No son un fin en si mismo, sino un medio de

anunciar futuros trabajos y de pasárselo bien

Si no hay más remedio: Solo en organizados por asociaciones

internacionales o nacionales de periodicidad fija, que publican

actas del congreso con contribuciones completas seleccionadas

previamente mediante evaluación externa por pares

Libros: NO en la

editorial de nuestra

facultad,

departamento,

universidad

Solo publicaréis en medios de comunicación “arbitrados”:

aquellos que disponen de revisión por pares (vuestros

trabajos serán evaluados de forma anónima por dos o más

expertos, pares, colegas…)

En consecuencia….

¿Cuánto publicar?

Más vale poco y bueno que

mucho y mediocre

Se nos medirá por su

impacto científico,

no por su volumen y peso

Si echamos cuentas…

Sexenios: 5 publicaciones en seis años

Se puede considerar un menor número de trabajos si corresponden a

publicaciones de elevada calidad

http://www.aneca.es/

¿Con quién publicar?

La autoría

¿Quién debe figurar como autor?

El deber ser

El poder ser

Solo debieran firmar un trabajo quieres hubieren participado en estas tres

funciones

- La concepción, diseño, recogida O análisis e interpretación de los datos.

- Redacción y revisión crítica del trabajo.

- Y sean capaces de asumir la responsabilidad de su contenido

Las relaciones sociales son muy complejas

¿En qué revista publicar?

¿Cómo seleccionarla?

¿A qué público nos queremos dirigir?

Audiencia

Profesional Académico

¿Cuál es el ámbito temático cubierto por la revista?

¿Encaja nuestro artículo en el Scope de la revista

¿Qué declara la propia revista en su SCOPE?

¿Qué revista-s publican artículos sobre nuestro tema?

¿Qué revista-s publican artículos sobre este tema?

Recientemente

¿Publica la revista este tipo de artículo?

Leer las instrucciones a autores de la revista

Factor de impacto ¿Es una revista de impacto o con impacto?

¿Publica la revista rápidamente los artículos que

recibe?

¿Tiene mucha demora en la publicación?

Revista quincenal que publica 30-35 artículos por fascículo

Leer las instrucciones a autores de las revistas

seleccionadas

Ni desalientos…….

Ni depresiones

DIFUNDIR

Estrategia general de difusión

Remisión a colegas/especialistas para que hagan una última lectura del

trabajo • Se mejora del texto

• Se contacta con potenciales

revisores

• Se difunde el texto entre

especialistas

Previo al envío

¡ Atención Peligro!: plagio, robo

de ideas

Estrategia general de difusión

Una vez aceptado

Página personal

Página institucional

Grupo de investigación

Evaluación de la ciencia y de la comunicación científica

Universidad de Granada

Repositorios

http://repositories.webometrics.info/top400_rep.asp

Estrategia de difusión 2.0

Torres-Salinas, Daniel; Delgado López-Cózar, Emilio. Estrategia para mejorar la difusión de los

resultados de investigación con la Web 2.0. El Profesional de la Información, 2009, 19:5, 534-539.

http://4.bp.blogspot.com/_RIUa5omzdX8/SruPVRMddaI/AAAAAAAABVk/fH3u_bbv3Zs/s1600-h/ciencia+2.0.jpg

Antes de finalizar…

Tres consejos claves

Continuidad

Coherencia

Elige un buen grupo de

investigación

Si empezamos bien… terminaremos…

Los buenos investigadores son los que

saben elegir sugestivos problemas

Buenas preguntas…… conducirán……

Elige una buena línea

de investigación

Y para terminar…..

dos lecturas recomendadas

http://www.argentinawarez.com/ebook

s-gratis/56848-como-escribir-y-

publicar-trabajos-cientificos-robert-

day.html

http://www2.uah.es/jmc/

Bases de Datos

científicas. La

búsqueda de citas:

Estrategias y

Técnicas

Buscando las citas

de un trabajo

¿Dónde buscar?

Los datos hablan por sí solos

Google Scholar

Scopus

Web of Science

LA AUTORÍA. CNEAI-ANECA Número de citas

Google Scholar


Google Scholar

Podemos conocer simultáneamente las citas proporcionadas por Google Scholar y las proporcionadas para los artículos indizados en la Web of Science


Google Scholar Podemos conocer las citas de nuestros trabajos procedentes de la Web of Science


Google Scholar

Existen programas y aplicaciones que nos pueden ayudar a trabajar con GS: • Publish or Perish de Anne-Wil Harzing: http://www.harzing.com/pop.htm • Citation-Gadget: http://code.google.com/p/citations-gadget/ • Tenurometer: http://tenurometer.indiana.edu/download.html

LA AUTORÍA. CNEAI-ANECA Libros y capítulos: Google Books Google Books, una herramienta interesante para buscar

citas

Encuentra citas no recogidas en Google Scholar

Selectiva y restrictiva

Colección principal

Exhaustiva

Todas las bases de

datos

Aprendiendo a busar citas de

un trabajo o un autor en la

Web of Science

Buscar en SEARCH en el campo TÍTULO el título del trabajo

El número de citas figura en el epígrafe VECES CITADO

Buscando las citas de un artículo

Aprendiendo a busar citas de un trabajo o un autor en la

Web of Science

Aprendiendo a busar citas de un trabajo o un autor

en la Web of Science

Buscando las “CITAS PERDIDAS” de un artículo Buscar en Cited Reference Search

•Usar índices campo AUTOR, FUENTE

• Incluir el título de la revista y truncarlo (*) para obtener variaciones

• Para los libros incluir las tres/cuatro primeras letras del título que no sean artículos, preposiciones…

Incluir las variantes del nombre del autor, especialmente si es compuesto: forma abreviada (mayoral l*) o completa: (normal: ruiz jimenez r*) o (fusionada: ruizjimenez r*)


Web of Science

Buscando las “CITAS PERDIDAS” de un artículo

Buscar en Cited Reference Search


Web of Science

Buscando las “CITAS PERDIDAS” de un artículo

Tener presentes todas las variantes del nombre de una revista


SCOPUS

LA AUTORÍA. CNEAI-ANECA Métricas alternativas SCOPUS


En In-Recs e In-Recj también podemos buscar citas

Bien en el menú de búsqueda


En In-Recs e In-Recj también podemos buscar citas

Bien en los rankings de artículos

Bien en los rankings de autores

Comparando nuestro

trabajo

Comparando nuestro trabajo : con los publicados en la revista

en el año de publicación del trabajo o en toda su historia

Comparando nuestro trabajo: con todos los publicados por

españoles en la disciplina o especialidad en toda su historia

o en el año de publicación del trabajo

Comparando nuestro trabajo: Con el resto de los trabajos publicados en

el mundo en nuestra especialidad

Con el resto de los artículos publicados en la revista ese

mismo año

Con el resto de los trabajos publicados en revistas españolas en

nuestra especialidad

Buscando los

trabajos de un autor

Scopus

Web of Science

• Utiliza el campo author

• Utiliza “ ”

• Si el apellido es poco común,

basta con inicial del nombre y

primer apellido. Ejemplo: “e

spinak”

• Si queremos eliminar

homonimia emplear nombre

completo y primer apellido.

Ejemplo “angel concha”

• En caso de apellidos

comunes desarrollar

denomnación completa

“Rafael Ruiz Pérez”

Buscando a los autores,

revistas e instituciones

más prolíficas y

relevantes en un tema

de investigación

Scopus

Web of Science

¿Qué autores, instituciones revista-s publican

artículos sobre este tema?

Históricamente Recientemente

Haciendo búsquedas y analizando resultados

Automatización de

alertas a nuevas

publicaciones y citas

Vigilancia científica de

fuentes de investigación

Scopus

Web of Science

Google Scholar

Tipos de alertas

Sobre un tema

Sobre un autor Documentos que citen a un trabajo

Google Scholar

Autoinformes de

evaluación

bibliométricos

Scopus

Web of Science

La evaluación de

proyectos de investigación

ANEP

La ANEP tiene como principal misión

Evaluar la calidad científico-técnica de las propuestas de

I+D+I que solicitan financiación pública, tanto del

Ministerio de Educación como de otras instituciones

públicas y privadas.

Realizar estudios de prospectiva

La ANEP nació en el año 1986 ante la necesidad de

establecer un mecanismo de evaluación científica

realizada "con el máximo rigor e independencia", que

ayudara a tomar decisiones relacionadas con la financiación

de proyectos de investigación y otras ayudas a la I+D+i.

1. Proyectos de Investigación

Convocatoria anual Plan Nacional • Proyectos de I+D+I

• Desarrollo tecnológico

• Estímulo a la transferencia

Convocatorias de Comunidades Autónomas Proyectos de cooperación internacional

Convocatorias de Universidades e Instituciones privadas

Actividad Evaluadora de la ANEP

2. Personal de Investigación

Becas pre-doctorales y becas de movilidad de investigadores

Contratos post- doctorales: Ramón y Cajal, Juan de la Cierva

Evaluación de Producción y Trayectoria Científica

Premios de investigación

3. Evaluaciónde otras actividades

Institutos universitarios

Acciones especiales y complementarias

Centros de investigación (CNB, Hospitales)

Infraestructura científica

Total evaluaciones 2010

Funcionamiento general

Áreas ANEP

Área Subáreas Equipo

Filología y

Filosofía

Literatura, Literatura Española, Filosofía, Filosofía de la Lógica y del Lenguaje,

Teoría de la Literatura, Literatura Comparada, Lengua, Lingüística General, Filología

Clásica, Lingüística Griega, Filologías Modernas, Literatura Inglesa, Traducción e

Interpretación, Estudios de Género, Lógica, Filosofía de la Ciencia

Coordinador

y 6 adjuntos

Historia y Arte Arte, Prehistoria y Arqueología, Historia Medieval, Historia Moderna, Historia Antigua,

Historia Contemporánea, Prehistoria Coordinador

y 6 adjuntos

Educación Pedagogía, Didáctica, Psicología de la educación Coordinador

y 3 adjuntos

Psicología Personalidad, Evaluación y Tratamientos Psicológicos, Psicología Evolutiva y de la

Educación, Psicología Básica, Psicología Social, Psicobiología, Metodología Coordinador

y 6 adjuntos

Ciencias

Sociales

Sociología , Técnicas de la Investigación Social, Ciencia Política y de la Administración,

Periodismo, Comunicación Audiovisual, Publicidad, Geografía Humana Coordinador

y 5 adjuntos

Economía Economía Aplicada, Microeconometría, Economía Laboral, Economía de las familias,

Organización de empresas, Gobierno Corporativo, Aplicaciones a banca y servicios,

Economía d las organizaciones, Regulación, competencia y comportamiento empresarial,

Responsabilidad social Corporativa, Fundamentos del Análisis Económico, Teoría

Económica, Economía matemática, Economía de la Información, Teoría de Juegos,

Economía industrial, Macroeconomía, Economía Internacional, Finanzas Empíricas

Coordinador

y 5 adjuntos

Derecho Administrativo, Civil, Constitucional, Eclesiástico del Estado, Internacional Privado ,

Internacional Público y Relaciones Internacionales, Filosofía del Derecho Financiero y

Tributario Historia del Derecho Mercantil Penal Procesal Civil Procesal Penal

Romano, Trabajo y de la Seguridad Social, Derecho de la Unión Europea

Coordinador

y 4 adjuntos

Áreas ANEP Humanidades y Sociales

27 Equipos de

Coordinación

de áreas temáticas

190 miembros/3 años

INFORMES

FINALES

Evaluadores

ANEP

Informes de expertos

Selección de “pares”

Procedimiento de evaluación de proyectos

Científicos

Investigadores

Tecnólogos

Expertos

Empresarios

Gestores

Evaluación por pares ANEP

Las evaluaciones científicas que aporta

la Agencia deben ser realizadas por exp

ertos anónimos, basándose esencialme

nte en el sistema de "evaluación por par

es" (peer review) y son utilizadas por lo

s organismos gestores para decidir mej

or acerca de la financiación de ayudas y

subvenciones

• Los dos expertos seleccionados por

el coordinador del Área emiten sus

informes

• El informe final es redactado por los

coordinadores basándose en los

informes de los expertos

Informe sobre la oportunidad de la financia

ción y la adecuación a los objetivos de polí

tica científica,

Una comisión de evaluación (ANEP+

Institución) con expertos científicos o

técnicos prioriza los proyectos de

investigación a subvencionar de acuerdo

con los objetivos de la convocatoria y del

Plan Nacional. Decide:

- Cuántos proyectos se financian

- Cuánto dinero se asigna a cada

proyecto

Las fases de la evaluación

Evaluación comisión evaluación

ANEP/Institución convocante

Se juzga la calidad científico-

técnica y capacidad del IP y del

equipo de investigación.

• ¿Tiene el grupo de

investigación experiencia?

• ¿Ha demostrado un buen

rendimiento? Publicaciones,

patentes…

• ¿Está bien compensado?

• ¿Posee los medios

necesarios?

Se juzga la calidad y viabilidad

del proyecto

• ¿Es una buena idea?

Objetivos científico-técnicos de la

propuesta, con énfasis en su

relevancia y novedad

• ¿El plan de trabajo presentado

permite alcanzar los objetivos

con un riesgo razonable?

Viabilidad de la propuesta

Adecuación del presupuesto a las

actividades

Los científicos

El IP y el Grupo

Los elementos de la evaluación

El Proyecto

1. Valoración investigador responsable proyecto (últimos 5 años)

a. Contribuciones científico-técnicas: publicaciones…

b. Experiencia dirección grupos o equipos trabajo

c. Participación proyectos investigación de carácter competitivo a nivel internacional y nacional

2. Valoración equipo investigador en su conjunto a. Contribuciones científico-técnicas: publicaciones…

b. Consolidación previa del grupo como equipo

c. Participación proyectos investigación de carácter competitivo y experiencia en el desarrollo de proyectos afines

d. Adecuación del equipo de trabajo a la temática del proyecto

e. Adecuación del tamaño, composición y dedicación del equipo de investigación. Se valora la dedicación al proyecto por parte de los otros miembros del equipo si los hubiese

Plantilla evaluación: Criterios

El IP y el equipo


El proyecto

1. Originalidad o grado de innovación científica o

tecnológica

2. Calidad y relevancia científico-técnica de la propuesta

a. Aplicación de conocimiento científico-técnico

b. Aumento de conocimiento cientifico-técnico

c. Mérito tecnológico

d. Apertura nuevas líneas de investigación

e. Formación personal

f. Beneficios medio-ambientales

g. Beneficios sociales (económico-empresariales)

h. Proyección beneficios (internacional, nacional, regional, local,

propio grupo)

3. Adecuación de la metodología y del plan de trabajo a los objetivos

– Objetivos Precisión en su definición

Posibilidad de alcanzarlos

Interés

Actualidad

Factores críticos de riesgo

– Metodología Actual/obsoleta

Precisa/imprecisa

Capacidad equipo aplicación metodología propuesta

Dificultad alcanzar objetivos con metodología propuesta

– Plan de trabajo Adecuación con los objetivos del proyecto

Posibilidad alcanzar resultados en tiempos previstos


El proyecto

4. Adecuación del presupuesto solicitado a las actividades propuestas

– Grado de justificación

– Adecuación Personal

Material inventariable

Material fungible

Viajes y dietas


El proyecto

• Valoración global del proyecto. – Debilidades y Fortalezas.

– Subjetiva, impresión general y opiniones (incluidas sugerencias)

• Puntuación total – Deficiente: (0-15)

– Cuestionable: (16-24)

– Aceptable: (25-33)

– Bueno: (34-42)

– Excelente: (43-50)

Valoración y puntuaciones

Modalidad A: Jóvenes Investigadores

1 Méritos científicos del IP 15 puntos (B: 25 pts) Valorar el historial científico del IP en los últimos 5 años, su formación, trayectoria y solvencia científica. Considerando que es la

primera vez que presenta una solicitud, no debe ser valorado negativamente que inicie una nueva línea de investigación si su potencial científico y capacidad de liderazgo son adecuados.

2. Interés científico-técnico 25 puntos

(B: 15 pts)

Novedad y relevancia, avance científico-

técnico conocimiento del estado actual del

tema

3. Viabilidad de la propuesta. 10 puntos

Capacidad del equipo (no valorar negativamente los

intentos ambiciosos y arriesgados: un cierto riesgo puede ser

meritorio en un proyecto bien fundamentado) Metodología,

plan de trabajo y distribución de tareas

Modalidad C: Grupos Consolidados

1. Méritos científicos del grupo. 35 puntos 1.1 Valorar el historial científico del IP en los últimos 12 años, su formación, trayectoria y solvencia científica: 20 puntos 1.2. Méritos científicos del resto del equipo: 10 puntos. CV de cada uno de los participantes,

valorando positivamente la participación de investigadores

en formación. 1.3. Otros méritos relacionados con la actividad científica del IP y de los miembros del equipo: 5 puntos. Reconocimiento nacional e

internacional, representación institucional, pertenencia a sociedades y editoriales de prestigio, asesoría de instituciones de I+D, entre otros.

2. Interés científico-técnico de las líneas de

investigación propuestas 15 puntos

Novedad y relevancia, avance científico-

técnico conocimiento del estado actual del

tema

Proyectos de Investigación Fundamental

Plan Nacional I+D

Controles de calidad de los

procedimientos de evaluación

Controles para evitar conflictos de intereses

Los evaluadores firman un compromiso de ausencia de

conflictos de intereses y confidencialidad

Los investigadores pueden enviar cartas de recusación

Los equipos de coordinación deben detectar y corregir sesgos,

incompatibilidades y conflictos de intereses

Controles para evitar y corregir sesgos

Vigilancia de la participación de mujeres y de investigadores jóvenes

Vigilancia de los criterios que orientan la evaluación

Controles de calidad de la evaluación y de evaluadores

Evaluación de evaluadores en la aplicación informática

Controles de calidad de la evaluación en colaboración con la

European Science Foundation

Vigilancia por la Comisión Asesora de la ANEP

Estructura del proyecto

Sugerencias redacción proyecto

• Mensaje fluido: bien organizado y conceptos claros (para

expertos y pseudo-expertos)

• Propuesta debe ser interesante para el evaluador (figuras,

diagramas, destacar conceptos importantes)

• Buena descripción del estado del arte con una propuesta

novedosa y ambiciosa pero creíble (contenidos y plazos);

anticipar críticas

• Objetivos coherentes entre si y alcanzables acorde al número

de EDPs.

• Propuesta sincera. ¿IP a dedicación exclusiva?

• Metodología al alcance del equipo proponente: bien repartido entre los integrantes, explicar su función

colaboradores externos (sin EDP) no pueden ser responsables tareas

propuesta de trabajo de campo bien dimensionada

• Presupuesto bien justificado y realista (se favorece la

contratación de personal)

Pensad por un momento en la vida diaria

del que nos va a evaluar

• 2 h. de docencia (incluye tutorías)

• 1 h. contestando el correo

– 30m quitando spam, incluye el tiempo de recuperar el spam

que no era spam

– 30m contestando mensajes

• 30m. Café

• 30/60 criticando al director de dpto., decano, rector…

• 1h. explicando a los becarios como se hace un trabajo de

investigación

• 1h. calibrando máquinas, arreglando desperfectos del Windows,

etc.

• 1h. Haciendo informes de calidad: asignatura, título,

• 30 m. preparando acreditaciones

• 30 m. investigación

No olvidar nunca…

• Cumplir los objetivos y realizar la actividad

(poco importante)

• Cumplir los plazos establecidos para gastos

y pagos (muy importante)

• Respetar el presupuesto previsto (muy

importante)

• Justificar en los plazos establecidos (lo más

importante?)

• El incumplimiento puede significar la

obligación de devolver el importe total o

parcial de la subvención

Lectura vivamente recomendada

Muchas gracias por su atención

Emilio Delgado López-Cózar

[email protected]

www.ec3.ugr.es

mailto:[email protected]

melilla, 19-23 junio de 2014 - evaluación de la ciencia y de …ec3.ugr.es/i jornadas de...

Documents