| | | | |
Robustez | Metric Tide | Las métricas deben estar basadas en los mejores datos posibles en términos de precisión y cobertura. | Las métricas de esta plataforma tienen un alto nivel de cobertura en las fuentes de información utilizadas, gracias a las metodologías de extracción e integración del CoLaV. | Sí |
Humildad | Metric Tide Manifiesto de Leiden | La evaluación cuantitativa debe apoyar, pero no reemplazar, el análisis cualitativo y experto. | La plataforma pretende apoyar la toma de decisiones para investigación en salud, pero no está diseñada para ser un mecanismo de evaluación. | No aplica |
Transparencia | Metric Tide DORA Manifiesto de Leiden | La recolección de datos y los procesos analíticos deben estar abiertos y transparentes, para que aquellos que son evaluados puedan verificar sus resultados. | Los procesos y herramientas de CoLaV están construidas bajo principios abiertos, disponibles en repositorios de libre acceso y descarga. Asimismo, las metodologías están documentadas. | Sí |
Diversidad | Metric Tide DORA Manifiesto de Leiden | Dar cuenta de variedad por área, y usar una amplia cantidad de indicadores para dar cuenta de la pluralidad de la investigación y diversidad en las carreras de investigación a lo largo del sistema. | Las múltiples fuentes de información y los distintos tipos de productos dan cuenta de la diversidad en la producción. Si bien se manejan tres indicadores centrales (cantidad, citaciones, coautoría), estos son aplicados a distintos tipos de productos para reflejar la diversidad en trayectorias y producción. | Sí |
Reflexividad | Metric Tide Manifiesto de Leiden | Reconocer y anticipar los efectos potenciales y sistémicos de los indicadores, y actualizarles de manera acorde. | Los indicadores están enfocados a la toma de decisiones y no a la evaluación. En ese sentido, no se ha realizado un análisis de efectos potenciales y sistémicos de los indicadores. | No |
Selección colectiva | Scope | La definición de las métricas debe ser un proceso construido de manera colaborativa con usuarios y quienes son medidos. | Las métricas fueron evaluadas por expertos quienes hicieron recomendaciones sobre el enfoque de presentación y priorización en los análisis. | Sí |
Buenas prácticas | Proyecto Métricas Responsables | La comunidad interactúa permanentemente para mejorar el uso de las métricas. | Las métricas no están orientadas a la evaluación y, por su enfoque de sistema de información, no se plantea construcción de comunidad. | No aplica |
Adaptación al contexto | Manifiesto de Leiden | Las métricas contemplan el contexto y se ajustan para incorporar las características del sistema y las instituciones. | Las métricas están ajustadas de acuerdo a las necesidades de tomadores de decisión, prioridades de política y características del sistema colombiano de ciencia, tecnología e innovación. | Sí |
Comparación responsable | Proyecto Métricas Responsables | La comparación se enfoca en identificar buenas prácticas, no a posicionarse. | Los indicadores permiten analizar individualmente el desempeño, identificando las buenas prácticas, pero no forzando la comparación en términos de ránquines. | Sí |
Mejora del sistema | Proyecto Métricas Responsables | Las métricas proveen información para mejorar el funcionamiento del sistema para cumplir objetivos. | Las métricas dan información sobre el desempeño del sistema, lo que posibilita la toma de decisiones por parte de cada actor. | Sí |
Apertura | DORA Manifiesto de Leiden | Proveer una licencia que permite el uso irrestricto de los datos y provisión de acceso computacional a los datos. | Los procesos y herramientas de CoLaV están construidas bajo principios abiertos, disponibles en repositorios de libre acceso y descarga. Asimismo, las metodologías están documentadas. | Sí |
Excelencia para la investigación de interés local | Manifiesto de Leiden | Las métricas deben proteger las investigaciones de interés local. | La plataforma está construida para evaluar si las investigaciones contribuyen, o se alinean, a la solución de objetivos de política y los ODS. | Sí |