Este trabajo presenta el desarrollo de un sistema de valoración cuantitativa de la capacidad de los inspectores para tomar decisiones acertadas, usando el método de análisis de riesgos y el índice Kappa de Cohen. En este artículo se establece un procedimiento para la aplicación del método de análisis de riesgos valorando cuantitativamente el desempeño de inspección visual. Para medir el impacto de diferentes escenarios con variaciones en el nivel de capacitación, experiencia, unificación de criterios, características físicas, métodos y estándares disponibles, se realiza un estudio de simulación, para diferentes inspectores en tres escenarios. Los resultados permitieron obtener niveles de calidad del proceso entre 95% y 99%. Es posible evidenciar que reducir la variabilidad del resultado de los procesos de inspección mediante la estandarización de métodos, unificación de criterios y capacitación del personal mejora el nivel de calidad. El procedimiento presentado y simulado en este artículo puede ser replicable en procesos de inspección cualitativos ya sea procesos de manufactura o de servicios.