Este artículo compara diversos índices de calidad del agua (ICA) aplicados en 235,3 km del río Ranchería, La Guajira-Colombia. La comparación de los ICA se realizó directamente con los valores numéricos de los índices discretizados en cinco rangos iguales (índices brutos) y con sus calificaciones, es decir los juicios ambientales (también en cinco clases) asociados a esos valores. La coherencia entre parejas de índices se analizó en ambos casos con el coeficiente de correlación de Spearman y la raíz del error cuadrático medio (RMSE). Se obtuvo mayor coincidencia, mejor correlación y menores desviaciones en el caso de los índices brutos. Este hecho evidencia la carencia de la relación entre los valores de los índices y su calificación. Se determina por tanto la necesidad de llevar a cabo un ejercicio de intercalibración para asegurar la coherencia entre los distintos índices.