La evaluación del deterioro de las vías en Colombia se realiza por medio de inventarios manuales e inspecciones visuales. Los métodos de evaluación del estado de las vías adoptados por el INVIAS (Instituto Nacional de Vías) son VIZIR (Visión Inspection de Zones et Itinéraires Á Risque) y PCI (Paviment Condition Index). Estos determinan la gravedad de daño en pavimento flexible y rígido; sin embargo, pueden ser tediosos, subjetivos y requieren de la experiencia de un evaluador, lo que evidencia la necesidad de desarrollar metodologías de evaluación del estado de las vías. Este documento presenta una metodología para la evaluación de los deterioros presentes en pavimento flexible usando técnicas de fotogrametría terrestre y redes neuronales que está compuesta por seis etapas: i. Captura de las imágenes, ii. Preprocesamiento de las imágenes, iii. Segmentación mediante técnicas de detección de bordes, iv. Extracción de las características, v. Clasificación utilizando redes neuronales, y vi. Evaluación del área de afectación del deterioro. La metodología se evaluó con imágenes reales de pavimento con tres tipos de deterioro: grieta longitudinal, piel de cocodrilo y bache. Como clasificador se utilizó una red neuronal multicapa con configuración (12 12 3), entrenada utilizando el algoritmo Levenberg Marquardt de retropropagación. Se obtuvo una exactitud del 96 % en el clasificador, una sensibilidad de 93.33 % y una índice kappa de 0.936. Esta metodología es la base para la creación de un sistema automatizado de evaluación del deterioro presente en las vías, el cual puede contribuir en la reducción en tiempo y costo en los planes de gestión de mantenimiento de la infraestructura vial.