En el presente análisis se realiza una descripción de la arquitectura Transformer, haciendo énfasis en los bloques funcionales más importantes con los cuales estos modelos pasaron de utilizar un procesamiento y entrenamiento en serie de las redes neuronales recurrentes a un procesamiento en paralelo, con lo que mejoraron notoriamente los tiempos de respuesta y aumentaron la capacidad de procesamiento; es decir los Transformer significaron una evolución notable en el Procesamiento de Lenguaje Natural PLN. Estos logros fueron obtenidos a través del uso de mecanismos de atención y referenciando las posiciones de las palabras de las entradas, aspecto que facilitó que los modelos manejaran una ‘memoria’ a largo plazo; característica, que era una limitante de los antiguos modelos. Se resaltan, además, los usos que en la actualidad se le está dando a esta arquitectura y que no están ligados al procesamiento del lenguaje natural (Chatbots), como es el caso del área de la ciberseguridad con el uso del Bot SecGPT, ente otras áreas de desarrollo y aplicación.
Tópico:
Law, Ethics, and AI Impact
Citaciones:
0
Citaciones por año:
No hay datos de citaciones disponibles
Altmétricas:
0
Información de la Fuente:
FuenteXIKUA Boletín Científico de la Escuela Superior de Tlahuelilpan