Interpretabilidad del Modelo BERT en el Contexto de la Similitud Semántica

Abstract

Este trabajo aborda la cuestión de la interpretabilidad lingüística del modelo transformador BERT-Base. A diferencia de los modelos tradicionales que dependen de clasificadores independientes y conjuntos de datos especializados, esta investigación propone una alternativa basada en el aprendizaje no supervisado, específicamente en la reducción de dimensionalidad mediante autocodificadores y algoritmos de agrupamiento. Los hallazgos resaltan la relevancia de la longitud de la secuencia en las capas iniciales, con una disminución gradual a lo largo de las capas, mientras que la atención a la similitud semántica se concentra en las capas intermedias y superiores, particularmente en las capas 6, 8, 9 y 10. Además, se observa una tendencia de agrupamiento de secuencias con estructuras gramaticales similares a lo largo de las capas del modelo. Estos resultados se obtuvieron al abordar la tarea de similitud semántica utilizando el conjunto de datos STS-Benchmark y el conjunto SICK-R.