TextRefine: A Novel approach to improve the accuracy of LLM Models

Ekta Dalal; Parvinder Singh

doi:10.56294/dm2024331

Artículos originales

Published: 2024-05-20

DOI: https://doi.org/10.56294/dm2024331

TextRefine: Un nuevo método para mejorar la precisión de los modelos LLM

Resumen

El Procesamiento del Lenguaje Natural (PLN) es un campo interdisciplinar que investiga el fascinante mundo del lenguaje humano con el objetivo de crear modelos computacionales y algoritmos que puedan comprender, producir y analizar el lenguaje natural de forma similar a los humanos. Los LLM siguen teniendo problemas con el material de entrada ruidoso y sin pulir, a pesar de su excelente rendimiento en tareas de procesamiento del lenguaje natural. TextRefine ofrece un proceso de pretratamiento exhaustivo que refina y limpia los datos de texto antes de utilizarlos en los LLM para superar este problema. El proceso incluye una serie de acciones, como la eliminación de etiquetas sociales, la normalización de los espacios en blanco, el cambio de todas las minúsculas a mayúsculas, la eliminación de palabras vacías, la corrección de problemas Unicode, la eliminación de contracciones, la eliminación de signos de puntuación y acentos, y la limpieza del texto. Estos procedimientos trabajan conjuntamente para reforzar la integridad y calidad de los datos de entrada, lo que en última instancia mejorará la eficacia y precisión de los LLM. Pruebas exhaustivas y comparaciones con técnicas estándar demuestran la eficacia de TextRefine con un 99% de precisión.

Keywords:

TextRefine,

Procesamiento del Lenguaje Natural,

Modelos LLM,

Cómo citar

Dalal E, Singh P. TextRefine: Un nuevo método para mejorar la precisión de los modelos LLM. Data and Metadata [Internet]. 20 de mayo de 2024 [citado 6 de julio de 2024];3:331. Disponible en: https://dm.saludcyt.ar/index.php/dm/article/view/331

Aviso de derechos de autor/a

Este artículo se distribuye bajo la licencia Creative Commons Attribution 4.0 License. A menos que se indique lo contrario, el material publicado asociado se distribuye bajo la misma licencia.

Article metrics

Google scholar: See link

Métricas

Cargando métricas ...

Vol. 3 (2024)

See full issue

Revistas / Journals

Issue

Acerca de

Envíos