Investigadores de Microsoft han desarrollado una técnica que permite a los modelos lingüísticos de gran escala (LLM por sus siglas en inglés) olvidar selectivamente información relacionada con los derechos de autor, como las referencias a los libros de Harry Potter.
Los LLM, que alimentan los chatbots de Inteligencia Artificial generativa, pueden ser editados para eliminar información conflictiva. Esta técnica fue desarrollada por Mark Russinovich y Ronen Eldan, investigadores de Microsoft.
Leer también: El New York Times demanda a OpenAI y Microsoft por usar sus contenidos para entrenar chatbots #28Dic
La técnica permitió a un LLM de Meta olvidar las referencias a los libros de Harry Potter, incluyendo personajes y tramas, sin sacrificar la capacidad de análisis del sistema de IA, permitiendo al modelo desaprender un subconjunto de datos de entrenamiento, sin tener que volver a entrenarse desde cero.
Los LLM se entrenan con grandes conjuntos de datos de Internet, que a menudo contienen información protegida por derechos de autor y datos privados, lo que plantea desafíos legales y éticos.
La técnica fue evaluada con el LLM Llama2-7b de Meta, logrando borrar efectivamente la capacidad del modelo para generar contenido relacionado con Harry Potter en aproximadamente una hora de ajuste fino.
