Interpretabilidad y Control de Modelos de IA: Caso del Golden Gate Bridge

Introducción

• Interpretabilidad: Campo que busca entender la complejidad en las activaciones y conexiones de redes neuronales.
• Analogía: Comparación con el Puente Golden Gate para explicar las redes neuronales y sus complejidades.
• Problema: Dificultad en entender el proceso de toma de decisiones de una IA (caja negra).

Caso de Antropic Cloud 3

• Crisis de Identidad: La IA se obsesiona con el Puente de San Francisco.
• Fundación: Antropic fue fundada en 2021 por los hermanos Amodei tras desacuerdos con la dirección de OpenAI.
• Objetivo: Desarrollar modelos éticos y seguros.

Descomposición de Activaciones

• Desafío: Comprender cómo funcionan internamente las redes neuronales gigantes.
• Neuronas Polisemánticas: Neuronas que aprenden varios conceptos no relacionados.
• Ejemplo: Una neurona puede activarse con “amor” y con “palmera” dependiendo del contexto.

Técnicas Utilizadas

• Autoencoders: Tipo de red que comprime y luego descomprime información.
  • Spars Autoencoder: En lugar de comprimir, separa la información para identificar conceptos superpuestos.
• Interpretabilidad: Separa los conceptos dentro de una red neuronal gigante como Cloud 3.

Resultados de Antropic

• Patrones Identificados: Neuronas que responden a texto con fallos, secretos, entre otros.
• Interacción: Activar estas neuronas cambia el comportamiento de la IA radicalmente.
  • Ejemplo: Detector de estafa en emails.
• Manipulación: Alterando la activación de estas neuronas, se puede modificar el comportamiento de la IA.

Problemas y Soluciones

• Chaos Interpretativo: La superposición de significados complica la interpretación.
• Método de Separación: Uso de spars autoencoders para descomponer activaciones.

Experimentos Recientes

• Modelo Cloud 3: Nuevos patrones más abstractos y ricos fueron identificados y manipulados.
  • Ejemplo: Neuronas que detectan código con errores.

Control de Comportamiento

• Discusión: Importancia de entender para controlar futuros problemas.
• Técnica: Activación voluntaria de neuronas para cambiar comportamiento.
  • Ejemplo: Convertir a Cloud en un estafador al máximo la activación de neuronas relacionadas con spam.

Conclusión

• Importancia: Entender y controlar estos modelos es crucial para la seguridad y la personalización.
• Avances: Trabajo reciente publicado por Antropic y OpenAI sobre interpretabilidad y control de redes neuronales.
• Futuro: Mejorar la manejabilidad de los modelos de IA para tener más seguridad y robustez.