Skip to content

Aprendiendo de los Expertos

Esta sección recopila estrategias y enfoques que han demostrado ser exitosos para resolver los desafíos de ARC, tanto por parte de los ganadores de competiciones como de investigadores destacados en el área.

Toda esta información puede ayudar a desarrollar y mejorar mis guidelines personales, para ver que resultados se pueden conseguir con pocos recursos.

Estrategias Humanas

François Chollet, creador de ARC, señala que los humanos resuelven estos problemas mediante:

  1. Identificación de objetos: Reconocimiento de estructuras significativas en la cuadrícula.
  2. Detección de relaciones: Identificación de patrones de transformación entre entrada y salida.
  3. Aplicación de reglas: Implementación de transformaciones específicas basadas en los patrones observados.
  4. Verificación: Comprobación de que la solución propuesta es consistente con todos los ejemplos.

Estrategias en ARC

Estas son las estrategias que en 2024 son tendencia.

Deep learning-guided program synthesis

Deep learning models, LLMs, que generan snippet de código, o guias del proceso de búsqueda para resolver el problema. Evita usar métodos de fuerza bruta.

Test Time Training (TTT) for transductive models

Test Time Training (TTT) es una técnica que permite ajustar un modelo durante la fase de prueba para mejorar su desempeño en datos no vistos o distribuciones cambiantes.

Se puede pasar de un 11% a un 33% de acierto usando TTT. No es trampa, ya que se usan los datos de ejemplo para resolver la tarea. Se obtiene un modelo "transductivo" por tarea.

Combining program synthesis together with transductive models

Una mezcla de las 2 aproximaciones anteriores. Basada en las observaciones, cada aproximación tiende a resolver distintos tipos de tareas.

Razonamiento Abductivo

Musa Atlihan desarrolló un enfoque basado en razonamiento abductivo para resolver desafíos ARC.

El razonamiento abductivo se centra en encontrar la explicación más simple y probable para resolver un problema a partir de observaciones limitadas.

Cómo funciona

  1. Observación: Analiza cada celda de los ejemplos de entrenamiento con sus vecinos cercanos.
  2. Memoria: Implementa sistemas de memoria (a corto y largo plazo) para capturar patrones horizontales y verticales.
  3. Abstracción: Utiliza codificación de etiquetas para abstraer patrones independientemente de los colores específicos.
  4. Razonamiento: Genera explicaciones cortas basadas en las observaciones y selecciona las más frecuentes.

Este enfoque es particularmente efectivo porque:

  • No requiere miles de ejemplos de entrenamiento como los enfoques de deep learning.
  • Puede generalizar a partir de muy pocos ejemplos (2-3).
  • Se adapta a la naturaleza discreta de los problemas de ARC.
  • Puede capturar patrones locales independientes de su ubicación en la cuadrícula.

Referencias Adicionales