Inteligencia y razonamiento¶

La inteligencia, según François Chollet en su artículo "On the Measure of Intelligence" (2019), se define como la eficiencia para adquirir nuevas habilidades. En el contexto de la inteligencia artificial y los retos ARC, evaluar la inteligencia implica analizar tres aspectos fundamentales:

Los conocimientos previos que posee el sistema antes de comenzar a aprender.
La cantidad de experiencia necesaria para adquirir una nueva habilidad o resolver un problema.
La capacidad de generalización, es decir, cuán diferente es el examen o reto respecto a los datos con los que el sistema se ha entrenado.

El Abstraction and Reasoning Corpus (ARC) fue diseñado precisamente para poner a prueba estas dimensiones de la inteligencia, desafiando tanto a humanos como a máquinas a resolver tareas novedosas a partir de pocos ejemplos y conocimientos previos mínimos, midiendo así la verdadera capacidad de razonamiento abstracto y generalización.

¿Es posible dar el salto de la inteligencia, a una inteligencia artificial?

Tipos de inteligencia¶

Según expertos, hay distintos tipos de inteligencia y memoria, en humanos:

Inteligencia lógico-matemática: Capacidad para resolver problemas lógicos y matemáticos.
Inteligencia lingüística: Habilidad para usar el lenguaje y comunicar ideas.
Inteligencia espacial: Capacidad para visualizar y manipular objetos mentalmente.
Inteligencia emocional: Habilidad para reconocer y gestionar emociones.
Inteligencia corporal-kinestésica: Coordinación física y destreza motora.
Inteligencia musical: Sensibilidad al ritmo, tono y timbre.
Inteligencia interpersonal: Capacidad para entender intenciones de otros.
Inteligencia intrapersonal: Autoconocimiento y reflexión personal.
Inteligencia naturalista: Reconocimiento y clasificación de elementos naturales.

En el contexto de ARC, la inteligencia lógico-matemática y espacial son especialmente relevantes, y ya existen mecanismos para resolver problemas. Ver technical report ARC 2024.

Tipos de aprendizaje¶

El aprendizaje se puede conseguir mediante varias formas:

Inducción: La inducción es el proceso mediante el cual un modelo aprende una función general a partir de un conjunto de datos de entrenamiento. Una vez aprendido, el modelo puede aplicarse a nuevos ejemplos que no estaban presentes en los datos originales.
Transducción: La transducción es un proceso que no busca aprender una regla general. En su lugar, se enfoca en predecir directamente las salidas correspondientes a un conjunto específico de ejemplos de prueba, utilizando tanto los datos de entrenamiento como los de prueba durante el proceso.

Aspecto	Inducción	Transducción
Objetivo	Aprender una regla general	Predecir etiquetas de datos concretos
Generalización	Alta (a datos no vistos)	Limitada (solo al conjunto de prueba)
Uso de los datos	Solo entrenamiento	Entrenamiento + prueba
Ejemplo típico	Redes neuronales, árboles de decisión	k-NN, SVM transductivo

Información y datos¶

Dato: Valor bruto, sin procesar. Ejemplo: matriz de números.
Información: Conocimiento extraído de los datos. Ejemplo: patrón detectado en la matriz.
Maximizar información: Observar, describir y estructurar los datos. Buscar regularidades, relaciones y contexto. Muy importante comparar entradas y salidas para buscar relaciones.
Teoría de la información: La información reduce la incertidumbre (teoría de la información). Más estructura = más información útil.
Ejemplo:
- Dato: matriz 3x3 con valores 0/1.
- Información: hay simetría vertical, mayoría de 1s en la diagonal.

Fundamentos cognitivos¶

Patrones de razonamiento: Inductivo, deductivo, abductivo. Se debe buscar un método que dé resultados.
Identificación y superación de sesgos cognitivos: Confirmación, anclaje, disponibilidad, entre otros. Afectan tanto a personas como a LLMs que aprenden de datos humanos.
Técnicas de pensamiento lateral: Para desbloquear soluciones creativas. Buscar alternativas más sencillas. Cuestionar el camino a la solución.
Filtrado de información relevante: No todos los datos son información útil. Es necesaria una estrategia para discernir qué es útil. Evitar la fuerza bruta para todo.

En base a estos fundamentos, podemos buscar una forma de resolver el problema.

¿Cómo razonamos?¶

El razonamiento humano combina procesos intuitivos y analíticos:

Procesos intuitivos: Rápidos, automáticos, basados en experiencia.
Procesos analíticos: Lentos, deliberados, basados en reglas.
Reconocimiento de patrones: Identificación de similitudes con problemas conocidos.
Abstracción: Eliminación de detalles irrelevantes para ver estructura esencial.

Los tipos de razonamientos son los siguientes:

Inductivo: De ejemplos concretos a regla general.
Deductivo: De regla general a caso particular.
Abductivo: Buscar la explicación más plausible.

Veamoslos con más detalle.

Razonamiento inductivo¶

Parte de ejemplos concretos para inferir una regla general.
Permite descubrir patrones a partir de observaciones.
No garantiza certeza absoluta, pero sugiere hipótesis probables.

Ejemplo: Observar que en tres ejemplos "los objetos rojos desaparecen" -> inferir regla general. Ejemplo II: varios inputs muestran simetría -> hipótesis: "la salida es simétrica".

Razonamiento deductivo¶

Parte de reglas generales para deducir consecuencias específicas.
Si las premisas son ciertas, la conclusión también lo es.
Útil para comprobar si una hipótesis explica todos los casos.

Ejemplo: si "todo objeto que toca el borde se duplica" -> este objeto toca el borde -> debe duplicarse. Ejemplo II: "si hay simetría, la salida es igual al input reflejado" -> comprobar en cada ejemplo.

Razonamiento abductivo¶

Busca la explicación más plausible para un conjunto de observaciones.
No asegura certeza, pero orienta hacia la hipótesis más probable.
Clave para generar ideas iniciales en problemas ambiguos.

Ejemplo: si veo objetos que se mueven hacia arriba -> posible regla: "gravedad invertida". Ejemplo II: "la salida cambia solo si hay un patrón en la esquina".

Estrategia y razonamiento¶

Observar dimensiones y relaciones input/output.
Describir elementos y patrones presentes.
Formular hipótesis sobre la transformación.
Validar hipótesis con todos los ejemplos.
Documentar razonamiento y pasos.

Errores comunes¶

Generalizar con un solo ejemplo.
Ignorar detalles importantes.
No validar hipótesis con todos los ejemplos.
Cambiar de hipótesis sin pruebas suficientes.

Validación¶

Ciclo iterativo de hipótesis -> prueba -> ajuste.
Buscar contraejemplos activamente.
Refinar explicaciones hasta que cubran todos los casos.

LLMs y razonamiento¶

Existen 3 tipos de aprendizaje básicos para modelos:

Aprendizaje supervisado: Requiere datos etiquetados donde se conoce la respuesta correcta. El sistema aprende a predecir etiquetas para nuevos datos.
Aprendizaje no supervisado: Trabaja con datos sin etiquetar buscando estructuras o patrones inherentes. No hay respuestas "correctas" predefinidas.
Aprendizaje por refuerzo: El agente aprende mediante prueba y error a través de recompensas. Se entrena para maximizar la recompensa acumulada en un entorno.

Entre ellos, surgen las LLMs, entrenados con grandes datasets, que usan un sistema de aprendizaje autosupervisado. Además, normalmente, se aplica después un finetuning.

Esto nos hace preguntarnos:

¿Cómo se consigue que el modelo adquiera nuevas habilidades?
¿Qué sistema puede ser montado para razonar?

En resumidas cuentas, este es el paradigma actual:

LLMs (Large Language Models):
- Training: Preentrenamiento masivo en datos de texto seguido de fine-tuning para ajustar comportamiento.
- Inferencia: Predicción de tokens basada en patrones estadísticos aprendidos.
- Costes: Altos con los paradigmas actuales debido a recursos computacionales y necesidad de grandes datasets.
Razonamiento: Algunos tienen cadenas de pensamiento y otros mecanismos:
- Chain of Thought (CoT): Descompone problemas en pasos intermedios razonados.
- Tree of Thoughts (ToT): Explora múltiples caminos de razonamiento simultáneamente.
- ReAct: Combina razonamiento y acción, permitiendo interacción con el entorno.
- Aprendizaje por refuerzo: Mejora mediante feedback sobre decisiones tomadas.

Los LLMs no "razonan" en sentido humano sino que aproximan razonamiento mediante patrones estadísticos.

Más información sbre este tema en la sección learning from experts.