Canvas & Ratio
Choose your destination platform format
Layout Template
Choose a content structure for your slides
Preset Themes
Typography & Sizing
Brand Kit Customization
AGENCYConfigure brand assets for headers & footers
Outro Slide CTA
Customize your closing call-to-action slide
Background Pattern
Build Your Carousel
Drag and drop any post card below onto a slide, or use the quick buttons to insert content/images instantly!
Google acaba de lanzar esta BOMBA atómica de paper, quizás comparable con el que comenzó la revolución de IA. No exagero: explica por qué ChatGPT, Gemini,etc tienen el mismo problema: no pueden aprender después de su entrenamiento. La solución que proponen es MUY elegante: 🧵
El problema: todos los LLMs sufren de “amnesia digital”. Pueden acceder a lo inmediato (tu conversación actual) y al pasado lejano (su pre-entrenamiento). Pero no pueden consolidar nada nuevo en memoria de largo plazo.
Los investigadores miraron cómo resuelve esto el cerebro humano y encontraron la clave: el cerebro procesa información en MÚLTIPLES ESCALAS TEMPORALES simultáneamente. No es solo “profundidad” de capas: es frecuencia de actualización a diferentes velocidades.
La revelación que cambia todo: lo que llamamos “deep learning” es solo UNA dimensión (apilar capas). Existe otra ortogonal que ignorábamos: NIVELES de optimización anidados operando a diferentes velocidades. El aprendizaje real necesita ambas.
Imaginate tu cerebro como un edificio. Hasta ahora en IA solo construíamos edificios MÁS ALTOS (más pisos/capas). Pero resulta que existe otra dimensión: el TIEMPO. Algunos pisos se renuevan cada día, otros cada mes, otros cada año. Ambas dimensiones son necesarias.
Descubrieron algo increíble revisando cómo funcionan las redes neuronales: los “optimizadores” (las herramientas que entrenan los modelos) en realidad SON TAMBIÉN modelos de memoria.
Pensalo así: cuando entrenás una IA, creés que estás haciendo UNA cosa. Pero en realidad estás corriendo múltiples procesos de aprendizaje anidados como muñecas rusas, cada uno operando a su propia velocidad. Simplemente no lo veíamos hasta ahora.
Suena complejo, pero explica por qué los LLMs no pueden aprender después del entrenamiento: tienen memoria súper rápida (la conversación) y memoria congelada (lo aprendido en pre-training). Pero les falta TODO el espectro del medio—las memorias que se consolidan gradualmente.
La solución que proponen: “Nested Learning”. En vez de una memoria rápida y una lenta, creá un ESPECTRO CONTINUO de memorias. Como el cerebro: recordás lo que desayunaste (rápido), lo que hiciste el mes pasado (medio), tu infancia (lento). Un gradiente, no un switch.
Crearon HOPE: un modelo con este sistema de memoria en espectro. Y la parte más loca: aprende a modificarse a sí mismo mientras funciona. No solo “recuerda mejor”—aprende cómo debe aprender. Como cuando aprendés a estudiar más eficientemente mientras estudiás.
Los resultados son buenos, pero lo revolucionario es la idea: durante décadas construimos IA solo pensando en “más capas, más grande”. Este paper dice “che, existe otra dimensión completa que ignoramos: el tiempo y las frecuencias de actualización”.
Si funciona, esto cambia: •Modelos que aprenden continuamente de tus conversaciones sin olvidar •IA que mejora mientras la usás, no solo antes de lanzarla •Una nueva forma de pensar diseño: no solo tamaño, sino escalas temporales Al ser Google, creo que VA a funcionar
Link a la fuente: <a target="_blank" href="https://abehrouz.github.io/files/NL.pdf" color="blue">abehrouz.github.io/files/NL.pdf</a> Si te gustó, seguime para seguir aprendiendo sobre IA sin humo 🤓
¿Cuán grande es esto según Google? Esto es lo que twiteó uno de los tipos más grosos ayer 😅 <a target="_blank" href="https://twitter.com/denny_zhou/status/1992282096950460560" color="blue">x.com/denny_zhou/sta…</a>