Nueva Generación de Investigadores Deep Learning

La mayoría de los investigadores top en deep learning hoy en día siguen un patrón parecido: descubren cuál es el trend más caliente (LLMs generativos, modelos de difusión, agentes autónomos), le tiran recursos y publican rápido, sin importarles demasiado si hay fundamentos teóricos sólidos debajo. Y la verdad es que esto es relativamente nuevo en el campo. Hace una década, la investigación en machine learning tenía más balance entre matemática rigurosa y experimentación pragmática. Hoy, el empirismo ganó (o al menos ese es el sentimiento en las conferencias y en GitHub), y eso tiene consecuencias que vale la pena entender si vos trabajás con IA en cualquier contexto.

Qué es el empirismo en deep learning (y por qué cambió tanto desde 2015)

Deep learning es empirismo en su forma más pura: experimentás en datos reales, medís resultados, ajustás hiperparámetros, publicás si funciona. Nada de demostraciones formales ni pruebas matemáticas cerradas. Eso siempre fue así (redes neuronales llevan décadas), pero lo que cambió fue la escala. Cuando ImageNet llegó en 2012, el juego fue: si entrenás una CNN profunda en millones de imágenes, conseguís resultados que antes eran imposibles. La teoría clásica decía “eso no debería funcionar”, pero funcionó. Entonces la comunidad se preguntó: ¿para qué necesitamos la teoría?

Rápido avanzamos al 2017, los transformers explotaron en publicaciones, BERT/GPT llegaron sin explicaciones teóricas convincentes (solo “escalamos, funcionó”), y el mercado les tiró inversión. La presión aceleró todo: financiamiento para los que tenían resultados visibles, congresos repletos de papers empíricos, menos espacio para teoría lenta y cuidadosa. (Spoiler: esto nunca es gratis, el costo se paga después.)

La brecha teoría-práctica que nadie cierra bien

Acá viene lo interesante. Hace unos años circuló un paper llamado “Understanding Deep Learning Still Requires Rethinking Generalization” (Hardt, Recht, Singer). El punto central: deep learning funciona en la práctica, pero la teoría clásica (teoría de la generalización, regularización, VC dimension) no explica por qué. Un modelo con millones de parámetros entrenado en sobreajuste debería colapsar en datos nuevos. No lo hace. ¿Por qué? Bueno, todavía no sabemos del todo.

Eso es un problema. Cuando no entendés por qué algo funciona, no podés predecir cuándo va a dejar de funcionar, no podés extrapolarlo a contextos nuevos (un modelo de recomendación de Netflix a un banco), y no podés garantizar nada. Los investigadores empíricos dicen: “No importa, si testea bien en los datos de prueba, es suficiente.” Pero tomalo con pinzas, porque esa fue la lógica también cuando el mercado hipotecario estadounidense “testeaba bien” en 2007. Más contexto en herramientas de IA para investigación.

Por qué el empirismo ganó: datasets, compute, y dinero

La historia es sencilla. ImageNet en 2012 fue un golpe de suerte: un dataset público masivo, etiquetado, suficientemente difícil para ser interesante pero suficientemente manejable para resolver. CNNs escalables + GPU + ImageNet = papers con números espectaculares. Eso atrajo dinero, talento, recursos. Para 2015, el ciclo se aceleró: benchmarks más grandes, modelos más grandes, papers más rápido, competencia feroz entre labs para ser el primero en lograr X accuracy. La teoría no puede competir con eso. La teoría es lenta, formal, revisión de pares seria, y espera dos años para publicar una prueba rigurosa. El empirismo es: entrenar un fin de semana, publicar el lunes, recolectar citas todo el año.

El contexto industrial tampoco ayuda. Si trabajás en Google o Meta, tu carrera crece con papers de impacto inmediato y productos que escalan rápido. Nadie te promociona por haber escrito una demostración elegante (que tal vez nadie lea). Publicás un modelo nuevo que obtiene 0.5% mejor accuracy en MMLU, lo integras en Chrome, eso suma millones de usuarios, y eso es un CV que obtiene nuevos financiamientos.

Los peligros de seguir el trend sin rigor

Acá es donde la historia se pone complicada. Cuando 80% de los papers en una conferencia son “entrenamos X + escala + obtuvimos Y”, la calidad metodológica se desmorona. Investigadores de Nature Health hicieron un meta-análisis de papers de ML aplicado a medicina y encontraron variación MASIVA en metodología: algunos reportaban accuracy en el set de entrenamiento (completamente inútil), otros usaban datos que podría haber contaminación, otros no especificaban el split train/test, otros no reportaban intervalos de confianza. Básicamente, cualquier cosa que en ciencias tradicionales (biología, química) sería rechazada inmediatamente.

Ponele que subís un modelo a HuggingFace, alguien lo descarga, lo prueba, funciona re piola para su caso de uso específico, lo integra en producción porque “tiene buen benchmark”, y seis meses después descubre que en casos edge falla catastróficamente. O peor: se usa en contextos donde debería haber garantías (predicción judicial, diagnóstico médico, detección de fraude) y nadie testeó esos escenarios realmente. Cubrimos ese tema en detalle en ejecutar agentes sin APIs externas.

El problema central: un “trending” en research no es lo mismo que “riguroso”. Hace un par de años todo el mundo hablaba de prompt engineering como si fuese ciencia. Se publicaban miles de papers sobre “este prompt es mejor”. Nadie replicaba con rigor, nadie controlaba variables, nadie se preguntaba si los resultados eran estadísticamente significativos. Algunos investigadores honestamente empezaron a cuestionarse: ¿estamos haciendo ciencia o estamos escribiendo fan fiction de LLMs?

Métodos puramente empíricos vs. búsqueda de rigor teórico

Hay una diferencia importante que a veces se pierde. Empirismo riguroso (como hace la mejor investigación tradicional) es: formular hipótesis, diseñar experimentos controlados, replicar, medir, reportar resultados honestos incluyendo fallos. Eso es bueno. Lo que pasó en deep learning en los últimos 10 años es más bien: escribir código rápido, reportar el número más grande, seguir al siguiente trend. No es empirismo, es “hacking opportunistic”.

Por otro lado, teoría formal sin realidad es abstracta e irrelevante. Yann LeCun (uno de los cimientos del deep learning) ha insistido por años que el camino adelante es “auto-supervised learning” — un enfoque que trata de mantener ambos: experimentación pragmática pero buscando principios que generalicen sin label exhaustivo. Su visión es: en vez de entrenadores gigantes con datos anotados manualmente, aprendé representaciones que tengan “propiedades” teóricas verificables. Es un intento de reunir los mundos.

Tabla: Empirismo ciego vs. Investigación rigurosa

Cómo la comunidad está reconociendo el problema

No es que nadie se haya dado cuenta. Papers como “Position: Why We Must Rethink Empirical Research in Machine Learning” (2024, entre otros) empiezan a criticar abiertamente lo que está pasando. El argumento: “estamos publicando demasiado rápido, sin suficiente análisis, y la literatura está llena de resultados que no replican.”

Iniciativas como ModelCard (Google) y Datasheets for Datasets (Gebru y otros) buscan documentación más honesta: describir qué hace el modelo, en qué falla, qué sesgos tiene, cómo se recolectó el dataset, cuáles son las limitaciones. Suena básico, pero el hecho de que haya que crear iniciativas formales para eso sugiere que el estado anterior era bastante malo. Tema relacionado: validar automáticamente tus experimentos.

Además, repositorios como OpenReview han empezado a exigir más transparencia. Algunos congresos ahora requieren code release, dataset metadata, y reproducibility checklist. No es perfectamente riguroso, pero es un movimiento en la dirección correcta.

El futuro: velocidad con fundamentos más sólidos

Probablemente no volveremos a los años 90 de deep learning ultra-teórico, ni seguiremos indefinidamente con “hacking trending”. El futuro es híbrido. Mirá lo que está pasando ahora: modelos multimodales, agentes complejos con reasoning, RL mejorada con RLHF y reward modeling. Estos avances no son solo “escala + empirismo”, requieren diseño arquitectónico, intuiciones sobre cómo deben combinar componentes, garantías sobre estabilidad. Es empirismo con restricciones inteligentes.

Además, AI for scientific discovery (como el proyecto de Google de co-scientist con IA) es un ejemplo de empirismo riguroso: usás IA para generar hipótesis de laboratorio, testear, validar. El rigor viene de la ciencia, no del algoritmo. Es un modelo que puede escalar.

Lo que los investigadores inteligentes están haciendo ahora, subí, lo probás en local, funciona bárbaro, lo mandás a producción y de repente todo se rompe porque el tokenizer no era el mismo, las dependencias cambiaron y nadie documentó nada — eso es aprender a documentar borrador de findings MIENTRAS hacen empirismo. ModelCard, reproducibility checklist, datos publicados, código abierto. No es perfecto, pero es un cambio de mentalidad importante.

Errores comunes al diseñar investigación en deep learning

1. Reportar solo el mejor resultado

Entrenar 10 veces, reportar el run que salió mejor, silenciar los otros 9. Esto es “selection bias” crudo. Si lo hacés formalmente, cada run debería reportarse con intervalo de confianza sobre múltiples entrenamientos.

2. Benchmarks como verdad única

Un modelo puede obtener 95% accuracy en MNIST pero fallar completamente en números reales del mundo (rotados, pixelados, mal iluminados). El benchmark es una proxy de desempeño, no la realidad. Validá en datos nuevos que el modelo nunca vio, preferentemente en contextos distintos. Complementá con plataformas para colaborar en código.

3. No separar train/validation/test

Si optimizás hiperparámetros en el test set, estás filtrando información hacia el modelo y obtenés números inflados. La pipeline correcta: train (ajustás el modelo), validation (ajustás hiperparámetros), test (reportás el resultado final, nunca lo tocas).

Preguntas Frecuentes

¿Por qué los investigadores de deep learning siguen tendencias en lugar de trabajar en fundamentos?

Presión por publicación rápida, financiamiento limitado que sigue los resultados visibles, y competencia acelerada entre labs grandes. Un paper sobre “scaling laws teóricos” tarda dos años y obtiene 20 citas. Un paper sobre “nuevo modelo obtiene SOTA en benchmark” tarda un mes y obtiene 500 citas al año siguiente. La industria y las universidades recompensan volumen e impacto inmediato, no rigor lento.

¿Cuál es la diferencia entre investigación empírica rigurosa y “trending hacking”?

Empirismo riguroso = múltiples runs con intervalos de confianza, controles estadísticos, replicación documentada, divulgación honesta de fallos. Trending hacking = “entrenamos una vez, funciona, publicamos”. Uno es ciencia. El otro es apuestas con datos.

¿Cómo afecta el empirismo sin teoría a la aplicación práctica?

El modelo generaliza bien en benchmarks pero falla en producción porque el contexto es distinto. No tenés explicación ni forma de predecir cuándo va a fallar. En medicina o finanzas, eso es inaceptable. Por eso hay movimiento hacia explicabilidad y garantías verificables.

¿Qué iniciativas están mejorando el rigor metodológico?

ModelCard (descripción exhaustiva del modelo), Datasheets for Datasets (origen y limitaciones del dataset), OpenReview (transparencia en congresos), requisitos de reproducibilidad en mejores journals, y herramientas de auditoría como LIME e interpretabilidad. No es perfecto pero hay movimiento claro.

¿Puede haber investigación rápida Y rigurosa?

Sí, pero requiere disciplina. Documentar decisiones mientras las tomás, usar herramientas que facilen replicabilidad (containers, dependency management), publicar negativos, ser honesto sobre limitaciones. Es más lento que hack pure, pero mucho más rápido que los tiempos de revisión tradicional.

Conclusión

La generación actual de investigadores de deep learning es brillante, pero heredó (y amplificó) un problema de incentivos: velocidad sobre rigor, trends sobre principios, resultados espectaculares sobre reproducibilidad. No es culpa de ellos, es culpa de la estructura — congresos que valoran volumen, financiamiento que sigue victorias visibles, industria que necesita resultados ahora.

El problema no es el empirismo en sí (la experimentación es central en ciencia). El problema es cuando el empirismo se convierte en “hacking oportunista” sin control, sin replicación, sin honestidad sobre los límites. Y ese es el estado actual. La buena noticia: la comunidad empieza a notar. Iniciativas de rigor, presión por reproducibilidad, y reconocimiento de que “scaling + empirismo” tiene límites, están ganando tracción. Tal vez en cinco años el standard sea más alto que hoy. Pero mientras tanto, si vos usás un modelo de deep learning en producción, revisá dos veces en qué data fué testeado, pedí el código, insistí en testing en contextos nuevos. No confíes en el benchmark solo.

Fuentes

• Understanding Deep Learning Still Requires Rethinking Generalization – ACM Communications
• Position: Why We Must Rethink Empirical Research in Machine Learning – arXiv
• OpenReview – Reproducibility and research transparency in deep learning
• Google Research 2025: Bolder Breakthroughs, Bigger Impact – Google Research
• Machine Learning Research Trends and Methodological Challenges – arXiv