Voy a arriesgarme y proponer el siguiente trabajo para el título.
Máquina de regresión aproximada apilada: un enfoque simple de aprendizaje profundo
Hace algunas afirmaciones bastante increíbles, aunque es de un laboratorio muy fuerte. Pero si es cierto, es seguro que cambiará la dirección de la investigación de aprendizaje profundo de inmediato. Estos chicos entrenan una red convolucional capa por capa (sin BackProp) utilizando solo el 10% de los datos de entrenamiento de ImageNet y superan a VGG en la clasificación de ImageNet. El método requiere mucho menos tiempo para entrenar que el telón de fondo con SGD.
- Tengo una idea que es tecnológicamente compleja y no tengo idea de cómo hacerla. ¿Cómo sigo adelante con una idea? ¿Cómo podría crear algo desde cero?
- ¿Cuáles son algunos NUEVOS inventos geniales que han sido desclasificados?
- ¿Qué innovación de iPhone podría salvar la reputación de Apple?
- ¿El concepto de matrimonio necesita innovación disruptiva?
- ¿Qué soluciones puede brindar para aliviar el ingreso rural disponible?
Cada capa (o bloque de N-capas para un llamado ARM de N-iteración) es básicamente un codificador escaso, y entrenado usando métodos tradicionales de aprendizaje de diccionario disperso.
Afirman que el modelo incluso puede funcionar con tan solo el 0.5% de los datos de capacitación de ImageNet.
Aquí hay un hilo reddit en el papel:
Un enfoque simple de aprendizaje profundo
EDITAR: El documento anterior ahora se ha retirado. ¡Parece que era demasiado bueno para ser verdad! Aquí está el aviso de retiro:
https://arxiv.org/pdf/1608.04062…