LABORATORIO DE IMÁGENES Y VISIÓN

Este trabajo aborda el problema de inferir el conocimiento adquirido por una red neuronal convolucional para clasificación de imágenes, sin información previa sobre sus datos de entrenamiento. En particular, se estudia si es posible determinar qué clases fueron utilizadas durante el entrenamiento bajo distintas restricciones sobre el acceso a la arquitectura, los pesos y las salidas de la red.

Se definen seis variantes del problema, que representan escenarios cada vez más generales y desafiantes. Entre los métodos explorados, el análisis de la proporción de activación neuronal en capas Fully Connected combinado con clustering no supervisado mediante K-Means mostró resultados sólidos, alcanzando scores F1 superiores a 0.8 incluso en configuraciones con hasta siete clases de diez no entrenadas.

La principal contribución del trabajo es el desarrollo de un framework basado en DeepDream para la extracción de conocimiento, que es agnóstico al dataset, a la arquitectura del modelo y a la métricas de similitud. Experimentos preliminares con este enfoque alcanzaron scores F1 superiores a 0.95 en MNIST con redes artesanales pequeñas y mostraron desempeños comparables en CIFAR-10 utilizando una ResNet20 pre-entrenada.

El cáncer de piel, especialmente el melanoma, es un problema de salud pública con alta tasa de mortalidad. La detección temprana y precisa es crucial. Las redes neuronales convolucionales son prometedoras para el diagnóstico asistido por computadora en dermatología. Este trabajo se enfoca en la segmentación precisa de lesiones de piel en imágenes dermatoscópicas utilizando el conjunto de datos ISIC 2018. El punto de partida será la publicación “Automated Skin Lesion Segmentation via an Adaptive Dual Attention Module”.

El objetivo es comprender cuánta injerencia tiene el mecanismo de atención ADAM en los resultados finales frente a otras variantes, explorando tanto su impacto en la eficiencia y el rendimiento del modelo como su contribución a la interpretabilidad del mismo, y buscando reducir el número de parámetros y/o tiempo de cómputo sin afectar la calidad de la segmentación.

Veremos que en general, los mecanismos de atención, no son la bala de plata a la hora de obtener mejoras sustanciales. Y que no hay que perder de vista otras configuraciones igualmente relevantes para la performance.

Los fenómenos meteorológicos asociados al cambio climático, como las precipitaciones intensas, intensifican la proliferación de algas nocivas cianobacteriales (CyanoHABs). Dichos organismos traen aparejados un impacto tanto en la salud humana como en el deterioro ambiental de las zonas donde se registran. Por lo tanto, resulta de vital importancia obtener información espacio-temporal precisa de las precipitaciones con el fin de apaciguar los impactos descritos

El presente trabajo propone la aplicación de un modelo basado en una arquitectura Variational Autoencoder (VAE) que integra Redes Neuronales Recurrentes (RNNs) para la detección de precipitaciones intensas. Para esto, se utilizó la variable temperatura de brillo proveniente de datos satelitales con una resolución espacial de 4 km cada media hora, cubriendo la región de Brasil durante el período 2011-2012. Además, se exploró y estudió el impacto de la incorporación de matrices esparsas de datos de pluviómetros terrestres en la capacidad de aprendizaje y generalización de la arquitectura propuesta.

En este trabajo se implementa una arquitectura para el reconocimiento de acciones a partir de videos capturados desde una perspectiva de primera persona, con un enfoque centrado en la interacción mano–objeto. La metodología propuesta combina un modelo de detección de poses basado en YOLOv8-Pose con un modelo de clasificación temporal basado en Vision Transformer (ViT). Los datos provienen del dataset H2O que contiene vídeos etiquetados de manos, objetos y acciones capturadas con una configuración dual egocéntrica–exocéntrica que permiten la detección de los puntos de interés, aún si están parcialmente ocluidos. YOLOv8-Pose estima la pose de ambas manos e identifica el objeto manipulado utilizando información 2D. La salida de YOLO se convierte en la entrada del ViT para reconocer la acción del video.

Se aplicó un proceso de revisión y corrección de etiquetas de objetos emitidas por YOLO dado que eran erróneas. Esto permitió mejorar la performance pasando de 79,50 \% a 90,16 \% en validación y de 72,31\% a 79,75 \% en test al emplear YOLOv8 entrenado durante 300 épocas con corrección de etiquetas. El mean End Point Error (EPE) se utilizó como métrica para evaluar la precisión de las poses, mejorando a 17.66 px sobre los 24.46 px reportados en la literatura como los menores. Los experimentos muestran que las representaciones 2D —incluso cuando provienen de anotaciones 3D proyectadas— resultan suficientes para obtener un reconocimiento de acciones preciso en el caso particular de entornos egocéntricos.

En este trabajo proponemos un método de Reconocimiento de Expresiones Faciales para la tarea de One-Shot en secuencias de video. El reconocimiento de las expresiones se aborda mediante la correlación entre las dinámicas de los videos de entrada, que corresponden a una expresión realizada por un sujeto, y una serie de secuencias artificiales generadas por modernas arquitecturas de Redes Neuronales Profundas. La generación de estos cuadros artificiales se logra a través de una Red Generativa Antagónica (GAN). Luego, la expresión de entrada es categorizada a partir de aquella secuencia artificial más similar en el espacio de clasificación.

Se plantea como hipótesis que la correlación dinámica se vería reforzada mediante el uso de arquitecturas de redes neuronales y estrategias que conserven la información de identidad del sujeto de test. Realizamos experimentos para distintas variantes de representación de las imágenes, enfocándonos en la familia de métodos de 2DLDA, y reportamos métricas para cada expresión.