Defense announcement
I will be defending my PhD thesis soon. Here is some practical info.
You can see title and abstract bellow (in english and in french) as well as the related publications.
You can also check popularized short abstracts by the end of the post.
Date: 03/12/2020 at 13:30
Link for online streaming: https://youtu.be/IzKFvw3CzBw Language: English
Thesis supervisors: Frédéric ALEXANDRE and Thierry VIÉVILLE
| Jury members | |||
|---|---|---|---|
| CARRÉ, Philippe | Pr. | Univ. de Poitiers | Reviewer |
| ESCOBAR, María José | Asc. Pr. | Univ. Técnica Federico Santa María, Chile | Reviewer |
| JOUFFRAIS, Christophe | DR | CNRS IPAL IRL2955, Singapour | Examiner |
| SAUZÉON, Helène | Pr. | Univ. de Bordeaux | Examiner |
| VON ZUBEN, Fernando José | Full Pr. | Univ. estadual de Campinas, Brazil | Examiner |
Related publications
Drumond TF, Viéville T and Alexandre F (2019) Bio-inspired Analysis of Deep Learning on Not-So-Big Data Using Data-Prototypes. Front. Comput. Neurosci. 12:100. doi: 10.3389/fncom.2018.00100
Drumond TF, Viéville T and Alexandre F (2017) Using prototypes to improve convolutionalnetworks interpretability. NIPS 2017 - 31st Annual Conference on Neural Information Processing Systems: Transparent and interpretable machine learning in safety critical environments Workshop,Dec 2017, Long Beach, United States. hal-01651964
Details in english
Title:
Interactions between hierarchical learning and visual system modeling: Image classification on small datasets
Abstract:
Deep convolutional neural networks (DCNN) have recently protagonized a revolution in large-scale object recognition. They have changed the usual computer vision practices of hand-engineered features, with their ability to hierarchically learn representative features from data with a pertinent classifier. Together with hardware advances, they have made it possible to effectively exploit the ever-growing amounts of image data gathered online. However, in specific domains like healthcare and industrial applications, data is much less abundant, and expert labeling costs higher than those of general purpose image datasets. This scarcity scenario leads to this thesis’ core question: can these limited-data domains profit from the advantages of DCNNs for image classification? This question has been addressed throughout this work, based on an extensive study of literature, divided in two main parts, followed by the proposal of original models and mechanisms. The first part reviews object recognition from an interdisciplinary double-viewpoint. First, it resorts to understanding the function of vision from a biological stance, comparing and contrasting to DCNN models in terms of structure, function and capabilities. Second, a state-of-the-art review is established aiming to identify the main architectural categories and innovations in modern day DCNNs. This interdisciplinary basis fosters the identification of potential mechanisms — inspired both from biological and artificial structures — that could improve image recognition under difficult situations. Recurrent processing is a clear example: while not completely absent from the “deep vision” literature, it has mostly been applied to videos — due to their inherently sequential nature. From biology however it is clear such processing plays a role in refining our perception of a still scene. This theme is further explored through a dedicated literature review focused on recurrent convolutional architectures used in image classification. The second part carries on in the spirit of improving DCNNs, this time focusing more specifically on our central question: deep learning over small datasets. First, the work proposes a more detailed and precise discussion of the small sample problem and its relation to learning hierarchical features with deep models. This discussion is followed up by a structured view of the field, organizing and discussing the different possible paths towards adapting deep models to limited data settings. Rather than a raw listing, this review work aims to make sense out of the myriad of approaches in the field, grouping methods with similar intent or mechanism of action, in order to guide the development of custom solutions for small-data applications. Second, this study is complemented by an experimental analysis, exploring small data learning with the proposition of original models and mechanisms (previously published as a journal paper). In conclusion, it is possible to apply deep learning to small datasets and obtain good results, if done in a thoughtful fashion. On the data path, one shall try gather more information from additional related data sources if available. On the complexity path, architecture and training methods can be calibrated in order to profit the most from any available domain-specific side-information. Proposals concerning both of these paths get discussed in detail throughout this document. Overall, while there are multiple ways of reducing the complexity of deep learning with small data samples, there is no universal solution. Each method has its own drawbacks and practical difficulties and needs to be tailored specifically to the target perceptual task at hand.
Keywords:
deep learning, image classification, small data learning, convolutional neural networks, transfer learning.
Details in french
Titre :
Apports croisés entre l’apprentissage hierarchique et la modélisation du système visuel: Catégorisation d’images sur des petits corpus de données
Résumé :
Les réseaux neuronaux convolutifs profonds (“deep convolutional neural networks” ou DCNN) ont récemment révolutionné la reconnaissance d’objets à grande échelle, modifiant les pratiques en vision par ordinateur, consistant à définir des caractéristiques représentatives “à la main”, désormais apprises de façon hiérarchique à partir des données, tout en les classifiant. Fort de la progression des performances matérielles, on exploite efficacement des quantités toujours croissantes d’images recueillies en ligne. Mais, dans des domaines spécifiques, comme en santé ou pour certaines applica- tions, les données sont moins abondantes, et les coûts d’étiquetage par des experts sont plus élevés. Cette rareté conduit à la question centrale de cette thèse : Ces domaines à données limitées peuvent-ils bénéficier des avantages des DCNN pour la classification des images ? Ce travail repose sur une étude approfondie de la littérature, divisée en deux parties principales, avant de proposer des modèles et des mécanismes originaux, expérimentés. La première partie couvre la reconnaissance des objets d’un double point de vue. Tout d’abord, la fonction visuelle biologique, est comparée et contrastée avec la structure, la fonction et les capacités des modèles DCNN. Puis, une revue de l’état-de-l’art identifie les principales catégories d’architectures et les innovations dans les DCNN récents. Cette base interdisciplinaire favorise l’identification des mécanismes — biologiquement et artificiellement inspirés — qui améliorent la reconnaissance d’images dans des situations difficiles. Le traitement récurrent en est un exemple clair : peu présent au niveau de la vision profonde, sauf le traitement aux vidéos — en raison du caractère naturellement séquentiel. Mais la biologie montre clairement qu’un tel traitement joue aussi un rôle dans l’affinement de notre perception d’une scène fixe. Ce thème est approfondi à travers une revue de la littérature consacrée aux architectures convolutionnelles récurrentes utilisées en catégorisation d’images. La deuxième partie se concentre sur notre question centrale : l’apprentissage profond sur de petits corpus de données. Tout d’abord, le travail propose une discussion plus précise et détaillée de ce problème et de sa relation avec l’apprentissage hiérarchique des caractéristiques réalisé par des modèles profonds. Cette discussion est suivie d’une revue structurée du domaine, organisant et discutant les différentes voies possibles vers l’adaptation des modèles profonds à des données limitées. Plus qu’une simple liste, ce travail vise à trouver du sens dans la myriade d’approches du domaine, en regroupant les méthodes ayant un objectif ou un mécanisme d’action similaire, pour guider le développement d’application particulières, à petits corpus. Cette étude est complétée par une analyse expérimentale, explorant l’apprentissage de petits jeux de données avec des modèles et mécanismes originaux (précédemment publié comme papier de journal). En conclusion, l’apprentissage profond sur des petits corpus de données peut donner de bons résultats, si cela se fait de manière réfléchie. Au niveau des données, il faut essayer de recueillir plus d’informations à partir de sources de données supplémentaires connexes. Au niveau de la complexité, l’architecture et les méthodes d’entraînement peuvent être calibrées afin de tirer le meilleur parti de toute connaissance spécifique au domaine. Des propositions sont discutées en détail au fil du document. Il existe de multiples façons de réduire la complexité de l’apprentissage profond avec de petits échantillons de données, mais il n’y a pas de solution universelle. Chaque méthode a ses propres inconvénients et difficultés pratiques, devant toujours être adaptée spécifiquement à l’application, c’est-à-dire à la tâche perceptive à accomplir.
Mots-clés :
apprentissage profond, catégorisation d’images, apprentissage sur petit corpus de données, réseaux de neurones convolutifs, apprentissage par transfert.
Short popularized abstracts
Popularized abstract in english
The field of artificial intelligence has made many advances in the last decade, especially with deep learning for image recognition. Despite being biologically inspired, these deep neural networks function in a quite different way from our natural vision. Essentially, it is a mathematical object with numerical parameters that can be adjusted automatically, using large sets of previously labeled images. Only after “seeing” thousands of cats, dogs, cars, trees, people, etc., will the network be able to recognize these elements in new images (without understanding their meaning). Having access to large databases of labeled images is unfortunately not possible in all fields of application. On specific industrial problems or in medical imaging for example, it can be difficult or even impossible to obtain hundreds of different images of the same condition, patient, etc… In addition, image labeling is more expensive since it requires an expert opinion. This motivates the central question of this thesis: How can we take advantage of deep neural networks on small image datasets? This work moves a step towards this answer through an extensive literature review, complemented by an experimental study including the proposition of original models and mechanisms.
Resumé vulgarisé en français
Le domaine de l’intelligence artificielle a connu diverses avancées dans la dernière décennie, en particulier avec le “deep learning” pour la reconnaissance d’images. Malgré une inspiration biologique, ces réseaux neuronaux profonds ont finalement un fonctionnement bien différent de notre vision naturelle. Essentiellement, il s’agit d’un objet mathématique avec des paramètres numériques qu’on peut ajuster de façon automatique, ayant recours à des larges corpus d’images pré-étiquetées. Ce n’est donc qu’après “avoir vu” des milliers de chats, chiens, voitures, arbres, personnes, etc, que le réseau sera capable de reconnaître ces éléments sur des nouvelles images (sans en comprendre le sens). Avoir accès à des grandes bases d’images étiquetées n’est malheureusement pas possible sur tous les domaines d’application. Pour des problématiques industrielles ou en imagerie médicale, par exemple, il peut être difficile voire impossible d’obtenir des centaines d’images variées d’un même problème, patient, etc. De plus, l’étiquetage de ces images est coûteux car il demande un avis expert. C’est là où réside la question centrale de cette thèse : comment peut-on profiter des avantages des réseaux de neurones profonds sur de petits corpus d’images ? Ce travail fait un pas vers cette réponse via une étude bibliographique étendue, complémenté par une étude expérimentale comprenant des propositions de modèles et mécanismes originaux.