Un moteur de recherche pour modèle 3D

de | 2018-09-21

Aujourd’hui, j’ai retrouvé mon tout premier rapport de recherche. Il s’agit de mon Projet d’Initiation à la Recherche de Master 2. C’est un projet important pour moi car il s’agit des prémisses de mon doctorat (la 3D, les fonctions de croyances). Je vais essayer de faire un résumé de ces travaux avec un regard critique.

Le rapport est disponible ici.

Objectif du projet

Dans ce travail, j’ai essayé de reconnaitre des objets 3D. Plus précisément, il s’agissait d’une tâche de  recherche d’objets 3D similaires à un objet requête. Pour simplifier le problème, les objets similaires sont regroupés en classes (par exemple : fourmi, avion, ou encore t-rex). Deux objets peuvent être similaires, c’est-à-dire appartenir à la même classe, tout en étant visuellement différents. Par exemple un avion de tourisme et un A380 seront tous les deux considérés comme similaires.

État de l’art (en 2014)

Il existe plusieurs grandes approches dans la littérature scientifique pour reconnaitre un modèle 3D. Suite à l’état de l’art que j’avais fait en 2014, j’avais isolé 4 grandes catégories :

  • Les approches par caractéristiques. L’objectif est de chercher des caractéristiques afin de comparer 2 modèles 3D sur la base de ces caractéristiques. Ces dernières peuvent être globales (centre de gravité ou variance par exemple) ou locales (comme la courbure autour d’un point saillant).
  • Les approches structurelles qui se basent sur la manière dont les composants du modèles sont liés entre eux (un graphe d’adjacence représentant la distance entre les points reliés entre eux par exemple).
  • Les approches par vues qui nous intéressent ici.
  • Les autres approches (transformées, erreur volumétrique, etc)

Note : si je devais faire une taxonomie pour organiser l’état de l’art aujourd’hui j’éviterai la catégorie « autres approches ». Ça ne me semble pas très pertinent. De plus dans le document, l’état de l’art est un peu léger et il n’y a pas vraiment de point de vue « critique » (les limites actuelles).

Les approches par vues

Les approches par vues sont une façon élégante, imho, de simplifier le problème de la vision 3D. L’idée de base est assez simple : pour reconnaitre un modèle 3D, on peut se baser sur plusieurs « photos » de ce modèle. Le problème devient alors de la reconnaissance d’image 2D. Le principal avantage est la réduction significative de la complexité du problème (3D vers 2D).

Les vues sont des « photos » sous plusieurs angles d’un modèle 3D

Méthode proposée

La méthode proposée pour comparer deux modèles 3D est une approche par vue qui peut être décomposée en 4 étapes :

  1. Les modèles sont normalisés pour être invariant aux translations, aux rotations et aux changements d’échelle (homothéties).
  2. Plusieurs vues sont extraites pour chacun des deux modèles.
  3. Sur chacune des vues on extrait des caractéristiques visuelles représentées sous forme de vecteur, c’est ce que l’on appelle un descripteur. Dans cette étude un HOG a été choisi.
  4. La dernière étape est de définir une métrique pour comparer les 2 modèles 3D via les descripteurs de leurs vues. La distance de Hausdorff a été sélectionnée.

La nouveauté proposée est d’utiliser la théorie des fonctions de croyances (j’en ai déjà parlé ici) à l’étape 4. Chacune des image constituera une source d’information dans ce cadre.

Je ne rentrerai pas plus dans les détails pour des soucis de lisibilité, le rapport est disponible ici.

Spoiler alert : l’utilisation des fonctions de croyances n’a pas amélioré les performance de la méthode proposée.

Conclusion

Avec le recul et l’expérience, j’ai plusieurs reproches à (me) faire :

  • La rédaction du document n’est pas assez clair.
  • L’état de l’art est plutôt une collection de ce qui existe qu’une critique constructive.
  • J’avais choisi d’utiliser 80 vues par modèles. C’est beaucoup trop. A priori 3 vues permettent de voir le modèle en entier. De plus cela va grandement complexifier les calculs avec les masses de croyances, et créer beaucoup de conflit lors de la fusion des masses rendant l’approche peu pertinente.
  • Il aurai fallu tester les différents paramètres de l’expérience indépendamment.

Bref, cette étude est loin d’être parfaite (je dirai même pas glop) mais c’était mon premier projet de recherche. Si elle n’a pas apportée grand chose d’un point de vue scientifique, elle m’a donnée le goût de la recherche.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.