Stage : Veille technologique
Exploration de la génération de modèles 3D par intelligence artificielle
Le Défi
À la suite de l'annonce, par Microsoft, d'un nouvel outil de génération de modèles 3D à partir d'images (Trellis V2), j'ai proposé de le tester afin d'évaluer un gain de productivité potentiel pour les projets où la qualité du modèle final n'est pas la priorité absolue. L'installation
directe du projet s'étant révélée trop complexe, j'ai utilisé l'interface ComfyUI, qui permet d'obtenir de très bons résultats avec ce modèle à partir d'une seule image.
Génération a partir de plusieurs images
Dans une tentative d'améliorer les résultats, j'ai fait beaucoup de recherches dans l'utilisation de plusieurs images pour générer un seul modèle. Cependant, les résultats n'ont pas été concluant. En effet, la quantité de VRAM utilisée pour l’exécution de l'outil est proportionnel au nombre d'images utilisées en entrée. De plus, les résultats n'ont pas connu d'amélioration significative, allant jusqu'à des résultat moins qualitatifs dans certains cas.
ComfyUI a permis de grandement faciliter la mise en place d'IA générative locale. Cela m'a permis de me concentrer sur l'optimisation du processus.