Partir d'une image pour poser une question à ChatGPT

Bonjour,

Un de mes clients Benoît Lacomme m’a partagé un outil gratuit qui permet de faire ce que ChatGPT a promis de proposer (mais n’a pas encore sorti) à savoir uploader une photo et ensuite pouvoir poser une question à ChatGPT.

Dans la vidéo de démo de ChatGPT, ils parlaient de la possibilité de prendre une photo de son frigo et demander de créer des recettes pour toute la semaine à partir de ces ingrédients.

Ou encore de faire un brouillon de site dessiné à la main pour ensuite obtenir le code pour donner vie à ce site.

Ce n’est pas encore parfait mais un projet open source permet déjà de le faire. Il s’appelle MiniGPT (cliquez sur Demo pour obtenir l’interface).