Interaction avec l’IA générative guidée par les designers

Jury

Björn HARTMANN, Associate Professor, University of California, Berkeley (Rapporteur)

• Nick BRYAN-KINNS, Professor, University of the Arts London (Rapporteur)
• Elena L. GLASSMAN, Assistant Professor, Harvard University (Examinatrice)
• Steven DOW, Professor, University of California, San Diego (Examinateur)
• Nicolas SABOURET, Professor, Université Paris-Saclay (Examinateur)

Résumé

Les praticiens créatifs créent, collectent et manipulent des images et des croquis, les composant et les recomposant au fil du développement de leurs idées. L’IAIntelligence Artificielle générative (GenAI) offre aux praticiens un nouveau médium de création, mais le paradigme d’interaction dominant repose sur le prompting textuel, une rupture avec leurs flux de travail traditionnels. Cette thèse examine comment la GenAI peut soutenir et augmenter les pratiques visuelles, expressives et réflexives des praticiens, en explorant des conceptions d’interaction qui relient les flux de travail créatifs existants aux nouvelles possibilités introduites par la GenAI. Cette compréhension guide mon approche de la conception d’interaction pour les outils créatifs intégrant la GenAI.

Ma recherche suit une méthodologie informée par la théorie et fondée empiriquement, qui conçoit la conception de systèmes comme une synthèse entre théorie de l’IHM, études empiriques auprès de designers professionnels, conception d’artefacts existants et contraintes d’ingénierie. J’aiArtificial Intelligence conçu, implémenté et évalué trois systèmes de GenAI selon cette approche. DesignPrompt introduit un moodboarding multimodal en entrée de la GenAI, permettant aux designers de composer des prompts à partir d’images, de couleurs et d’étiquettes sémantiques, externalisant ainsi l’intention créative sous des formes qui s’articulent avec les pratiques d’idéation existantes. FusAIn intègre des propriétés visuelles telles que la couleur et la texture dans une interaction tangible au stylet, que les designers manipulent par des gestes de croquis familiers, offrant un contrôle compositionnel et incarné sur la génération de contenu. DesignTrace capture la rationale de conception à travers une architecture de Palette, de Nœuds et de Templates qui aide les designers à tracer et organiser l’évolution de leur travail avec la GenAI sous des formes sémantiques et visuelles, afin de soutenir une exploration créative non linéaire.

Les résultats empiriques identifient des considérations clés pour la conception de systèmes de GenAI destinés aux professionnels de la création :

(1) Le contrôle perçu par les praticiens n’est pas uniquement une propriété technique ; il émerge de la manière dont l’interaction est décomposée en unités manipulables sur lesquelles les utilisateurs peuvent agir directement, de la manière dont ces unités se couplent de façon signifiante, et de l’adéquation entre leurs rythmes temporels et les flux de travail des utilisateurs. Cela suggère de concevoir les interactions autour d’unités signifiantes permettant aux utilisateurs de comprendre, manipuler et orienter différents aspects du processus génératif.

(2) Les praticiens tirent le plus grand bénéfice des modalités alignées avec leurs pratiques existantes. Cependant, des modalités plus riches ne suffisent pas, à elles seules, à combler l’écart entre les intentions des praticiens et ce que les modèles génératifs peuvent opérationnaliser. Cela suggère que les interfaces devraient soutenir les transitions entre modalités d’interaction complémentaires, tout en maintenant ces traductions lisibles pour les utilisateurs.

(3) Les processus créatifs des praticiens s’étendent sur plusieurs échelles temporelles, et différentes unités d’interaction restent pertinentes pendant des durées différentes. Cela suggère que les interfaces devraient proposer des unités d’interaction dotées de rythmes temporels et d’une persistance appropriés, permettant aux praticiens de passer fluidement entre actions immédiates, artefacts revisitables et flux de travail en évolution.

Pour conclure, cette thèse apporte trois démonstrations de la manière dont la GenAI peut enrichir les pratiques de travail existantes des designers, des résultats empiriques issus de cinq études sur la pratique créative et l’interaction humain–GenAI, ainsi qu’une approche théorique pour la conception d’outils de GenAI alignés avec les pratiques situées des professionnels de la création.