Nommé “cref” pour “character reference”, cette fonctionnalité sur midjourney permet d’utiliser des images comme références de personnage dans votre prompt pour reproduire des images du même personnage dans différentes situations et/ou dans différents styles.

Avant de commencer il faut savoir que:

• les références de personnages fonctionnent mieux lorsque l’on utilise des images générées par Midjourney qui mettent en scène un seul personnage. Il est prévu que la v7 de midjourney puisse permettre de gérer plusieurs personnages persistants. La V6 elle va avoir tendance à mélanger les 2 personnages mais nous verrons qu’il y a des techniques pour palier à ce problème.
• le --cref n’est pas conçu pour être utilisé avec des photographies de personnes réelles, et les déformera. Des détails précis comme des taches de rousseur ou des logos de t-shirt ont très peu de chance d’être copiés.
• le paramètre --cref peut être utilisé avec Midjourney et Niji Version 6, et peut être combiné avec les références de styles: --sref.
• Vous pouvez utiliser plusieurs références de personnages dans un seul prompt, mais ce n’est probablement pas nécessaire. Pour générer plusieurs images de départ d’une même personne, utilisez les termes: split into multiple different view, various angles, different poses…

Le cref en application

Comme toujours nous allons voir tout cela à travers un exemple concret qui permettra de bien comprendre l’étendu des possibilités.

Je commence donc par générer une femme ordinaire sur midjourney.

J’évite les canons de beauté qui sur midjourney ont tendance à un peu toutes se ressembler et qui ne permettent pas vraiment d’apprécier la qualité de la persistance de notre modèle.

Je choisie une expression neutre et une photo de 3/4 qui permet déjà à l’IA de mieux appréhender aussi bien son profil que la vue de face (cela m’évite d’avoir à mettre plusieurs images en cref).

Je vais pouvoir ensuite grace au cref omettre de préciser une bonne partie des caractéristiques physique de notre femme qui seront infusées par notre image de référence.

Il sera important de préciser ces caractéristiques lorsque vous baissez le character weight (le poids du personnage ou --cw), ce paramètre (qui par défaut est à son maximum à 100) va permettre en le baissant de changer ses habits, sa coiffure, sa posture, etc. Plus ce poids est bas plus midjourney ne va garder que le visage de notre modèle de référence.

Les différentes méthodes pour procéder:

• Sur le site web: la fonction “Use” en bas à droite va vous permettre d’intégrer l’image dans le prompt (en tant qu’image ou style) il suffit ensuite de sélectionner l’icone correspondant au cref dans la miniature de notre image en dessous de la barre “imagine” (là où on écrit le prompt). Vous pouvez aussi uploader l’image en cliquant sur l’icone qui se situe au début de la barre de prompt.
  Le cadenas à droite permet de verrouiller vos images de référence.
• Sur discord: envoyer ou utilisez l’image que vous avez générée, faites un clic droit sur celle-ci puis “copier le lien” (et pas “copier l’image”) ensuite ajouter à la fin de votre prompt --cref suivie de l’url de votre image (ou de vos images --cref url1 url2 url3). Cette méthode fonctionne aussi dans la barre imagine du site web.

💡 Lorsque vous copiez un lien qui est de base très long, midjourney le raccourcira ensuite, au moment de la génération, en un lien beaucoup plus court et plus simple à réutiliser

prompt –cref https://s.mj.run/jqxS7zJ1wjs –cw 30 –ar 4:5

💡 Vous pouvez utiliser le cadenas à droite de la barre de prompt pour verrouiller les images de ref que vous injecter.

Je vais aussi pouvoir changer complètement de style tout en gardant mon athlète. Les images de la footballeuse, de la basketteuse et de la joueuse de tennis sont obtenues avec des prompts partagés par Pierrick Chevalier qui se prête bien à notre thème. Le cref marche bien entendu aussi sur NiJi 6 (dernière image).

💡 Vous pouvez aussi combiner le --cref avec un style de référence (--sref)

Gérer plusieurs Personnages de Références

Maintenant voyons comment nous pouvons contourner la contrainte du character reference de ne se limiter qu’à un seul personnage.

Il va s’agir de rajouter un --cref dans une partie de l’image, que ce soit avec la fonction de panoramique (ou reframe sur le site), en zoom out, ou en in-painting (vary region sur discord, et repaint sur le site).

Si vous souhaitez élargir l’image pour rajouter votre 2ème personnage je vous recommande de passer sur le site web de midjourney, qui permet désormais d’obtenir une image plus large qu’avec le pan  ◀️ ▶️  de discord et qui permettra donc au bot d’avoir la place nécessaire pour ajouter votre deuxième personne. De plus le remix mode a été intégré à l’interface web et vous permet par conséquent de reprompter la nouvelle partie de l’image qui va être générée et donc d’y ajouter le 2ème cref.

Cependant cela ne marche pas toujours et il faut parfois batailler pour obtenir ce que l’on souhaite. Midjourney est parfois capable de sortir des images complètement aberrantes avec ce genre de méthodes, donc bonne chance!

La meilleure technique et la plus sure est à mon sens de générer directement une image de 2 personnages faite à partir du cref d’un seul personnage, les 2 protagonistes seront physiquement identiques mais seront parfaitement intégrer et en interaction cohérente l’un avec l’autre. Il suffira ensuite de faire un vary region (ou repaint) sur un des deux personnages pour injecter notre 2ème cref.

Je génère une image avec 2 athlètes et uniquement le --cref de ma première protagoniste, j’obtiens une photo où elle se bat contre elle même, puis j’édite la partie que je veux remplacer par la deuxième femme que j’ai créé.

Il existe une multitude de « bidouillages » pour arriver à ses fins en fonction des différentes situations, si vous galérez à obtenir ce que vous souhaitez, venez sur discord afin que nous puissions vous aider.

Conclusion

Pour conclure, bien que cette fonctionnalité ait été énormément demandée, et qu’on peut réussir à faire beaucoup de choses avec, elle est à mon sens pas encore tout à fait aboutie.

Si vous souhaitez générer un personnage persistant, je vous recommande de faire d’abord beaucoup de test au début de votre projet, pour bien mettre en place votre cref de départ et évitez d’en changer par la suite. Je trouve que les images générées ne sont pas toujours parfaitement fidèle avec la ref d’origine mais par contre on a quand même un certaine consistance ensuite entre toutes les images qu’on génère à partir d’un même cref (ce qui est déjà pas si mal).

Si vous voulez aller plus loin, il faudra se tourner vers d’autres solutions, et je vous conseille de tester rendernet.ai qui est à l’heure actuelle le meilleur outil en la matière, rien n’empèche cependant d’utiliser midjourney en parallèle, les différents outils étant souvent complémentaires.

Cet article a été publié dans le magazine LHC du mois d’aout sur le thème des Jeux Olympiques de Paris. N’hésitez pas à aller découvrir ce magnifique magazine consacré à l’IA, il est disponible en Français, en Anglais et en Espagnol. Bonne lecture