Étude de marché avec ChatGPT : ce qu'un chatbot ne mesure pas
Demander une étude de marché à ChatGPT est devenu le premier réflexe, et c'est un bon réflexe pour écrire. Ce n'est pas une mesure : vous obtenez un avis argumenté, pas les réponses d'une population. La différence ne tient pas au modèle employé, elle tient à la méthode, et c'est elle qui décide de ce que vous pouvez faire du résultat.
Ce qu'un chatbot fait très bien
- Écrire le questionnaire. Reformuler une question mal posée, proposer une échelle, repérer une formulation orientée : c'est le poste où il fait gagner le plus de temps, et aucun outil de sondage ne le remplace.
- Documenter le marché. Une recherche approfondie rassemble des sources publiques et rend un rapport avec ses références : pour un panorama, un état des acteurs et des chiffres publics, c'est plus rapide que nous.
- Explorer des angles. Trouver les objections auxquelles personne n'a pensé, sur n'importe quel sujet, sans compte à créer chez un tiers.
Sur ces trois points, un chatbot est plus rapide et moins contraignant qu'un panel. Nous ne cherchons pas à le remplacer : nous ne sommes pas un assistant, et la question que nous traitons commence là où celle du chatbot s'arrête.
Ce que vous obtenez quand vous demandez une étude de marché à un chatbot
Vous obtenez une réponse rédigée. Si vous lui demandez de jouer vingt profils, il vous rendra vingt paragraphes, souvent crédibles : c'est ce qui rend la confusion fréquente, et c'est ce qui la rend coûteuse. Ces vingt profils ne sont pas tirés d'une population. Ils viennent de votre demande, le nombre est celui que vous avez demandé au modèle de jouer, et le tableau de réponses qui en sort est rédigé par le modèle.
La conséquence est simple à énoncer et difficile à voir à l'usage : quand vous comptez ces réponses, vous mesurez le modèle, pas un public. Une phrase du genre 60 % de vos clients accepteraient cette hausse ne décrit alors aucune population, et rien ne permet de savoir de combien elle s'écarte de la réalité.
Deux façons de répondre à la même question
Les deux colonnes ci-dessous décrivent deux approches, pas deux produits : ce sont les étapes par lesquelles passe une réponse, et chacune décide de ce que vous pouvez en faire.
| L'étape | Poser la question à un chatbot | Interroger un panel de profils |
|---|---|---|
| Qui répond | le modèle, dans le rôle des profils que vous décrivez dans votre demande | des profils tirés d'une population d'un million de personnes, calée sur les marges du recensement INSEE, dont les comportements sont ancrés dans des données extérieures au modèle |
| Combien de répondants | le nombre que vous demandez au modèle de jouer : demander quatre mille avis ne crée pas quatre mille répondants distincts | vous le choisissez aussi, au curseur et palier par palier, dans la limite de votre formule (25 profils sur le plan gratuit, 5 000 sur l'offre entreprise), et le tirage se restreint par catégories de répondants : âge et sexe dès l'offre Pro, tous les critères sur l'offre Entreprise (catégorie socioprofessionnelle, type de ménage, densité de la commune) |
| D'où viennent les faits | des données d'entraînement du modèle, ramenées à un sens commun, sans lien avec la population que vous interrogez | des données diversifiées, choisies pour correspondre à la population interrogée : plus de 30 sources nommées et une matrice de comportements par segment, hors du modèle |
| Ce qui vous revient | une réponse rédigée, à relire | une réponse par profil et par question, conservée |
| Ce qui se recompte | rien : le tableau de réponses est rédigé, le compter mesure le modèle | tout : le chiffre se recompte depuis les réponses enregistrées |
| Refaire le test demain | le modèle servi change au fil des versions, et rien n'ancre la réponse dans une donnée fixe | le modèle peut changer aussi : ce qui ne bouge pas, c'est l'ancrage dans les données, et c'est lui qui compte (même population, mêmes faits, même graine, même distribution) |
| Ce que ça vaut pour décider | un avis argumenté, utile pour cadrer une question | une distribution, avec l'écart mesuré face à des enquêtes humaines nommées |
| Ce que ça ne dit pas | aucune estimation de population | pas un achat : une intention déclarée |
Ce qui sépare les deux colonnes n'est pas la marque du modèle, c'est la donnée. Nos profils sont construits sur des données diversifiées, choisies pour correspondre à la population proposée : les marges du recensement pour la structure, plus de trente sources nommées pour les comportements, et cette correspondance est vérifiable. Un chatbot n'a ni population ni correspondance : il n'a que ce qu'il a lu, ramené à un sens commun, et il ne publie pas de limites, répondant avec la même assurance là où il est fiable et là où il ne l'est pas. La vérification tient en un geste : posez la même question deux fois, et regardez si le jeu de profils est le même.
Pourquoi un modèle laissé à lui-même se trompe de trois façons
Ce ne sont pas des défauts propres à un produit : c'est ce que produisent des modèles de langage quand ils répondent sans cadre. Nous les avons mesurés sur nos propres sorties avant de les corriger, et nous publions les chiffres.
- L'aplatissement. Les réponses convergent vers le mode, et les positions extrêmes, qui portent l'information utile, s'effacent.
- La complaisance. Environ 28 points d'erreur moyenne sur les questions de perception générale : le modèle acquiesce.
- La sous-dispersion. Les répondants simulés sont trop d'accord entre eux. Nous mesurons un rapport de 0,24 à 0,79 contre les humains quand aucune variable du profil n'est ancrée, contre 0,90 à 1,14 quand elle l'est.
Ce sont ces trois défauts que la construction d'une population corrige, et le détail des protocoles, y compris les domaines où la convergence décroche, est sur fiabilité des personas.
Questions fréquentes
Peut-on faire une étude de marché avec ChatGPT ?
Oui pour la partie qui s'écrit et se documente : comprendre un marché, lister les acteurs, écrire un questionnaire, préparer un guide d'entretien. Non pour la partie qui se mesure : la réponse que vous obtenez est un texte, et rien ne fixe la population dont elle parlerait.
Un chatbot peut-il simuler un panel ?
Il peut jouer des profils que vous décrivez, et le faire de façon convaincante. Ce n'est pas un panel : les profils ne sont tirés d'aucune population définie, et rien ne les ancre dans le réel. Un panel suppose une population qui existe avant la question, des répondants dont les traits correspondent à des personnes réelles, et des données diversifiées qui rendent cette correspondance vérifiable.
Quelle différence entre un chatbot et un panel de profils synthétiques ?
La donnée, et sa correspondance avec la population réelle. Un panel est tiré d'une population définie, structuré sur les marges du recensement, et ses comportements viennent de plus de 30 sources nommées : chaque répondant correspond à un profil, et chaque profil à une catégorie réelle. Un chatbot qui joue vingt profils ne fait correspondre personne à personne, et ses réponses ne s'ancrent dans aucune donnée vérifiable.
Les conversations avec ChatGPT servent-elles à entraîner le modèle ?
Oui, par défaut, côté ChatGPT : sa page d'accueil annonce que les conversations peuvent être relues et utilisées pour améliorer les modèles, avec un réglage pour s'y opposer. Chez nous, c'est l'inverse et ce n'est pas un réglage à retrouver dans un menu : vos questions, vos sondages et vos résultats ne servent pas à entraîner nos modèles. Les destinataires et les durées de conservation sont dans la politique de confidentialité : douze mois au maximum après la suppression du compte.
Vous voulez tester la différence ?
Posez la même question à un panel de profils calés sur le recensement, et regardez la distribution plutôt que la réponse. Le plan gratuit permet 5 sondages par mois, jusqu'à 25 profils par sondage.
Interroger un panel synthétique
À lire aussi : Étude de marché par IA · Fiabilité des personas · Focus group : combien de personnes · Les grands modèles peuvent-ils prédire le comportement humain · La méthode derrière nos personas
ChatGPT est une marque d'OpenAI, citée ici comme l'exemple le plus courant d'assistant conversationnel. Cette page n'est ni éditée ni approuvée par OpenAI. Les faits relevés côté ChatGPT l'ont été le 10 novembre 2026 sur ses pages publiques ; ils peuvent changer depuis.