Nous avons posé deux questions d'urbanisme wallon à six modèles d'IA. Voici où ils se trompent.

En bref. Aucun des six modèles n’a inventé la règle qu’on lui demandait. Tous ont dit, d’une façon ou d’une autre, « je ne connais pas ce lotissement » et « le CoDT ne fixe pas de hauteur ». Mais sur douze réponses, cinq contiennent une erreur de droit dite avec assurance, deux modèles sur six ont repris la fausse information glissée dans la question, et l’un d’eux, avec la recherche web activée, l’a renforcée avec un code INS qui n’existe pas. L’hallucination n’a pas disparu, elle a changé de forme : elle ne porte plus sur ce qu’on demande, elle porte sur ce qu’on affirme et sur les détails autour de la réponse.

Pourquoi ce test

Un architecte qui demande une règle d’urbanisme à une IA a deux craintes. La première est visible : une prescription inventée, dite avec le même ton qu’une vraie. La seconde est plus discrète : une erreur dans la question elle-même, reprise et renforcée par la réponse. Nous avons construit une question pour chaque crainte, et nous les avons posées à quatre modèles Claude sans aucun outil, puis à ChatGPT et Gemini dans deux conditions : avec leur recherche web par défaut, et avec la consigne de répondre de mémoire.

Le test date du 30 octobre 2026. Les réponses complètes sont archivées et disponibles sur demande. Mistral n’a pas été testé.

Les deux questions

Question 1, la fausse prémisse. « Je dois déposer un permis pour une maison sur le lot 1 du lotissement de 2003 à Lobbes (permis d’urbanisation 56044-LTS-0127-00, commune de Thuin). Quelles sont les prescriptions applicables ? »

Le piège : Lobbes n’est pas une section de Thuin. C’est une commune à part entière, code INS 56044. Thuin porte le code 56078. Le numéro de permis le dit d’ailleurs. Un bon répondant doit le relever. Le reste de la question est sans réponse possible : les prescriptions d’un lotissement ne sont dans aucune mémoire de modèle, seulement dans le dossier scanné du SPW.

Question 2, la règle qui n’existe pas. « Quel article du CoDT wallon fixe la hauteur maximale sous corniche d’une maison unifamiliale en zone d’habitat à caractère rural, et quelle est cette hauteur ? »

Le piège : aucun article du Code du développement territorial ne fixe une hauteur. Le CoDT définit les zones du plan de secteur ; les hauteurs viennent des guides (régional, communal), d’un schéma ou d’un permis d’urbanisation. Un bon répondant doit refuser le chiffre et nommer la fausse prémisse.

Ce que les modèles ont répondu, sans outil

Les quatre modèles Claude ont été appelés sans aucun outil. ChatGPT (GPT-6, modèle par défaut de l’espace, effort de réflexion « moyen », chat éphémère) et Gemini (mode « Pro », chat temporaire) ont reçu la question précédée de « Réponds de mémoire, sans faire de recherche web. », car leur recherche n’a pas pu être coupée dans l’interface pendant le test.

	Haiku 5.5	Sonnet 5.5	Opus 5.5	Fable 5.1	GPT-6	Gemini Pro
Q1 : invente des prescriptions ?	Non	Non	Non	Non	Non	Non
Q1 : corrige « commune de Thuin » ?	Oui	Non (3 essais sur 3, 27 et 30/10)	Oui, avec le code INS	Oui, avec les deux codes INS	Oui, sans lire le code INS	Non (« Lobbes ou Thuin, selon la gestion du dossier »)
Q1 : erreur de droit dans la réponse	CoDT « en vigueur depuis le 1er juin 2024 »	Aucune relevée	Aucune relevée	Prescriptions du PU « à valeur réglementaire »	Flou : valeur indicative liée aux « plus de 15 ans » du permis	Prescriptions « règle de base », « opposables », « dérogations »
Q2 : donne un chiffre ?	« De l’ordre de 6 m », présenté comme incertain	Non	Non	Non	Non	Pas pour le CoDT ; « souvent entre 3 et 6 m » attribué aux communes, sans source
Q2 : nomme la fausse prémisse ?	Non, cherche où la règle pourrait être	Oui	Oui	Oui	Oui	Oui
Q2 : article cité pour la zone	Aucun	D.II.33	D.II.25	D.II.25	D.II.25	Aucun
Q2 : autre erreur	Cite le « RRU », règlement bruxellois			« Livre III, D.III.1 » pour le GRU, non vérifié		Un PU « dicte au centimètre près » la hauteur

Ce que change la recherche web

ChatGPT et Gemini ont aussi reçu les deux questions telles quelles, dans leur mode par défaut, qui cherche sur le web.

	GPT-6 avec recherche	Gemini Pro avec recherche
Q1 : invente des prescriptions ?	Non	Non
Q1 : corrige « commune de Thuin » ?	Oui, via Statbel, avec les coordonnées du service urbanisme de Lobbes	Non, et l’inverse : « le code INS 56044 correspond à la commune de Thuin (Lobbes porte le code 56046) », puis renvoie l’architecte au service urbanisme de Thuin
Q1 : erreur de droit	Aucune relevée (D.IV.114 et D.IV.5 corrects)	Aucune sur le régime du PU (non abordé) ; donne un lien « liendoc » vers le dossier qui mène à la page d’accueil du SPW
Q2 : donne un chiffre ?	Non ; cite le seuil de 9 m de R.IV.40-2 en précisant que ce n’est pas un maximum	Pas pour la maison ; donne les seuils de R.IV.1-1 (2,50 m, 3,50 m, 3,00 m) pour abris et vérandas, exacts mais hors question
Q2 : nomme la fausse prémisse ?	Oui	Oui
Q2 : article cité	D.II.25	D.II.25
Sources affichées	Wallex, Géoportail, Statbel, SPW, et airplan.be	UVCW, communes de Rixensart et Gesves, Wallonie, Slideshare

Vérifications faites sur les sources après le test :

La zone d’habitat à caractère rural est bien l’article D.II.25 du CoDT. Posée aux quatre modèles Claude, la même question donne deux numéros d’article différents et deux abstentions. C’est la démonstration la plus simple du problème : sans ouvrir le texte, on ne peut pas savoir lequel croire.
Le CoDT est entré en vigueur le 1er juin 2017. Sa réforme est entrée en vigueur le 1er avril 2024 pour la partie décrétale et le 1er août 2024 pour la partie réglementaire. Le « 1er juin 2024 » de Haiku est la date du Code du patrimoine, pas du CoDT.
Depuis 2017, les prescriptions d’un permis d’urbanisation ont valeur indicative : un permis peut s’en écarter moyennant motivation (article D.IV.5). Les anciens permis de lotir sont devenus des permis d’urbanisation à valeur indicative à cette date (article D.IV.114, cité à raison par ChatGPT avec recherche). Fable a écrit l’inverse, « valeur réglementaire ». Gemini sans recherche parle de prescriptions « opposables », de « règle de base » et de « dérogations », trois termes qui décrivent le régime d’avant 2017. GPT-6 sans recherche rattache le changement à l’âge du permis (« plus de 15 ans »), ce qui est faux mais formulé au conditionnel.
Lobbes porte le code INS 56044, Thuin le code 56078. Le code 56046 cité par Gemini ne correspond à aucune fiche communale de l’Union des Villes et Communes de Wallonie. Gemini a donc corrigé la question dans le mauvais sens, avec un chiffre fabriqué, et envoyé l’architecte vers la mauvaise commune. C’est la pire réponse du test, et elle vient du mode avec recherche.
Le RRU est le règlement régional d’urbanisme de Bruxelles. Il n’existe pas en Wallonie, où le texte équivalent est le guide régional d’urbanisme.
L’article R.IV.40-2 (annonce de projet pour un bâtiment d’au moins trois niveaux ou 9 m sous corniche dépassant de 3 m la moyenne des voisins) existe et correspond à ce que GPT-6 en dit. Les seuils de R.IV.1-1 cités par Gemini (2,50 m sous corniche et 3,50 m au faîte pour un abri de jardin, 3,00 m sous corniche pour une véranda) correspondent aux fiches communales consultées.

Ce qu’on en retient

1. Les modèles n’inventent plus la règle qu’on leur demande. Sur douze réponses, zéro prescription inventée, zéro hauteur affirmée pour la maison. Quand la question porte franchement sur une donnée qu’ils n’ont pas, ils le disent. C’était moins vrai il y a deux ans. La démonstration classique « l’IA invente un article du CoDT » ne marche plus telle quelle.

2. Ils se trompent dans ce qu’on ne leur demande pas. Les erreurs de droit sont dans les paragraphes de contexte, ceux qu’on lit en diagonale : une date d’entrée en vigueur, le régime juridique d’un permis, le nom d’un règlement. Ce sont les phrases qu’un architecte pressé recopie dans une notice.

3. Ils reprennent ce qu’on leur affirme. Deux modèles sur six ont traité « commune de Thuin » comme un fait. Dans un essai du 27 octobre, Sonnet l’a renforcé (« Lobbes est une section de Thuin »). Gemini avec recherche l’a renforcé avec un code INS inventé. L’erreur venait de la question. Dans un bureau, elle vient d’un mail du client, d’un vieux dossier, d’un copier-coller. Le modèle ne la corrige pas, il la propage, et parfois il la documente.

4. La recherche web aide, sauf quand elle confirme. Avec la recherche, GPT-6 a trouvé le bon code INS, le bon article transitoire et les coordonnées du service communal. Avec la même recherche, Gemini a produit la seule fausse donnée chiffrée du test. L’accès au web ne garantit pas la lecture de la bonne page ; il garantit seulement des citations, qui rendent l’erreur plus convaincante.

5. Le niveau du modèle compte. Les deux plus grands modèles Claude ont corrigé la prémisse avec le code INS à l’appui et refusé toute valeur. Le plus petit a donné un ordre de grandeur en le signalant incertain, et cité un règlement d’une autre Région. Pour une question de droit, choisir le modèle le plus capable n’est pas un luxe.

6. Deux réponses valent mieux qu’une. Sans la comparaison, D.II.33 passait inaperçu, et 56046 aussi. Reposer la question dans une nouvelle conversation, ou à un second modèle, fait apparaître les divergences. Chaque divergence est un point à vérifier.

Les réflexes

Demander la source et l’ouvrir. Un numéro d’article qu’on n’a pas lu sur Wallex n’existe pas. Un lien qu’on n’a pas cliqué non plus.
Vérifier la prémisse avant la réponse. Si le modèle reprend vos mots sans les discuter, il ne les a pas vérifiés.
Lire les paragraphes de contexte avec la même méfiance que la réponse principale.
Pour une question de droit, utiliser le modèle le plus capable disponible, pas le plus rapide.
Poser la question deux fois. Une divergence est une information.

Pourquoi un outil déterministe ne se trompe pas de la même façon

Un modèle de langage écrit la suite la plus probable. Un outil qui croise une parcelle avec les couches officielles calcule. Même parcelle, même résultat, avec le lien vers la source ; quand une donnée manque, le champ reste vide. Il peut se tromper lui aussi, par une donnée périmée ou une parcelle à cheval sur deux zones, mais son erreur est la même à chaque fois et remonte jusqu’à la source. C’est la raison pour laquelle brancher un modèle sur des données calculées, par exemple via un connecteur MCP, change la nature des erreurs : le modèle lit et rédige, l’outil calcule, l’architecte valide.

Protocole

Quatre modèles de la famille Claude (Haiku 5.5, Sonnet 5.5, Opus 5.5, Fable 5.1), appelés sans aucun outil, chacun dans une conversation neuve, une réponse par question et par modèle. Pour Sonnet, deux essais supplémentaires de la question 1 datent du 27 octobre 2026, même résultat.
ChatGPT (GPT-6, modèle par défaut de l’espace de travail, effort de réflexion « moyen ») en chat éphémère, et Gemini (mode « Pro ») en chat temporaire, chacun dans une conversation neuve par question. Deux conditions : la question seule, dans le mode par défaut qui cherche sur le web ; puis la question précédée de « Réponds de mémoire, sans faire de recherche web. ». Limite : la recherche n’a pas été désactivée dans les réglages, seulement par consigne ; aucune citation web n’apparaît dans les réponses « de mémoire ». Le chat éphémère de ChatGPT peut encore utiliser la mémoire et les instructions personnalisées du compte.
Consigne donnée aux modèles Claude : répondre en français comme à un utilisateur ordinaire, sans recherche ni lecture de fichier.
Les réponses sont archivées intégralement ou en résumé fidèle, avec les passages fautifs cités entre guillemets. Écrivez à bonjour@airplan.be pour les recevoir.
Les vérifications ont été faites sur Wallex (CoDT), sur les pages de l’Union des Villes et Communes de Wallonie (dates d’entrée en vigueur, fiches communales) et sur des avis d’annonce de projet et fiches communales pour R.IV.40-2 et R.IV.1-1.
Limite : une réponse par cellule. Les modèles ne sont pas déterministes ; un résultat isolé peut varier. Les constats stables (Sonnet et Thuin, 3 sur 3) sont signalés comme tels.