5.1 - Qu’est-ce que l’exactitude ?. IFREMER des habitats marins

5 - Jusqu’à quel point une carte est-elle bonne ? 267 mieux juger une carte. La carte s’avère-t-elle utile ? Les prédictions qu’elle donne de la répartition des habitats sont-elles suffisamment correctes par rapport à la finalité de la

carte ? La dernière section de ce chapitre aborde brièvement ces questions.

5.1 - Qu’est-ce que l’exactitude ?

Dans le domaine de la cartographie des habitats, l’exactitude est une mesure de la valeur

prédictive d’une carte, c’est-à-dire de sa capacité à représenter le monde tel qu’il est dans la réalité. L’erreur est une mesure de l’inexactitude, c’est-à-dire de l’écart entre la carte et la réalité. L’exactitude et l’erreur se mesurent de manière mathématique à partir des succès et échecs, autrement dit des prédictions correctes et erronées de la carte. Il est à noter que cette définition de l’exactitude met l’accent sur la prédiction d’une classe d’habitat en un point (d’une carte au trait) ou en un pixel (d’une carte maillée). En d’autres termes, l’exactitude a deux aspects – la bonne classe au bon endroit. Cette notion est souvent désignée par le terme exactitude classificatoire (les données du point X sont-elles positionnement. Par exemple, les frontières entre habitats adjacents sont-elles situées au bon endroit ? Autrement dit, un changement d’habitat prédit par la carte correspond-il à la frontière entre les deux habitats dans la réalité ?

L’exactitude est l’un des critères possibles d’évaluation de la fiabilité d’une carte.

Cependant, une mesure mathématique stricte de l’exactitude peut être trompeuse, en particulier lorsque l’on compare deux ou plusieurs cartes. Par exemple, une carte peut classer les habitats d’un territoire en habitats rocheux ou sableux et représenter ces deux

classes avec un degré très élevé d’exactitude. Une autre carte peut représenter ces mêmes habitats comme une mosaïque de plusieurs types différents d’habitats rocheux ou sableux. La seconde carte risque d’être beaucoup moins exacte, mais contient davantage d’information utile qui permet un certain degré d’erreur. Ce dernier point est important, car il souligne l’intervention du jugement de l’utilisateur pour laisser place à une certaine inexactitude. Un utilisateur peut donc avoir davantage confiance en l’information contenue dans la seconde carte, qui est pourtant moins exacte. Le problème vient du fait que, même si de nombreuses mesures d’exactitude sont mathématiquement fondées, elles laissent de côté la question centrale de la confiance qu’inspire une carte. Une même mesure appliquée à différentes cartes risque de donner une impression erronée de leur degré relatif de « succès ».

En fait, il y a souvent un compromis entre contenu en information et exactitude d’une

carte : une carte qui montre un grand nombre de classes sur un thème particulier contient plus d’information qu’une carte qui ne représente qu’un petit nombre de classes ; par contre, le degré d’inexactitude quant à la prédiction de la répartition des habitats risque d’être plus élevé si le nombre de classes est grand.

268 5 - Jusqu’à quel point une carte est-elle bonne ?

Schéma de l’importance relative de la généralisation et des détails en fonction de l’échelle d’une carte

Echelle de fine à globale

5.1.1 - Qu’entend-on par exactitude et inexactitude ?

Il est intéressant de suivre les étapes de la production d’une carte pour voir l’origine des

éléments d’exactitude ou d’inexactitude, car cela met en lumière certains principes importants en matière de cartographie et d’exactitude, qui éclaireront les notions présentées plus loin.

1

ère

étape : déduction des relations entre les données de terrain et les données de télédétection. Comme ces relations ne sont pas parfaites, les tendances générales qu’elles indiquent sont susceptibles de variations appelées souvent à tort « marge d’erreur ».

2 e

étape : application des relations ci-dessus à l’ensemble des données de télédétection.

Cette étape et la précédente sont nécessaires, parce que seule une très petite proportion du territoire est échantillonnée et que la carte d’habitats repose en fait sur ces relations.

Par contre, à cause de la variabilité de ces relations, il y aura forcément des écarts entre les prédictions et la réalité.

3 e

étape : mesure de l’« erreur » correspondant à la magnitude des variations par rapport

à la tendance. Si cette magnitude est mesurée à l’aide des données de terrain, l’exactitude est dite interne.

4 e

étape : Si cette même magnitude est mesurée à l’aide de données de validation externes indépendantes du processus de modélisation, l’exactitude est dite externe.

5 - Jusqu’à quel point une carte est-elle bonne ? 269

Variations et erreur

Si les valeurs prédites appartiennent à des grandeurs continues (telles que le contenu en silt par rapport à la profondeur), les écarts entre les prédictions et la réalité sont perçus comme des variations. Par contre, les prédictions d’une carte d’habitats portent sur des catégories. Malheureusement, les variations correspondent alors à des classes différentes des prédictions et sont facilement perçues comme des « erreurs ». Qu’entendon par une prédiction correcte (ou erronée) dans le cas d’une carte qui porte sur des catégories ? Examinons deux notions liées aux relations entre les prédictions et la réalité : la fidélité et l’exclusivité.

Fidélité

Un type d’habitat est-il présent uniquement dans certaines conditions environnementales bien précises (autrement dit, est-il fidèle à ces conditions ?) ou s’il peut être présent ailleurs ? Évidemment, plus il y a de variations entre les prédictions et la réalité, moins la relation entre les prédictions et la réalité est fidèle.

Exclusivité

Le type d’habitat prédit est-il le seul présent (autrement dit, la relation entre l’habitat et les conditions du milieu est-elle exclusive ?) ou d’autres types d’habitats peuvent-ils aussi

être présents dans les mêmes conditions ? On oublie souvent l’exclusivité lorsque l’on déduit une relation entre un habitat et un paramètre environnemental dont il dépend.

Cette relation peut être très forte, mais être également valable pour un autre type d’habitat, de sorte qu’il pourrait être difficile de faire la distinction entre les deux types d’habitats.

Valeur prédictive

Qu’entend-on par valeur prédictive ? À strictement parler, cela consiste à considérer une

carte comme un ensemble d’hypothèses sur ce qui sera présent à chaque endroit. Plus les prédictions d’une carte sont conformes à la réalité, plus grande est sa valeur

prédictive. Évidemment, si la corrélation entre un type d’habitat et les conditions du milieu est faible, la valeur explicative d’un test statistique (c’est-à-dire sa capacité à expliquer les tendances observées à l’intérieur des données) est médiocre. Par contre, ce n’est pas parce qu’un test statistique a une grande valeur explicative (autrement dit, qu’il y a une forte corrélation entre une variable explicative, par exemple le pourcentage de silt, et un type d’habitat donné) que le modèle statistique est adéquat pour prédire la présence

270 5 - Jusqu’à quel point une carte est-elle bonne ? d’habitats, en particulier lorsque ceux-ci n’ont pas une relation exclusive avec la variable explicative (plusieurs types d’habitats peuvent avoir une forte corrélation avec le pourcentage de silt, et dans ce cas, lequel est présent là où il y a beaucoup de silt ?).

De plus, une relation valable dans certaines parties d’une carte ne l’est pas nécessairement dans d’autres. Cela peut venir par exemple d’un biais d’échantillonnage coïncidant avec les tendances spatiales de facteurs explicatifs qui n’ont pas été modélisés, de sorte que la valeur prédictive de la carte est dans l’ensemble médiocre.

Erreur spatiale

Considère-t-on qu’une prédiction est fausse si l’habitat prédit n’est pas présent en un point précis ? Ou sera-t-on satisfait si on trouve cet habitat à une distance raisonnable de ce point ? Les frontières tracées autour des habitats peuvent occuper une proportion non négligeable de la surface totale du territoire levé (penser aux chemins tracés autour d’un jardin). Cette proportion augmente avec la diminution de la surface des habitats

(hétérogénéité) et avec la largeur des frontières (les « chemins »). Il est également inévitable que les zones frontières soient les lieux possibles de la plus grande incertitude.

Cela risque donc d’affecter l’impression d’erreur que laisse une carte. Des zones hétérogènes sont beaucoup plus susceptibles de donner des erreurs que des zones homogènes. Il faut donc considérer le degré d’hétérogénéité dans l’interprétation d’une mesure d’erreur.

Probabilité

Comment peut-on le mieux exprimer des prédictions ? On exprime couramment des

prédictions sous forme de probabilités ou de « chances ». Dans son sens le plus faible, si l’on dit que la présence d’un habitat à un endroit donné est très probable, on peut simplement exprimer ce que l’on croit à partir de l’expérience et de l’observation (comme dans le cas de l’inspection visuelle par un expert d’une image de sonar à balayage latéral). Une expression statistique de la probabilité est fondée sur une analyse des données disponibles. Sa valeur est comprise entre 0 (pour un événement impossible) à 1

(pour un événement certain). Une carte peut montrer la probabilité d’occurrence d’un

habitat. Une même carte ne peut toutefois donner ces probabilités pour tous les habitats, parce que plusieurs habitats peuvent avoir une certaine probabilité d’être présents à chaque endroit. Par conséquent, la plupart des cartes d’habitats ne montrent que les

habitats dont la probabilité de présence est la plus élevée (voir la sous-section 5.2.4

« Peut-on cartographier l’incertitude ? »). Il est très important de se rappeler que derrière la plupart des cartes d’habitats se cachent des probabilités de présence d’habitats qui sont en concurrence. La carte ne montre que les gagnants !

5.1.2 - Pourquoi les cartes sont-elles inexactes ?

Deux raisons principales expliquent pourquoi une carte peut ne pas très bien correspondre à la réalité. Premièrement, nous sommes limités dans notre manière de représenter le monde réel : les habitats benthiques sont très complexes et présentent de nombreuses facettes, mais pour réaliser une carte, nous devons ramener cette complexité à un petit nombre de classes ou catégories. Souvent, la correspondance entre les observations et les classes n’est pas claire. Cela donne lieu à des ambiguïtés et donc

à d’apparentes discordances entre la carte et les observations. Deuxièmement, le processus de mesure, d’analyse et de cartographie peut être source d’erreurs. Une carte contient à la fois des ambiguïtés et des erreurs. La mesure de l’exactitude fait partie du processus qui consiste à déterminer jusqu’à quel point les structures de distribution cartographiées sont conformes à la réalité, étant donné ce contexte d’ambiguïté et d’erreur. Ambiguïtés et erreurs se combinent donc pour créer de l’incertitude – une

évaluation du manque de fiabilité d’une carte, et donc du degré de confiance qui en découle. Il n’y a pas de manière facile d’évaluer la fiabilité d’une carte. Le but ultime doit

5 - Jusqu’à quel point une carte est-elle bonne ? 271

être de produire des cartes dont le degré de fiabilité soit en rapport avec l’information nécessaire pour que ces cartes servent leur objectif.

Sources d’incertitude

La carte idéale est exacte, très précise, et contient toute l’information requise par les utilisateurs. Par exemple, on s’attend à ce qu’une carte d’état-major à échelle fine montre toutes les structures de fabrication humaine, à leur position exacte et avec une très petite marge d’erreur. Ce n’est pas le cas des cartes d’habitats benthiques ! Celles-ci montrent comment les cartographes perçoivent le fond de la mer en exploitant le mieux possible les données disponibles. Les paragraphes qui suivent décrivent certaines des causes principales d’incertitude.

Erreurs de mesure des données de terrain

Le milieu naturel est extrêmement complexe, et il faut le simplifier considérablement pour le représenter sur une carte. Les objets cartographiés résultent en général d’efforts de notre part pour faire entrer la nature hautement variable du monde dans un nombre gérable de catégories. Ce processus crée inévitablement des ambiguïtés de sources diverses :

– les opérateurs de terrain appliquent de différentes manières un processus de

classification pour enregistrer des données. Les définitions des classes sont vagues, et de nombreux critères se chevauchent d’une classe à l’autre. On peut minimiser les

erreurs en définissant clairement les attributs des classes et en normalisant les protocoles d’affectation de classes aux échantillons. En l’absence de lignes directrices claires, ce processus devient difficile et donne lieu à des interprétations subjectives ;

– l’hétérogénéité sur le terrain est bien réelle. En premier lieu, les caractéristiques des

habitats varient de façon continue et chevauchent souvent deux ou plusieurs classes d’habitat de la typologie ; deuxièmement, en raison de l’hétérogénéité à une échelle

fine, une unité cartographique ou un pixel peut englober plus d’une classe ;

– les observations sont limitées par la technique employée, alors que les classes de la

typologie utilisée sont fondées sur une information plus complète. Par exemple, une observation vidéo ne donne pas une information complète sur l’endofaune, et elle est donc classée uniquement en fonction de la faune visible.

On n’insistera jamais assez sur le fait que des mesures médiocres de propriétés des

échantillons peuvent compromettre l’interprétation de données de télédétection. Cela est particulièrement vrai lorsque les attributs en question sont des classes d’habitat et que l’analyste doit décider de la meilleure correspondance entre un échantillon et une

typologie.

Interprétation subjective des frontières

De nombreux habitats ont des frontières progressives ou diffuses et sont donc susceptibles d’interprétation subjective de la part du cartographe (dans le cas de la

cartographie directe) ou de différences d’interprétation visuelle des images (p. ex. les images d’un sonar à balayage latéral).

Variations inhérentes aux systèmes de télédétection

Toutes les techniques de télédétection ont une variabilité intrinsèque qui dégrade leur capacité à distinguer des structures au sol. Les variations peuvent également provenir de la distorsion dans les appareils vidéo ou de la manière dont différentes bennes de même type « mordent » dans le fond de la mer, ce qui cause des erreurs d’observation.

L’étalonnage de l’équipement est une condition essentielle d’exactitude des données, et des instruments mal étalonnés entraînent une exactitude médiocre du rendu cartographique.

272 5 - Jusqu’à quel point une carte est-elle bonne ?

Erreurs de position des données de télédétection et de terrain

Les appareils utilisés ont des limites quant à l’exactitude de leur position. La position des

échantillons doit être fournie en entrée du traitement d’images, de sorte que les caractéristiques de l’image puissent être associées aux classes observées sur le terrain.

Les erreurs combinées de position des appareils de télédétection et des données de terrain définissent une « enveloppe » d’erreur spatiale. Par conséquent, même si les données d’une entité cartographique sont très exactes, ses frontières ne peuvent pas être

établies avec une précision absolue. De la même manière, étant donné une position précise, on ne peut pas établir avec une certitude absolue la classe d’habitat qui y est présente.

Erreurs d’analyse

L’analyse est également source d’erreur et d’incertitude, sachant que très souvent les

classes d’habitat ne sont pas directement identifiables par télédétection et que leur présence est déduite par le truchement d’opérations statistiques effectuées sur diverses données et variables observées (cartes intermédiaires). Le traitement d’images peut comporter de nombreuses étapes, depuis l’épuration et l’édition des données jusqu’à l’analyse statistique et la modélisation. Le cheminement adopté par un analyste n’est pas toujours facile à reproduire à cause du nombre de méthodes d’analyse possibles, dont chacune peut avoir plusieurs paramètres différents. On espère que l’analyse effectuée est solide, mais il est toujours possible que l’interprétation soit orientée par des paramètres en apparence insignifiants.

Erreurs liées aux biais d’échantillonnage

Tous les points d’une carte ne sont pas validés. Une carte est fondée sur une certaine stratégie d’échantillonnage, dont les données sont extrapolées à l’ensemble du territoire à partir d’hypothèses sur les relations statistiques entre les échantillons et la « population » qu’ils représentent. Tout échantillonnage risque d’entraîner un biais et des problèmes de sous-représentation. Cela est particulièrement vrai dans le cas des systèmes géographiques, ou le caractère unique de chaque lieu rend très difficile l’établissement d’une stratégie d’échantillonnage.

Erreurs cartographiques

Il y a une limite à ce qu’une carte peut montrer (détails, nombre de classes, résolution), et toute carte constitue dans une certaine mesure une généralisation de l’information. La capacité d’une carte à montrer des détails est déterminée par son échelle. Une carte au

1/2000 permet de représenter des données beaucoup plus fines qu’une carte au

1/200 000. L’échelle impose des restrictions sur le type, la quantité et la qualité des données. Le fait d’agrandir une carte à échelle globale n’accroît pas son degré d’exactitude ou son niveau de détail.

5.1.3 - Les erreurs peuvent s’accumuler !

Les cartographes doivent fournir l’information qui permet aux utilisateurs d’évaluer les marges d’erreur probables. C’est facile dans le cas de certaines mesures, par exemple les positions, que l’on peut donner avec leur marge d’erreur. Il est plus difficile d’évaluer la

variabilité avec laquelle des interprètes ont attribué des classes d’habitat à des

échantillons prélevés sur le terrain, ou encore le caractère subjectif du tracé de frontières des structures sur une image obtenue par télédétection. Même les techniques de

classification automatique (p. ex. analyse de texture, classification supervisée) supposent que les données de terrain ont été catégorisées avec exactitude ou, dans le cas d’une

classification floue, correctement réparties entre diverses catégories. Malgré ces importantes réserves, les mesures d’exactitude permettent-elles de comparer des cartes entre elles ou de disposer d’un étalon universel de mesure de la qualité ?