La question "Quelle est sa précision ?" est pertinente pour les nouvelles applications de l'IA, mais il peut être faussement difficile d'y répondre.
Pourquoi ? Parce que l'étalon-or de la précision est souvent le jugement humain, mais celui-ci peut être désordonné, voire contradictoire. Prenons par exemple le cas de la détection des baleines à partir d'images aériennes. L'objectif est assez simple : compter toutes les baleines présentes à un moment donné et enregistrer leur position. Mais les baleines ne passent qu'une partie de leur temps à la surface, où les humains (ou l'IA) peuvent les voir : qu'en est-il des baleines sous l'eau ? Une façon utile de contourner ce "biais de disponibilité" consiste à déterminer la proportion du temps que notre espèce passe à la surface, puis à adapter nos réponses en conséquence. Par exemple, si notre espèce passe 40 % de son temps à la surface et que nous voyons 400 baleines lors d'une étude, nous pouvons supposer qu'il y en a 600 autres que nous ne voyons pas, soit un total de 1000. Donc, si on peut former un algorithme qui reconnaît toutes les baleines à la surface, c'est gagné. C'est simple, hein...
Mais qu'en est-il des baleines entre les deux ? Comme celles-là :
Crédit photo : Ministère des Pêches et des Océans du Canada.
Nous avons compté sept baleines ici. Combien en voyez-vous ? Une faible silhouette sous les vagues doit-elle compter de la même manière qu'une baleine dont tout le derrière est en l'air ? Comment décidons-nous de la profondeur à laquelle une baleine peut être considérée comme "à la surface" ? En un mot, subjectivement . Et ce n'est qu'un début : comme dans tous les domaines de la vie, les humains trouvent toutes sortes de moyens de ne pas être d'accord sur la détection des animaux à partir de l'imagerie aérienne. Les statistiques sont floues en ce qui concerne les baleines, mais la tendance au désaccord entre deux experts regardant les mêmes images a été documentée à de nombreuses reprises pour un certain nombre d'animaux. Les biologistes qui recensent les oiseaux, les troupeaux d'éléphants, les traces de tortues de mer et les baleines grises ont tous donné des écarts de l'ordre de 10 à 20 %. C'est là que la notion de vérité absolue commence à s'effriter : si les humains sont l'étalon-or auquel l'IA est mesurée, n'avons-nous pas besoin qu'ils soient au moins d'accord entre eux ?
Il convient de souligner que les observateurs humains ne sont même pas totalement cohérents avec eux-mêmes. Une étude écologique aérienne a révélé que même lorsque le même observateur analysait deux fois les mêmes images, les deux comptages étaient en moyenne différents de 6 %.
Il existe plusieurs façons d'aborder la question de la vérité absolue et de la capacité de l'homme à s'y opposer. Une étude a simulé les conditions d'une enquête aérienne à l'aide d'un modèle physique à l'échelle d'une colonie d'échassiers. Le modèle étant fabriqué par l'homme, le nombre réel d'oiseaux pouvait être facilement déterminé, afin d'examiner la précision des comptages effectués par les observateurs. Même lorsque des observateurs expérimentés ont été autorisés à passer au peigne fin des images haute résolution du modèle, leurs estimations se situaient en moyenne 20 % au-dessus ou au-dessous du nombre réel (généralement au-dessous - il est plus facile de rater des oiseaux que d'en inventer). Mais dans la nature, notre meilleure estimation consiste à comparer les comptages de différents observateurs entre eux - l'"étalon-or" consiste donc à ne faire que les erreurs qu'un humain ferait.
Peut-être devrions-nous reformuler notre question : au lieu de nous demander dans quelle mesure l'IA est proche de la "vérité", nous devrions viser à construire une IA qui ne soit pas plus en désaccord avec un observateur humain que les humains ne le sont entre eux - ou avec eux-mêmes, d'ailleurs. Recadrer le débat sur la précision nous permet de nous concentrer sur ce que l'IA peut vraiment apporter : sa vitesse. Si l'IA peut atteindre le niveau de précision humain en une fraction du temps, cela signifie que davantage de données peuvent être analysées plus rapidement, et dans un domaine où la collecte de données est plus rapide que l'analyse, c'est une grande affaire. Cela signifie de meilleures décisions pour les baleines et les humains.
Cela signifie-t-il que l'IA ne peut pas nous aider à gagner en cohérence ? Pas tout à fait. Tout d'abord, si les algorithmes d'apprentissage automatique peuvent être plus performants sur certains ensembles de données que sur d'autres, leurs performances sur un ensemble de données donné ne changeront pas au fil du temps, contrairement à celles des humains. En outre, en ne faisant appel à des experts humains que pour aider l'algorithme dans les cas extrêmes (les plus difficiles), nous, les humains, pouvons nous concentrer sur l'élaboration de seuils de détection normalisés, tout en confiant à l'IA la majeure partie des jugements "faciles". Whale Seeker Mobius, le nouvel outil "Human-in-the-loop" de la Commission européenne, intègre les jugements des humains et des machines, ce qui permet de réaliser d'énormes gains d'efficacité sans sacrifier la fiabilité.