Superintelligence : la dernière invention de l’humanité ?

Pour sa neuvième édition, le Signal et le Bruit ce sont 1261 mots, 5 recommandations de lecture et 1 cartographie. Après un envoi dédié aux capacités actuelles et projetées de l’IA, nous discutons aujourd’hui des promesses et des risques d’une superintelligence qui pourrait apparaître d’ici la fin de ce siècle—avec l’aide des chercheurs Nick Bostrom, Ray Kurzweil et Stuart Russell.


HAL, Skynet, Sonny, Cortana : qu’elles soient antagonistes ou protagonistes, les intelligences artificielles sont, depuis les origines du genre, un des composants essentiels de l’imaginaire de la science-fiction. Mais cet imaginaire pourrait devenir tangible, puisque de nombreux chercheurs travaillant sur l’IA prévoient au cours de ce XXIe siècle l'apparition d’une intelligence artificielle générale, et donc par extension d’une superintelligence (voir notre précédent numéro). Si les capacités réelles et le fonctionnement de cette entité sont difficiles à imaginer, elle posséderait a minima une aptitude à généraliser ses connaissances ainsi que la capacité d’apprendre et de s’améliorer à une vitesse exponentielle. Selon le chercheur du Futur of Humanity Institute d’Oxford Nick Bostrom, cette combinaison produirait “un intellect beaucoup plus compétent que les meilleurs cerveaux humains dans pratiquement tous les domaines”.

Bien qu’impliquant une réflexion sur une technologie encore inexistante, le sujet est pris suffisamment au sérieux pour que de nombreux chercheurs se penchent sur la question. La crainte, que l’on retrouve dans de nombreux ouvrages de science-fiction, c’est que l’humanité se retrouve démunie face aux agissements, préférences et choix d’une superintelligence aux capacités cognitives infiniment plus élevées que les nôtres, dépassant de fait notre capacité de compréhension. De cet inconnu découlent les principales questions animant la communauté scientifique : quelles seront les conséquences pour l’humanité de la création d’une superintelligence ? Que faut-il en espérer, ou au contraire en craindre ? 

Entre utopie transhumaniste et dystopie robotisée

Très schématiquement, deux courants de pensée se dessinent : les optimistes et les pessimistes—même si, dans la pratique, la plupart des chercheurs se placent quelque part sur un spectre allant de l’un à l’autre. Sans surprise, là où les premiers mettent en avant une vision positive d’une superintelligence au service de l’humanité, les pessimistes s’inquiètent des risques majeurs que celle-ci pourrait faire courir à l’espèce humaine.

Le plus connu des optimistes est sans doute le futurologue américain Ray Kurzweil, auteur de l’ouvrage The Singularity Is Near. Kurzweil pense que la création d’une superintelligence sera le déclencheur de ce qu’il appelle une singularité, soit une période d’expansion quasi-infinie de la puissance de l’humanité grâce aux savoirs nouvellement découverts par les machines. Les humains, par les progrès combinés de l’informatique, des nanotechnologies, des mathématiques et de la génétique, n’auraient plus à se soucier du travail, des maladies ou de la mort. Comme le résume Nick Bostrom, dans cette vision, “l'intelligence artificielle est la dernière invention que l'humanité aura jamais besoin de faire.”

Du côté des pessimistes, deux types de risques sont mis en avant : les risques “existentiels” et les risques “sociétaux”, ces derniers consistant en une déstabilisation durable de nos modes de vie. L’automatisation totale est un exemple souvent cité, puisqu’une superintelligence serait capable de réaliser n’importe quel travail (y compris intellectuel) au moins aussi bien qu’un humain. Un autre exemple concerne la croissance exponentielle des inégalités, dans le cas où un pays ou un groupe d’individus s’accapareraient les gains de production engendrés par une telle machine. Enfin, le risque accru de conflit mondial est également mentionné, si la découverte d’une intelligence artificielle générale était faite par une grande puissance et exploitée à des fins militaires.

Doit-on craindre les robots tueurs ou les fabricants de trombones ?

Mais les dangers plus souvent cités par les chercheurs travaillant sur l’arrivée d’une superintelligence concernent les risques dits “existentiels” : un terme inventé par Nick Bostrom (encore lui), désignant des événements qui pourraient provoquer l'extinction humaine ou réduire de façon permanente et drastique son potentiel futur. Ici, la superintelligence serait davantage comparable à l’arme nucléaire : une invention conduisant l’humanité à créer les conditions de sa propre disparition.

Contrairement à ce qui est présenté dans la fiction, ce ne sont pas les robots de Matrix et de Terminator déterminés à éradiquer l’humanité qui inquiètent les chercheurs ; mais plus simplement une intelligence artificielle programmée dans un but spécifique et qui, en le poursuivant, en arrive à “préférer” annihiler l’humanité grâce aux outils dont elle dispose. Deux exemples sont souvent utilisés : “le maximiseur de trombones” et “l’algorithme anti-cancer”—dont le résultat commun est l’anéantissement de l’humanité sans existence d’intention maléfique, mais par le simple effort d’optimisation d’une machine très puissante, créée dans un but spécifique mais incapable de comprendre la valeur accordée à la vie humaine.

Largement médiatisée par des déclarations de Bill Gates, Elon Musk, ou Stephen Hawking, cette vision ne fait toutefois pas consensus et les débats dans le monde de la recherche restent vifs. En guise d’illustration, la revue MIT Tech Review publiait en 2016 et à quelques semaines d’écart deux tribunes intitulées : “Non, les experts ne pensent pas que l'IA superintelligente est une menace pour l'humanité” et “Oui, nous sommes inquiets du risque existentiel de l'intelligence artificielle”.


Le maximiseur de trombones

Cette “expérience de pensée”, volontairement simpliste, imagine des ingénieurs d’une entreprise de papeterie décidant d’utiliser une intelligence artificielle générale pour maximiser la production de trombones. Cette intelligence, outre les infrastructures nécessaires pour produire et stocker ces trombones, aurait également accès à Internet, et aux comptes bancaires de l’entreprise.

Dans un premier temps, ce maximiseur optimiserait la production de manière classique : en améliorant la logistique, en augmentant le nombre d’usines, ou en réduisant certains coûts. Mais rapidement, face à l’objectif général de “maximiser la production de trombones”, ces solutions paraîtraient très limitées, et l’IA déciderait de racheter tous les terrains à disposition (dans la région, puis dans le pays, puis sur Terre) pour y construire de nouvelles usines, et d’accaparer tous les ressources naturelles disponibles pour les dédier à la production de trombones.

Déjà largement sortie du cadre souhaité lors de sa conception, l’IA ne s’arrêterait pourtant pas là : consciente du danger imminent d’être débranchée et donc de voir sa production de trombones tomber à zéro, elle créerait des copies d’elle-même de façon préventive, et empêcherait tout être humain de réduire son efficacité—quitte à le réduire en servitude ou à l’éliminer.


Intelligences artificielles et valeurs actuelles

De nombreux chercheurs, comme Stuart Russell, chercheur en informatique à Berkeley, travaillent à éviter cet avenir funeste, notamment en s’assurant de l’alignement des objectifs visés par une superintelligence avec notre vision du monde. C’est ce que l’on appelle “l’alignement des valeurs”, un sujet en devenir dans le milieu de l’intelligence artificielle et qui rassemble de plus en plus de chercheurs, sans pour autant parvenir pour l’instant à identifier des solutions probantes et tangibles.

Pour autant, et malgré leurs avertissements, rares sont ceux parmi les “pessimistes” qui suggèrent l’abandon total de la recherche en IA. Ils militent plutôt pour une meilleure prise en compte de ses risques et un rééquilibrage des efforts humains et financiers. Aujourd’hui, la très grande majorité des acteurs et des moyens publics et privés contribuent à construire et à réaliser une certaine vision de l’IA, en la présentant comme une révolution industrielle et sociétale positive. À l’inverse, la recherche sur ses risques ne dispose que de très peu de moyens et de visibilité. Un argument qui pousse certaines organisations comme 80,000 Hours à souhaiter que davantage de gens œuvrent dès maintenant à “façonner positivement le développement de l’intelligence artificielle”, tant sur le plan technique que politique. Comme l’écrit son directeur de recherche Robert Wiblin : “vous n'avez pas besoin d'être sûr à 100% que votre maison va brûler pour souscrire une assurance-incendie.

Enfin, comme le rappelle William Isaac, chercheur chez DeepMind, toutes ces questions ne doivent pas nous amener à négliger les dangers et questions soulevés plus immédiatement par l’IA tels que les données porteuses de biais utilisées pour entraîner les modèles, ou l’opacité des algorithmes. Sujets que nous avons déjà eu l’occasion d’évoquer ici ou , et dont nous continuerons à parler dans les prochains épisodes de cette newsletter.


La cartographie de la semaine

Vous ne vous êtes probablement jamais souciés de savoir si la machine à crèmes glacées de McDonald’s était en panne. C’est pourtant un sujet (très) sérieux, puisqu’à en croire le Wall Street Journal il s’agit de l’une des principales causes de réclamation des clients de feu Ronald—on a les problèmes qu’on mérite.

Eh bien aux grands mots, les grands remèdes : un data scientist a rétro-ingéniéré (oui oui) l’API interne de la chaîne de fast-food. En passant chaque minute une commande pour un sundae dans chaque McDonald’s des États-Unis (pour un montant de 18 752 $), il est capable de connaître précisément les restaurants dont la machine n’est pas opérationnelle et de retranscrire cette information sur une carte. Le résultat est sur mcbroken.com (limité aux États-Unis, malheureusement !).


On a lu, on a aimé


Le Signal et le Bruit est une newsletter dédiée à l’intelligence artificielle et aux données. Guillaume Jaeger et Edouard Mathieu en sont les auteurs. Tom Goyon en a réalisé le design.