Gouvernance de la superintelligence.

C'est maintenant le bon moment pour commencer à réfléchir à la gouvernance de la superintelligence - les futurs systèmes d'IA considérablement plus capables que même l'AGI.

Sécurité et alignement

Compte tenu de la situation telle que nous la voyons actuellement, il est concevable que dans les dix prochaines années, les systèmes d'IA dépasseront le niveau de compétence des experts dans la plupart des domaines et réaliseront autant d'activités productives que l'une des plus grandes entreprises d'aujourd'hui.

En termes d'avantages et d'inconvénients potentiels, la superintelligence sera plus puissante que les autres technologies auxquelles l'humanité a dû faire face dans le passé. Nous pouvons avoir un avenir considérablement plus prospère ; mais nous devons gérer le risque pour y arriver. Compte tenu de la possibilité d'un risque existentiel, nous ne pouvons pas simplement être réactifs. L'énergie nucléaire est un exemple historique couramment utilisé d'une technologie dotée de cette propriété ; la biologie synthétique est un autre exemple.

Nous devons également atténuer les risques de la technologie actuelle de l'IA, mais la superintelligence nécessitera un traitement et une coordination particuliers.

Un point de départ

De nombreuses idées comptent pour nous afin d'avoir une bonne chance de naviguer avec succès dans ce développement ; nous exposons ici notre réflexion initiale sur trois d'entre eux.

Premièrement, nous avons besoin d'un certain degré de coordination entre les principaux efforts de développement pour garantir que le développement de la superintelligence se produit d'une manière qui nous permet à la fois de maintenir la sécurité et d'aider à une intégration harmonieuse de ces systèmes avec la société. Cela pourrait être mis en œuvre de nombreuses façons ; les principaux gouvernements du monde pourraient mettre en place un projet auquel de nombreux efforts actuels feraient partie, ou nous pourrions convenir collectivement (avec le soutien d'une nouvelle organisation comme celle suggérée ci-dessous) que le taux de croissance de la capacité d'IA à la frontière est limité à un certain taux par an.

Et bien sûr, les entreprises individuelles doivent être tenues à un niveau extrêmement élevé d'action responsable.

Deuxièmement, nous finirons probablement par avoir besoin de quelque chose comme un IAEApour les efforts de superintelligence ; tout effort dépassant un certain seuil de capacité (ou de ressources comme le calcul) devra être soumis à une autorité internationale qui peut inspecter les systèmes, exiger des audits, tester la conformité aux normes de sécurité, imposer des restrictions sur les degrés de déploiement et les niveaux de sécurité, etc. Le suivi de l'utilisation du calcul et de l'énergie pourrait aller très loin et nous donner l'espoir que cette idée pourrait réellement être mise en œuvre. Dans un premier temps, les entreprises pourraient accepter volontairement de commencer à mettre en œuvre des éléments de ce qu'une telle agence pourrait un jour exiger, et dans un second temps, les pays individuels pourraient le mettre en œuvre.

Il serait important qu'une telle agence se concentre sur la réduction du risque existentiel et non sur des questions qui devraient être laissées à chaque pays, comme la définition de ce qu'une IA devrait être autorisée à dire.

Troisièmement, nous avons besoin de la capacité technique pour sécuriser une superintelligence. Il s'agit d'une question de recherche ouverte sur laquelle nous et d'autres mettons beaucoup d'efforts.

Ce qui n'est pas dans le champ d'application

Nous pensons qu'il est important de permettre aux entreprises et aux projets open source de développer des modèles en dessous d'un seuil de capacité significatif, sans le type de réglementation que nous décrivons ici (y compris des mécanismes contraignants tels que des licences ou des audits).

Les systèmes d'aujourd'hui créeront une valeur énorme dans le monde et, même s'ils comportent des risques, le niveau de ces risques semble proportionnel à d'autres technologies Internet et les approches probables de la société semblent appropriées.

En revanche, les systèmes qui nous préoccupent auront un pouvoir au-delà de toute technologie encore créée, et nous devons veiller à ne pas diluer l'attention sur eux en appliquant des normes similaires à une technologie bien en dessous de cette barre.

Contribution du public et potentiel

Mais la gouvernance des systèmes les plus puissants, ainsi que les décisions concernant leur déploiement, doivent faire l'objet d'un contrôle public fort. Nous pensons que les gens du monde entier devraient décider démocratiquement des limites et des valeurs par défaut des systèmes d'IA. Nous ne savons pas encore comment concevoir un tel mécanisme, mais nous prévoyons d'expérimenter son développement. Nous continuons de penser que, dans ces larges limites, les utilisateurs individuels devraient avoir beaucoup de contrôle sur le comportement de l'IA qu'ils utilisent.

Compte tenu des risques et des difficultés, il vaut la peine de se demander pourquoi nous construisons cette technologie.

Chez OpenAI, nous avons deux raisons fondamentales.

Premièrement, nous pensons que cela va conduire à un monde bien meilleur que ce que nous pouvons imaginer aujourd'hui (nous en voyons déjà des exemples précoces dans des domaines tels que l'éducation, le travail créatif et la productivité personnelle).

Le monde est confronté à de nombreux problèmes que nous aurons besoin de beaucoup plus d'aide pour résoudre ; cette technologie peut améliorer nos sociétés, et la capacité créative de chacun à utiliser ces nouveaux outils ne manquera pas de nous étonner. La croissance économique et l'augmentation de la qualité de vie seront étonnantes.

Deuxièmement, nous pensons qu'il serait involontairement risqué et difficile d'arrêter la création de la superintelligence. Parce que les avantages sont si énormes, que le coût de sa construction diminue chaque année, que le nombre d'acteurs qui la construisent augmente rapidement et que cela fait intrinsèquement partie de la voie technologique sur laquelle nous nous trouvons, l'arrêter nécessiterait quelque chose comme un régime de surveillance mondial, et même cela n'est pas garanti de fonctionner. Nous devons donc bien faire les choses.

Sources :

International Atomic Energy Agency | Atoms for Peace and Development (iaea.org)

Gouvernance de la superintelligence (openai.com)

Our approach to AI safety (openai.com)

Users Group Artificial Intelligence Andorra (U.G.A.I.A.)

mardi 23 mai 2023