Joseph Weizenbaum : "Il n’y a rien de commun entre décider et choisir "

Qui est responsable des décisions automatisées ? C’est le cri d’alarme lancé en 1976 par Joseph Weizenbaum, le concepteur du robot-psy de discussion Eliza. Dans Computer Power and Human Reason (Freeman ed.), il s’inquiétait des dangers que représente l’IA pour la vie humaine éthique. Et de déplorer, il y a un demi-siècle déjà : « Non seulement les politiciens ont abdiqué leur responsabilité dans la prise de décision – tout en maintenant l’illusion qu’ils énoncent les questions politiques et y répondent –, mais la responsabilité elle-même s’est évaporée. » Dans tous les domaines, remarque-t-il, même les plus risqués comme la Défense, la prise de décision assistée par ordinateur se substitue au choix humain. Plus profondément encore, il regrette qu’aucun être humain ne soit responsable des indications de l’ordinateur. Les gigantesques systèmes informatiques du Pentagone, note-t-il, et leurs équivalents dans les autres domaines de notre culture n’ont, en un sens très réel, « aucun auteur ». Ils sont bien sûr programmés par des hommes, mais les propositions qu’ils formulent le sont indépendamment d’une supervision humaine. Ces « jugements », qui n’en méritent aucunement le nom pour Weizenbaum, « ne prennent donc en compte aucune question de bien et de mal, de justice ». Toutes les questions d’éthique ou de justice s’inscrivent dans un horizon normatif ouvert au débat, à la discussion. Or les décisions des machines ne s’appuient sur aucune théorie critiquable au sens où l’on pourrait être en accord ou en désaccord avec elle. Aucun socle à partir duquel on pourrait contester leurs décisions. Pour analyser la différence entre la décision de la machine et le jugement d’un homme, il se tourne vers son enfance et souligne que son père avait l’habitude d’invoquer, comme argument d’autorité ultime, le fait que « c’est écrit ». « Mais alors, ajoute-t-il, lisant ce qui était écrit, j’imaginais l’auteur humain, ses valeurs, et m’accordais ou m’opposais à lui » : une discussion reste possible, même en pensée. Rien de tout cela dans les systèmes informatiques. Ils ne sont pas programmés pour des exercices d’imagination qui remontent à la fin des fins à un jugement humain authentique.