Un dicton commun dit que si les gens savaient comment les saucisses sont faites, ils ne les mangeraient jamais. Si ce stéréotype injuste ne s’applique pas à l’industrie de la transformation de la viande dans son ensemble, il sert de principe de précaution lorsqu’il s’agit de produits dont le processus de fabrication implique le secret. Cela nous amène aux entreprises technologiques qui vantent actuellement leurs merveilles d’IA générative, en particulier les modèles de langage long (LLM) qui peuvent écrire couramment des phrases anglaises cohérentes en réponse à des invites humaines.
L’explication standard de cette merveille technologique est centrée sur les vastes ensembles de données sur lesquels ces machines sont formées. Le contenu publié par des humains dans un format lisible par machine est exploré pour créer une énorme base de données, qui est ensuite utilisée pour entraîner la machine. La technologie sous-jacente comprend une énorme puissance de calcul, des algorithmes sophistiqués (dont l’architecture « Transformer » inventée par Google en 2017) et des réseaux de neurones, ressuscités par l’informaticien Geoff Hinton en 1986. En tirant parti des inférences statistiques, cette machine à texte détermine le plus probable mots dans la phrase sur le cancer.
Cependant, ces machines sont essentiellement des perroquets statistiques coûteux et manquent de réelle intelligence. L’industrie technologique bénéficie de la perception erronée selon laquelle les machines d’IA sont capables de créer une menace existentielle, car cela détourne l’attention des dommages réels causés par le déploiement actuel de ces technologies.
Un principe important en informatique est GIGO : Garbage In, Garbage Out. Cela s’applique aux LLM, car leurs performances dépendent de la qualité des données de formation. Malheureusement, les entreprises d’IA gardent secrètes la nature de leurs données d’entraînement, qui sont principalement obtenues par des robots d’indexation qui surfent systématiquement sur Internet. L’un de ces services est CommonCrawl, mais la quantité de contenu piraté incluse dans les données de formation n’est pas claire.
De plus, l’impact environnemental de ces systèmes est préoccupant. On estime que la formation initiale de LLM en 2019 émettra 300 000 kg de CO2, soit l’équivalent de 125 vols aller-retour entre New York et Pékin. Bien que les entreprises prétendent compenser ces émissions, elles gardent un secret notable sur les coûts environnementaux de leurs opérations.
À ce stade important de notre parcours technologique, il est important de remédier au manque de transparence entourant ces machines sombres appartenant à l’entreprise. Les régulateurs devraient donner la priorité à la formalisation et à la divulgation obligatoire d’informations détaillées sur les méthodes de mesure et de contrôle utilisées pour développer et exploiter des systèmes d’IA avancés.
Enfin, comprendre la véritable nature de la technologie de l’IA générative et ses implications nécessite de la transparence. Faire la lumière sur la fabrication de ces «saucisses» est essentiel pour garantir une utilisation responsable et éthique de ces outils puissants.