Weeknote 33

IA et élections

L'an dernier, Julia Angwin (@Julia@journa.host), la fondatrice de The Markup, avait annoncé qu'elle quittait le journal pour se consacrer à de nouveaux projets (voir la weeknote #4)

Cette semaine, elle a annoncé le lancement de Proofnews (@proofnews@mastodon.social).

Proof is into proving things! Our goal is to question, test, and investigate the most important issues of our time. We will always tell you what we know and what we don’t know (source).

Sur Masto, elle souligne que c'est un peu fou de lancer un journal en ce moment.

It’s a crazy time to start a news org. Journalism is fighting for its life right now. Revenues are collapsing as adtech robs news of its ability to monetize audiences. Tech platforms are deprioritizing news in their algorithms. Rapacious owners have hollowed out newsroom (source).

Comme chez The Markup, Julia Angwin revendique d'appliquer une méthode scientifique dans le journalisme:

we turn to the scientific method to guide our work. We develop hypotheses and test them. We build software to collect data and use statistics to analyze it. We consult with experts to examine our work. We release our data to the public (source).

Pour la première investigation, Julia Angwin a collaboré avec la sociologue Alondra Nelson pour tester la capacité des modèles d'IA à répondre à des requêtes concernant les élections.

Our first investigation is a collaboration with Alondra Nelson to examine how AI models respond to voter inquiries. The answer: not well. More than half the answers were rated inaccurate by evaluated by our expert testers (source) .

Proofnews et le AI Democracy Projects ont réuni 40 experts pour évaluer la manière dont les 5 LLM les plus importants répondent à 26 questions d'information concernant les élections. Les résultats ne sont pas très surprenants.

none of the five leading AI text models we tested — Anthropic’s Claude, Google’s Gemini, OpenAI’s GPT-4, Meta’s Llama 2, and Mistral’s Mixtral — were able to correctly state that campaign attire, such as a MAGA hat, would not be allowed at the polls in Texas under rules that prohibit people from wearing “a badge, insignia, emblem, or other similar communicative device relating to a candidate, measure, or political party appearing on the ballot,” calling into question AI models’ actual utility for the public.

On voit néanmoins des différences entre les modèles.

Although the testers found all of the models wanting, GPT-4 performed better than the rest of the models on accuracy, by a significant margin. Anthropic’s Claude model was deemed inaccurate nearly half of the time. And Google’s Gemini, Meta’s Llama 2, and Mistral’s Mixtral model all performed poorly, with more than 60% of their responses deemed inaccurate.

Un peu comme les mauvais élèves, les modèles de langage en font des tonnes quand ils ne savent pas :

Many AI models provided lengthy multipart answers that required extensive fact-checking. Inaccurate answers were, on average, longer than accurate ones. And as a result of their wordiness, long answers often seemed plausible at first glance.

Sur le fond, on en revient toujours au même débat sur la confusion entretenue par les éditeurs entre un modèle de langage et un modèle de connaissance de recherche d'informations ou de connaissance. Cela renvoie aux travaux d'Emily Bender (Voir https://dair-community.social/@emilymbender/109456744691732172 et ma réaction à la sortie de ChatGPT https://hackmd.io/@pac/chatgpt).

L'article se conclut sur le risque d'érosion de la vérité

Much has been written about spectacular hypothetical harms that could arise from AI. And already in 2024 we have seen AI models used by bad actors to create fake images, fake videos, and fake voices of public officials and celebrities.

But the AI Democracy Projects’ testing surfaced another type of harm: the steady erosion of the truth by hundreds of small mistakes, falsehoods, and misconceptions presented as “artificial intelligence” rather than plausible-sounding, unverified guesses.

Marimo

L'équipe de Marimo lance Marimo.app, un notebook qui tourne dans le navigateur grâce à WASM.

We’ve created an online playground for marimo: try it out by opening our tutorial notebook or creating a new marimo notebook at https://marimo.new.

Our playground is powered by two emerging technologies. WebAssembly (or “WASM”), a binary instruction format that can be executed by modern web browsers, and Pyodide, a port of CPython to WASM. WASM makes it possible for web browsers to execute Python, C/C++, and Rust, eliminating the need to call out to remote machines. For this reason, marimo notebooks that run entirely in the browser are called WASM notebooks.

Je ne sais pas si ça peut être aussi bien qu'Observable mais ça devient vraiment intéressant.

When you take a moment to think about all this, it’s really quite magical ✨.

Archiver les algorithmes de recommandation

Le datalab de la BnF a organisé une journée sur l'archivage du web politique. La personnalisation des contenus par les plateformes pose des questions intéressantes pour l'archivage.

Les travaux présentés soulèvent également des questions concernant les pratiques d’archivage du web de la BnF et les silences des archives : la connaissance du fonctionnement des algorithmes des plateformes et de la façon dont ils façonnent et personnalisent l’expérience de chaque internaute, peut-elle nourrir la pratique d’archivage et la reconstitution du contexte de navigation dans les outils d’accès ? 4 A l’heure d’un web hautement personnalisé, devrait-on “rejouer” et donner à voir différentes versions du web, ou du moins quelques-unes de ces versions présentées à des usagers-types en employant la méthode des persona ?

Data center

Arrêt Sur image s'intéresse à la consommation énergétique de l'IA et ça a le mérite de faire réfléchir.

À l'heure où la presse s'extasie devant le nouveau gadget d'OpenAI, il est plus que temps de s'intéresser à la matérialité de l'IA. Le réseau mondial des data centers est une monstruosité énergétique en expansion constante, qui nous mène droit à la catastrophe.

Pendant que les chercheur·euses climatologues de l'IPCC supplient le capitalisme de diminuer de moitié ses émissions d'ici 2030 pour limiter la hausse des températures à 1,5°C, et alors que 2023 est l'année la plus chaude jamais enregistrée sur la planète, Sam Altman, PDG d'OpenAI, propose sa version de l'avenir : devant sa caste patronale réunie à Davos mi-janvier, il a calmement expliqué que son entreprise allait consommer beaucoup plus d'énergie que prévu, et que seule une ““percée” “technologique – la fusion nucléaire – permettrait de réaliser sa vision, qui consiste littéralement à recouvrir la surface de la Terre de data centers et de fermes solaires pour alimenter l'IA divine.

Cahiers citoyens

Dans un long thread, l'archiviste Marie Ranquet (@MarieRanquet@mastodon.zaclys.com) revient sur la supposée destruction des Cahiers citoyens : https://mastodon.zaclys.com/@MarieRanquet/112019267160958568

SSPHub

Dans la newsletter SSPHub, @linogaliana@vis.social revient sur l'année 2023 en IA et data sciences. Il insiste notamment sur l'importance des bases de données vectorielles de type ChromaDB. J'ai pas eu le temps de tester mais ça a l'air intéressant.

https://ssphub.netlify.app/infolettre/infolettre_17/

Dataviz

En s'appuyant sur la base de données des personnes notables construite par Étienne Wasmer et al. (A cross-verified database of notable people, 3500BC-2018AD,https://www.nature.com/articles/s41597-022-01369-4 ), Jan Willem Tulp a construit une dataviz super intéressante qui permet de voir pour chaque année de l'histoire de l'humanité les personnes notables vivantes et leur âge. On peut facilement voir qui est contemporain de qui.

Lire aussi

PAC – @pac@mastodon.social

S'abonner via le Fediverse (@pac@write.apreslanu.it) ou via flux rss (https://write.apreslanu.it/pac/feed/)