Il gioco del gatto e del topo tra gli editori web e i crawler dell’intelligenza artificiale si sta accelerando e tutti noi siamo destinati a perdere.
Spesso diamo Internet per scontato. È un oceano di informazioni a portata di mano e semplicemente funziona. Ma questo sistema si basa su sciami di “crawler” – bot che vagano per il web, visitano milioni di siti ogni giorno e riportano ciò che vedono. È così che Google alimenta i suoi motori di ricerca, che Amazon fissa i prezzi competitivi e che Kayak aggrega gli annunci di viaggio. Al di là del mondo del commercio, i crawler sono essenziali per monitorare la sicurezza del web, abilitare gli strumenti di accessibilità e conservare gli archivi storici. Anche accademici, giornalisti e società civili si affidano a loro per condurre ricerche investigative cruciali.
I crawler sono endemici. Rappresentano ormai la metà di tutto il traffico Internet e presto supereranno il traffico umano. Questa invisibile metropolitana del web traghetta informazioni da un sito all’altro, giorno e notte. E ultimamente hanno anche un altro scopo: aziende come OpenAI utilizzano i dati raccolti sul web per addestrare i loro sistemi di intelligenza artificiale, come ChatGPT.
È comprensibile che i siti web si stiano opponendo per paura che questa specie invasiva – i crawler dell’IA – li sostituisca. Ma c’è un problema: questa reazione minaccia anche la trasparenza e i confini aperti del web, che permettono alle applicazioni non AI di prosperare. Se non pensiamo a come risolvere questo problema, il web sarà sempre più fortificato da login, paywall e pedaggi di accesso che inibiscono non solo l’IA, ma anche la biodiversità di utenti reali e crawler utili.
Un sistema in subbuglio
Per comprendere il problema, è importante capire come funzionava il web fino a poco tempo fa, quando crawler e siti web operavano insieme in relativa simbiosi. I crawler erano in gran parte indisturbati e potevano persino essere vantaggiosi, in quanto portavano le persone ai siti web dai motori di ricerca come Google o Bing in cambio dei loro dati. A loro volta, i siti web imponevano poche restrizioni ai crawler, aiutandoli persino a navigare nei loro siti. I siti web di allora e di oggi utilizzano file leggibili dalla macchina, chiamati file robots.txt, per specificare i contenuti che vogliono che i crawler lascino in pace. Ma c’erano pochi sforzi per far rispettare queste regole o identificare i crawler che le ignoravano. La posta in gioco sembrava bassa, quindi i siti non hanno investito per ostacolare i crawler.
Ma ora la popolarità dell’intelligenza artificiale ha messo in crisi l’ecosistema dei crawler.
Come una specie invasiva, i crawler per l’IA hanno un appetito insaziabile e inscrutabile per i dati, e si accaparrano articoli di Wikipedia, documenti accademici e post su Reddit, siti web di recensioni e blog. Tutte le forme di dati sono presenti nel menu: testo, tabelle, immagini, audio e video. E i sistemi di intelligenza artificiale che ne derivano possono (ma non sempre lo faranno) essere utilizzati in modi che competono direttamente con le loro fonti di dati. I siti di notizie temono che i chatbot dell’IA attirino i loro lettori; gli artisti e i designer temono che i generatori di immagini dell’IA seducano i loro clienti; i forum di codifica temono che i generatori di codice dell’IA soppiantino i loro collaboratori.
In risposta, i siti web stanno iniziando a respingere i crawler alla porta. Il motivo è in gran parte lo stesso: i sistemi di intelligenza artificiale e i crawler che li alimentano possono compromettere gli interessi economici di chiunque pubblichi contenuti sul Web, utilizzando i dati dei siti stessi. Questa constatazione ha scatenato una serie di guerre tra crawler che si stanno sviluppando sotto la superficie.
La rivincita
Gli editori del web hanno risposto all’intelligenza artificiale con una triplice azione legale, legislativa e informatica. Ciò che è iniziato con una litania di cause per violazione del copyright, tra cui una del New York Times , si è trasformato in un’ondata di restrizioni sull’uso dei dati dei siti web e in una legislazione come l’ EU AI Act per proteggere la capacità dei titolari di copyright di scegliere di non partecipare all’addestramento dell’IA.
Tuttavia, i verdetti legali e legislativi potrebbero richiedere anni, mentre le conseguenze dell’adozione dell’IA sono immediate. Nel frattempo, quindi, i creatori di dati si sono concentrati sulla chiusura del rubinetto dei dati alla fonte: i crawler del web. Dalla metà del 2023, i siti web hanno imposto restrizioni ai crawler per oltre il 25% di dati di altissima qualità. Tuttavia, molte di queste restrizioni possono essere semplicemente ignorate e, sebbene i principali sviluppatori di IA come OpenAI e Anthropic affermino di rispettare le restrizioni dei siti web, sono stati accusati di ignorarle o di sopraffare aggressivamente i siti web (il principale forum di assistenza tecnica iFixit è tra coloro che hanno fatto tali accuse ).
Ora i siti web si stanno rivolgendo alla loro ultima alternativa: le tecnologie anti-crawling. Una pletora di nuove startup (TollBit, ScalePost, ecc.) e aziende di infrastrutture web come Cloudflare (che si stima supporti il 20% del traffico web globale) hanno iniziato a offrire strumenti per rilevare, bloccare e addebitare il traffico non umano. Questi strumenti erigono ostacoli che rendono i siti più difficili da navigare o richiedono ai crawler di registrarsi.
Queste misure offrono comunque una protezione immediata. Dopotutto, le aziende di IA non possono utilizzare ciò che non possono ottenere, a prescindere da come i tribunali si pronunciano sul copyright e sul fair use. Ma l’effetto è che i grandi editori, forum e siti web spesso alzano il ponte levatoio a tutti i crawler, anche a quelli che non rappresentano una minaccia. Questo accade anche quando stipulano accordi lucrativi con aziende di intelligenza artificiale che vogliono mantenere l’esclusività su quei dati. In definitiva, il Web viene suddiviso in territori in cui meno crawler sono benvenuti.
Come ci rimettiamo
Con l’accelerazione di questo gioco del gatto e del topo, i grandi operatori tendono a superare i piccoli. I grandi siti web e gli editori difenderanno i loro contenuti in tribunale o negozieranno i contratti. E le grandi aziende tecnologiche possono permettersi di concedere in licenza grandi insiemi di dati o di creare potenti crawler per aggirare le restrizioni. Ma i piccoli creatori, come gli artisti visivi, gli educatori di YouTube o i blogger, possono pensare di avere solo due opzioni: nascondere i loro contenuti dietro login e paywall o metterli completamente offline. Per gli utenti reali, questo rende più difficile accedere agli articoli di cronaca, vedere i contenuti dei loro creatori preferiti e navigare sul web senza dover affrontare login, richieste di abbonamento e captchas a ogni passo.
Forse più preoccupante è il modo in cui i grandi contratti esclusivi con le aziende di intelligenza artificiale stanno suddividendo il web. Ogni accordo aumenta l’incentivo del sito web a mantenere l’esclusiva e a bloccare l’accesso ai dati a chiunque altro, concorrente o meno. Questo probabilmente porterà a un’ulteriore concentrazione di potere nelle mani di un minor numero di sviluppatori di IA e di editori di dati. Un futuro in cui solo le grandi aziende possono concedere licenze o strisciare i dati web critici sopprimerebbe la concorrenza e non sarebbe al servizio degli utenti reali o di molti detentori di copyright.
In parole povere, seguire questa strada ridurrà la biodiversità del web. Ai crawler dei ricercatori accademici, dei giornalisti e delle applicazioni non-AI potrebbe essere sempre più negato l’accesso aperto. A meno che non si riesca a creare un ecosistema con regole diverse per i diversi usi dei dati, potremmo ritrovarci con confini rigidi in tutto il web, che impongono un prezzo all’apertura e alla trasparenza
Sebbene questo percorso non sia facilmente evitabile, i difensori dell’Internet aperto possono insistere su leggi, politiche e infrastrutture tecniche che proteggano esplicitamente gli usi non concorrenziali dei dati web da contratti esclusivi, tutelando al contempo i creatori e gli editori di dati. Questi diritti non sono in contrasto. Abbiamo molto da perdere o da guadagnare dalla lotta per ottenere un accesso corretto ai dati su Internet. Mentre i siti web cercano di adattarsi, non dobbiamo sacrificare il web aperto sull’altare dell’intelligenza artificiale commerciale.
Shayne Longpre è dottorando al MIT, dove la sua ricerca si concentra sull’intersezione tra IA e politica. Dirige l’iniziativa Data Provenance.
