Controllo dei crawler AI con robots.txt, Google annuncia un sistema condiviso per limitare l’uso dei contenuti nell’addestramento
Google intende introdurre un nuovo sistema per consentire ai proprietari dei siti web di esprimere, attraverso il file robots.txt, una preferenza comune sull’utilizzo dei propri contenuti nell’addestramento dei modelli di intelligenza artificiale. L’annuncio è arrivato il 30 ottobre 2026 sul blog ufficiale Google Search Central e riguarda un meccanismo che potrebbe semplificare la gestione delle autorizzazioni nei confronti di più fornitori di servizi AI.
La novità riguarda soprattutto editori, aziende e gestori di piattaforme digitali che pubblicano materiali originali e desiderano mantenerli accessibili ai motori di ricerca senza necessariamente autorizzarne l’impiego per sviluppare nuovi modelli generativi.
Il progetto nasce dal lavoro sulle preferenze relative all’intelligenza artificiale condotto nell’ambito dell’Internet Engineering Task Force (IETF), l’organizzazione internazionale che sviluppa numerosi standard tecnici utilizzati su Internet. La proposta prevede un policy token condiviso, riconoscibile dai sistemi che decideranno di adottarlo, attraverso il quale un sito potrà comunicare la propria opposizione all’addestramento AI senza dover necessariamente predisporre istruzioni differenti per ogni singolo operatore.
Google punta a introdurre il supporto nel 2027. Al 2 novembre 2026 si tratta quindi di un progetto annunciato, accompagnato da una proposta tecnica pubblica, e non di uno standard già adottato universalmente.
Come funzionerà il nuovo segnale condiviso per l’addestramento AI
Il file robots.txt è uno strumento utilizzato da oltre trent’anni per comunicare ai programmi automatici quali parti di un sito possono essere visitate. Si trova normalmente nella directory principale del dominio e contiene istruzioni associate a specifici identificativi, chiamati user-agent.
Il sistema tradizionale permette di autorizzare o limitare l’accesso dei crawler attraverso regole come Allow e Disallow. Ogni motore di ricerca o servizio automatico può utilizzare un proprio identificativo, al quale il gestore del sito associa determinate condizioni.
Con la crescita dei servizi di intelligenza artificiale, questo modello ha mostrato un limite operativo. Un editore che vuole esprimere una preferenza sull’addestramento deve conoscere i controlli messi a disposizione dai diversi operatori, verificare le rispettive documentazioni e mantenere aggiornate le istruzioni.
La proposta presentata il 30 ottobre introduce un identificativo comune, denominato __usage_ai-training, da inserire nel campo User-agent del file robots.txt.
La specifica tecnica, descritta nell’Internet-Draft Machine-Readable Training Preference Signal, utilizza la grammatica già esistente del Robots Exclusion Protocol, formalizzata nello standard RFC 9309.
Non richiede quindi l’introduzione di nuove direttive. Cambia invece il significato attribuito a un particolare gruppo di regole: le istruzioni associate al policy token non esprimono una normale limitazione della visita automatica, ma una preferenza sull’utilizzo dei contenuti per l’addestramento.
Un sito potrebbe, ad esempio, associare al token condiviso una regola Disallow riferita all’intero dominio, comunicando la volontà di escludere tutti i contenuti da questa particolare finalità. Potrebbe anche prevedere eccezioni attraverso istruzioni Allow relative a determinate directory.
Nell’esempio contenuto nella proposta IETF, il gestore esprime un’opposizione generale all’addestramento, lasciando invece utilizzabili i contenuti collocati nella directory /press-kit/.
La scelta può dunque riguardare l’intero sito oppure specifiche sezioni, secondo le consuete regole di corrispondenza dei percorsi previste da robots.txt.
Il controllo dei crawler AI con robots.txt acquisirebbe così una dimensione più ampia rispetto alla gestione di singoli bot: il proprietario dei contenuti potrebbe dichiarare una preferenza comune, lasciando agli operatori aderenti il compito di interpretarla correttamente.
Resta però una condizione essenziale. Il segnale produce gli effetti previsti soltanto nei confronti dei servizi che lo riconoscono e scelgono di rispettarlo.
Il rapporto con Google-Extended e le preferenze già configurate
Google dispone già dal 2023 di uno strumento specifico per la gestione di alcuni utilizzi dei contenuti da parte dei propri sistemi di intelligenza artificiale: Google-Extended.
Si tratta di un identificativo configurabile attraverso robots.txt che permette agli editori di intervenire sull’impiego dei contenuti acquisiti da Google per l’addestramento delle future generazioni dei modelli Gemini e per determinate funzionalità di grounding.
Quest’ultima espressione indica l’utilizzo di informazioni recuperate da fonti esterne, comprese quelle presenti nell’indice di ricerca, per migliorare la pertinenza e l’accuratezza delle risposte generate.
Google-Extended non corrisponde a un crawler autonomo con un proprio user-agent nelle richieste HTTP. È un identificativo utilizzato per comunicare preferenze relative a specifici prodotti e utilizzi dei dati; l’acquisizione delle pagine può continuare attraverso gli strumenti di scansione già esistenti.
La nuova proposta prevede una relazione precisa tra il segnale condiviso e questo controllo proprietario.
Quando un sito esprimerà tramite il policy token comune un’opposizione all’addestramento AI e non avrà configurato separatamente Google-Extended, Google prevede di interpretare quella preferenza come se Google-Extended fosse stato disabilitato.
Se invece il proprietario avrà espresso istruzioni specifiche attraverso Google-Extended, queste continueranno a essere considerate. Sarà quindi possibile mantenere una preferenza generale verso gli operatori aderenti al sistema e differenziare la scelta per Google.
La distinzione consente anche di comprendere perché il nuovo meccanismo non comporti automaticamente la sostituzione delle configurazioni esistenti. Google ha annunciato che i controlli proprietari continueranno a funzionare insieme al segnale condiviso.
Nella documentazione ufficiale viene inoltre precisato che i siti che autorizzano specificamente Google-Extended possono essere idonei alla presenza nelle risposte delle applicazioni Gemini attraverso i meccanismi di grounding, con la possibilità di ricevere visite originate da tali risposte.
Non si tratta di una garanzia di citazione o di traffico. È una condizione di ammissibilità a determinate funzionalità, che un editore deve valutare insieme alla propria politica di utilizzo dei contenuti.
La differenza tra addestramento dei modelli e indicizzazione su Google Search
Uno dei punti più delicati riguarda la distinzione tra il permesso di leggere una pagina e quello di utilizzarne il contenuto per addestrare un sistema di intelligenza artificiale.
L’indicizzazione tradizionale permette a Google Search di scoprire le pagine, analizzarle e inserirle nei risultati di ricerca. L’addestramento AI riguarda invece l’impiego di dati nei processi attraverso i quali vengono sviluppati o aggiornati i modelli.
Sono attività differenti, anche quando possono coinvolgere contenuti acquisiti attraverso infrastrutture comuni.
Google chiarisce che Google-Extended non determina l’inclusione di un sito nei risultati di Google Search e non costituisce un fattore di posizionamento.
Un editore può quindi limitare gli utilizzi coperti da Google-Extended mantenendo le normali condizioni di accessibilità per Googlebot.
Questa separazione è particolarmente rilevante per le testate giornalistiche, che dipendono in parte dalla visibilità sui motori di ricerca ma possono avere interessi differenti rispetto all’impiego dei propri articoli nell’addestramento dei modelli.
La stessa questione riguarda i siti aziendali. Un’impresa può voler continuare a comparire nelle ricerche relative ai propri prodotti, servizi e contenuti informativi, pur esprimendo una preferenza contraria all’utilizzo degli stessi materiali per lo sviluppo di sistemi AI.
Il controllo dei crawler AI con robots.txt, nella configurazione proposta, interviene sulla destinazione d’uso dichiarata e non implica necessariamente la sospensione delle normali operazioni di indicizzazione.
Questo non significa che tutte le funzionalità basate sull’intelligenza artificiale siano automaticamente indipendenti dalle preferenze espresse. Alcune modalità di utilizzo dei contenuti, come il grounding di determinati prodotti Google, rientrano nell’ambito dei controlli di Google-Extended.
Occorre quindi distinguere almeno tre questioni: la possibilità per un crawler di accedere alla pagina, l’eventuale presenza del contenuto nei risultati di ricerca e l’autorizzazione ai particolari utilizzi contemplati dai controlli per l’AI.
Confondere queste attività può portare a configurazioni contrarie agli obiettivi del sito, soprattutto quando le istruzioni di robots.txt vengono modificate senza considerare il funzionamento dei diversi servizi.
Il lavoro dell’IETF e lo stato effettivo del progetto
La proposta non nasce come specifica autonoma sviluppata esclusivamente da Google. Si colloca nel percorso dell’AI Preferences Working Group, abbreviato AIPREF, attivo presso l’IETF.
Il gruppo lavora alla definizione di strumenti che permettano di esprimere preferenze leggibili automaticamente sull’acquisizione e sull’utilizzo dei contenuti digitali da parte dei sistemi di intelligenza artificiale.
L’attività comprende lo sviluppo di un vocabolario condiviso e di meccanismi per associare tali preferenze alle risorse pubblicate online, anche attraverso protocolli e metadati.
Nel settembre 2026 era disponibile una versione della proposta A Vocabulary For Expressing AI Usage Preferences, dedicata alla descrizione delle diverse categorie di utilizzo dei contenuti.
Il documento distingue, tra le altre, le finalità legate all’addestramento AI, all’impiego dei contenuti da parte di sistemi AI e alla ricerca. È una distinzione significativa perché una preferenza relativa al training non equivale necessariamente a una limitazione per ogni possibile elaborazione automatizzata.
Il 30 ottobre è stato pubblicato anche l’Internet-Draft Machine-Readable Training Preference Signal, firmato da Kevin Kelley di Anthropic.
Questo secondo documento descrive una soluzione concreta per rappresentare la preferenza sull’addestramento attraverso il token __usage_ai-training all’interno di robots.txt.
La proposta stabilisce che il token debba essere riconosciuto secondo le regole di corrispondenza previste dal protocollo e che le indicazioni Allow e Disallow debbano essere interpretate come preferenze favorevoli o contrarie alla finalità di addestramento.
Precisa inoltre che l’assenza del token non costituisce un’autorizzazione esplicita: significa semplicemente che, attraverso quel particolare meccanismo, non è stata espressa alcuna preferenza.
Un’altra caratteristica riguarda l’indipendenza dalle normali regole dei crawler. Le istruzioni destinate a un determinato programma di scansione non devono essere automaticamente trasformate in dichiarazioni generali sull’addestramento AI.
Il documento rimane un Internet-Draft, quindi una proposta tecnica suscettibile di modifiche, sostituzioni o abbandono. La sua pubblicazione non certifica il completamento del processo di standardizzazione.
Google, nell’annuncio del 30 ottobre, ha indicato il 2027 come orizzonte per iniziare a supportare il nuovo controllo insieme ad altri fornitori di servizi AI. La documentazione relativa ai crawler Google precisa ulteriormente l’intenzione di introdurre il supporto nella prima parte dell’anno.
Al momento non è possibile considerare il sistema universalmente operativo, né presumere che tutti gli sviluppatori di modelli AI aderiranno alle medesime regole.
Cosa cambia per editori, aziende e gestori di siti web
L’interesse operativo del nuovo sistema dipende dalla possibilità di ridurre la frammentazione delle istruzioni.
Un quotidiano online può pubblicare ogni giorno articoli, fotografie, archivi e contenuti di approfondimento. Un portale aziendale può ospitare documentazione tecnica, analisi di settore, guide, cataloghi e materiali sviluppati attraverso investimenti editoriali.
In entrambi i casi, la disponibilità pubblica dei contenuti non coincide necessariamente con la volontà di consentirne qualsiasi utilizzo successivo.
La diffusione dei crawler associati ai servizi AI ha reso più complessa la gestione delle preferenze, perché gli operatori possono utilizzare identificativi differenti e adottare politiche non uniformi.
Un segnale condiviso permetterebbe di centralizzare almeno una parte delle decisioni, fermo restando che il relativo rispetto dipenderebbe dai servizi aderenti.
Per i gestori di contenuti, il controllo dei crawler AI con robots.txt richiederà anzitutto una classificazione delle risorse pubblicate e delle finalità che si intendono consentire.
Un sito editoriale potrebbe decidere di esprimere una preferenza contraria all’addestramento per i propri archivi giornalistici, mantenendo una scelta differente per altre aree. Un’impresa potrebbe voler applicare la stessa preferenza ai contenuti tecnici originali, continuando a favorire la scoperta delle pagine commerciali attraverso i motori di ricerca.
Sono possibilità operative previste dalla logica del sistema, non effetti già garantiti da tutte le piattaforme AI.
La gestione sarà particolarmente delicata nei siti che utilizzano WordPress o altri CMS, dove il file robots.txt può essere generato dinamicamente oppure modificato da plugin SEO, strumenti di sicurezza e configurazioni del server.
Prima di introdurre nuove istruzioni sarà necessario verificare il contenuto effettivamente restituito dal dominio, la presenza di regole già attive e l’eventuale interazione tra gruppi destinati a crawler differenti.
Anche la struttura delle directory merita attenzione. Il protocollo utilizza regole di corrispondenza dei percorsi e attribuisce rilievo alle istruzioni più specifiche. Una configurazione apparentemente generale può quindi contenere eccezioni che modificano la preferenza per singole sezioni.
Nei siti di grandi dimensioni, con più domini e sottodomini, la gestione delle preferenze dovrà inoltre tenere conto del fatto che robots.txt opera in relazione allo specifico host e servizio per il quale viene pubblicato.
Il progetto potrebbe rendere più semplice la comunicazione di una politica editoriale uniforme, ma non elimina la necessità di verifiche tecniche sulle singole installazioni.
Robots.txt non impedisce materialmente la copia dei contenuti
La distinzione tra preferenza dichiarata e protezione effettiva è essenziale per valutare il nuovo sistema.
Il Robots Exclusion Protocol, standardizzato attraverso RFC 9309 nel settembre 2022, definisce un metodo attraverso il quale i proprietari dei siti comunicano istruzioni ai crawler. Non costituisce però un sistema di autorizzazione all’accesso.
Il file robots.txt è pubblico e le regole che contiene devono essere interpretate e rispettate dai programmi automatici.
Un crawler cooperativo può leggere le indicazioni e adeguare il proprio comportamento. Un programma che decide di ignorarle non incontra, per questo solo motivo, una barriera tecnica che gli impedisca di richiedere le pagine.
Il nuovo token aggiunge una possibilità di comunicare preferenze sull’utilizzo dei contenuti, ma non introduce meccanismi di autenticazione, crittografia o blocco delle richieste.
Lo stesso mandato dell’AIPREF Working Group esclude dal proprio ambito la realizzazione di sistemi tecnici per imporre il rispetto delle preferenze, oltre ai meccanismi di autenticazione dei crawler e alle procedure di verifica dell’effettivo utilizzo dei dati nell’addestramento.
Il controllo dei crawler AI con robots.txt non deve quindi essere interpretato come una protezione assoluta contro l’acquisizione dei contenuti.
I proprietari dei siti che devono impedire l’accesso a documenti riservati continuano ad aver bisogno di misure appropriate, come autenticazione, autorizzazioni applicative e restrizioni lato server.
Anche l’analisi dei log presenta limiti precisi. Le richieste registrate dal server possono aiutare a individuare programmi automatici, frequenza degli accessi e percorsi visitati, ma non dimostrano da sole come i contenuti acquisiti vengano successivamente utilizzati.
Inoltre, l’identificativo user-agent riportato nelle richieste HTTP può essere falsificato. Per verificare l’effettiva provenienza di un crawler possono essere necessari controlli aggiuntivi sull’infrastruttura di rete.
Il rapporto con le regole europee sull’intelligenza artificiale
Il progetto si inserisce anche nel confronto europeo sulle condizioni di utilizzo dei contenuti protetti dal diritto d’autore per l’addestramento dei modelli di intelligenza artificiale.
Nell’Unione europea, la disciplina sul text and data mining e il quadro normativo relativo ai sistemi AI hanno reso particolarmente rilevante la possibilità di comunicare riserve e preferenze in forme leggibili automaticamente.
Il Codice di buone pratiche per i fornitori di modelli di intelligenza artificiale per finalità generali, sviluppato nell’ambito dell’AI Act europeo, riconosce il ruolo di robots.txt tra gli strumenti utilizzabili dagli editori per esprimere riserve attraverso segnali interpretabili dai sistemi automatici.
Google richiama espressamente questa impostazione nel comunicato del 30 ottobre, presentando il nuovo meccanismo come una proposta coerente con l’obiettivo di rendere più riconoscibili le preferenze dei titolari dei contenuti.
La possibilità di esprimere un’opposizione attraverso un token comune non risolve tuttavia tutte le questioni giuridiche.
L’efficacia di una riserva rispetto a uno specifico utilizzo dipende dalle norme applicabili, dalla natura del materiale e dalle circostanze in cui viene acquisito o elaborato. Inoltre, la comunicazione di una preferenza non equivale automaticamente alla prova della sua osservanza.
Il lavoro IETF riguarda principalmente la definizione di un linguaggio tecnico condiviso. Non determina autonomamente quali utilizzi siano leciti, quali eccezioni al diritto d’autore siano applicabili o quali conseguenze derivino da un’eventuale violazione.
Per gli editori professionali, il segnale potrebbe comunque diventare uno strumento utile per rendere più esplicite e documentabili le proprie scelte, soprattutto in presenza di cataloghi editoriali estesi e di rapporti con diversi fornitori di servizi digitali.
Le verifiche necessarie prima dell’adozione
L’annuncio del 30 ottobre non rende obsolete le configurazioni già utilizzate dai siti web.
Nella fase attuale, chi gestisce contenuti online deve continuare a considerare i controlli effettivamente supportati dai singoli operatori, evitando di sostituirli prematuramente con un segnale che non ha ancora raggiunto un’adozione generale.
Il controllo dei crawler AI con robots.txt potrà essere integrato nelle politiche di gestione dei contenuti quando le implementazioni saranno disponibili e le relative specifiche sufficientemente consolidate.
Una verifica concreta dovrà riguardare soprattutto il comportamento dei diversi servizi rispetto alle istruzioni condivise e alle eventuali eccezioni proprietarie.
Nel caso di Google, la futura interazione con Google-Extended rappresenta già un elemento documentato: il segnale comune di opposizione sarà interpretato come una restrizione per gli utilizzi coperti da Google-Extended soltanto in assenza di una configurazione specifica di quest’ultimo.
Questa precedenza permette di conservare decisioni differenziate, ma rende indispensabile controllare quali istruzioni siano presenti nel file e quale significato assumano quando vengono considerate insieme.
Un’ulteriore questione riguarda i contenuti acquisiti prima dell’introduzione o della modifica delle preferenze. La proposta tecnica collega l’interpretazione delle istruzioni al file robots.txt applicabile al momento del recupero della risorsa. Non stabilisce, attraverso il solo nuovo token, un meccanismo generale per cancellare dati già raccolti o rimuoverli da modelli precedentemente addestrati.
La distinzione avrà conseguenze pratiche per gli archivi editoriali e per le aziende che intendono rivedere nel tempo le proprie politiche di disponibilità dei contenuti.
L’appuntamento operativo rimane il 2027, quando Google prevede di avviare il supporto al segnale condiviso. La sua utilità dipenderà dall’effettiva adesione degli altri operatori e dalla capacità delle implementazioni di interpretare in modo coerente le preferenze espresse dai siti.
Nel frattempo, il documento pubblicato il 30 ottobre fornisce già un’indicazione concreta sulla direzione del progetto: utilizzare le regole esistenti di robots.txt per distinguere l’accessibilità di una risorsa web dalla disponibilità del suo contenuto per l’addestramento dei modelli AI.