Se gestisci un sito aziendale, è probabile che agenti AI lo stiano visitando già oggi senza che tu lo sappia. Una ricerca del Financial Times ha scoperto agenti OpenAI su 55 siti i cui amministratori non avevano nemmeno idea di quello che stava succedendo. Capire chi visita il tuo sito e cosa lasciar passare è il primo passo per proteggere i tuoi contenuti e il tuo traffico.
In breve: gli agenti AI si identificano nel server log dal loro user agent (una firma che ogni bot lascia). Leggendo l'access log del tuo server o di Cloudflare, puoi vedere quali bot hanno accesso e usare regole per bloccare quelli indesiderati senza danneggiare la SEO organica.
Ogni volta che un agente AI accede al tuo sito, scrive il suo user agent nel log del server. Lo user agent è una stringa che identifica il software, il browser o il bot che sta leggendo la pagina. Per un agente AI, questa stringa contiene il nome del servizio: GPTBot per OpenAI, Anthropic-ai per Claude, Google-Extended per Gemini.
Il problema è che non tutti gli agenti dichiarano chiaramente quello che stanno facendo. Alcuni si camuffano da browser normali per evitare i blocchi, rendendo difficile distinguerli. Inoltre, il traffico che un agente AI genera non converte: non è un cliente potenziale, non legge i tuoi contenuti per imparare, ma per insegnarli a un modello di linguaggio.
Se il tuo sito consuma banda in modo sproporzionato o i log mostrano picchi di traffico da user agent sconosciuti, gli agenti AI potrebbero essere la causa.
Lo user agent è il primo indizio. Quando un bot accede al tuo sito, il suo user agent appare nel log di accesso. I maggiori agenti AI usano questi identificatori:
GPTBot - OpenAI (per addestrare GPT e accedere ai dati)Anthropic-ai - Anthropic (Claude e i modelli correlati)Google-Extended - Google (Gemini, AI Overview, e addestramento)CCBot - Common Crawl (raccoglie dati per infrastrutture AI pubbliche)AmazonBot - Amazon (Alexa e sistemi di raccomandazione)Facebookexternalhit - Meta (Threads, AI indiretti)Ma non è sempre così semplice. Un agente AI potrebbe arrivarti con lo user agent di un browser comune, rendendo la distinzione visualmente impossibile nei log grezzi. Per questo il secondo strumento è fondamentale.
L'access log del tuo server web (Apache, Nginx, IIS) registra ogni richiesta HTTP con questi dati:
Le colonne che contano sono:
Per trovare il traffic da agenti AI, cerca nel user agent i nomi elencati sopra. Se usi un server Linux, il comando grep funziona bene:
Questo comando estrae tutte le righe del log dove compare uno di questi identificatori. Se il risultato è vuoto, gli agenti AI noti non stanno visitando il tuo sito (o il tuo robots.txt li sta già bloccando).
Se il tuo sito passa per Cloudflare (un servizio molto usato dalle PMI per protezione e cache), puoi leggere il traffico bot direttamente dalla dashboard senza accedere ai log grezzi del server.
In Cloudflare, vai su Analytics → Bots (o Security → Bot Management se hai il piano Business o superiore). La scheda Bot Traffic mostra:
Se noti che il 10-20% del tuo traffico viene da agenti AI noti, è il momento di decidere cosa fare. Un traffico così alto consuma banda, logspazio e risorse del server senza portare conversioni.
Non tutti gli agenti AI vanno bloccati allo stesso modo. Dipende dal tuo business e dalla tua strategia di contenuti.
1. Agenti per l'addestramento pubblico (GPTBot, Google-Extended, Anthropic-ai)
Questi agenti raccolgono dati dai tuoi contenuti per addestrare o aggiornare i modelli pubblici. Lasciandoli passare, i tuoi articoli potrebbero finire citati in una risposta AI di ChatGPT o Gemini. È una forma di visibilità, ma non genera traffico diretto né lead.
Se vuoi essere citato nelle risposte AI, devi lasciare questi agenti accedere ai tuoi contenuti e assicurarti che siano ben strutturati e affidabili. Se non vuoi che i tuoi contenuti finiscano in un LLM, devi bloccarli nel robots.txt o con una regola Cloudflare.
2. Agenti per applicazioni aziendali (bot interni, agenti di ricerca proprietari)
Molte aziende usano agenti AI internamente per cercare nei dati dei clienti o dei fornitori. Questi agenti arrivano da IP fissi e spesso richiedono autenticazione. Se noti traffico con user agent sconosciuto da IP coerenti, potrebbe essere uno di questi: valuta se bloccare o autorizzare in base al consenso che hai dato al fornitore del servizio.
3. Agenti dannosi o non autorizzati (meta-crawler, bot privacy-violatori)
Alcuni agenti non dichiarano il loro scopo o vengono usati per raschiare dati senza permesso. Se vedi richieste aggressive (centinaia di pagine in pochi minuti) da user agent sconosciuti, blocca subito con una regola Cloudflare o nel robots.txt.
1. Accedi ai log del server o Cloudflare: se usi Cloudflare, apri Analytics → Bots. Se gesti il server direttamente, estrai l'access log e cerca i nomi dei bot noti con grep o uno strumento di analisi (Loggly, Splunk, ELK stack sono piattaforme comuni).
2. Identifica il traffico AI: elenca tutti gli agenti che trovano e conta le loro richieste. Se rappresentano più del 5-10% del traffico totale, è il momento di valutare una regola di blocco.
3. Decidi la tua strategia di citazione: se vuoi essere citato nelle risposte AI, lascia passare GPTBot, Google-Extended e Anthropic-ai. Se preferisci proteggere i tuoi contenuti, bloccali nel robots.txt con una riga come Disallow: / # per GPTBot.
4. Blocca gli agenti indesiderati in Cloudflare: vai su Security → WAF Rules e crea una regola personalizzata. L'esempio sottostante blocca GPTBot ma lascia passare tutto il resto:
Cambia l'operatore a AND se vuoi bloccare più agenti insieme.
5. Monitora i cambiamenti: dopo la regola, controlla i log per almeno una settimana. Verifica che il traffico AI scenda e che il traffico legittimo non sia stato colpito per errore.
6. Documenta la decisione: scrivi in un memo interno perché hai scelto di bloccare o lasciare passare certi agenti. Serve se devi rispondere a richieste di dati o se la normativa cambia (l'AI Act richiede trasparenza su chi accede ai dati).
User-agent: GPTBot e Disallow: / al file. Gli agenti rispettosi lo leggeranno. Se continua a venire, usi una regola Cloudflare come secondo strato.GPTBot (l'agente OpenAI) ha letto 500 pagine del tuo sito, probabilmente per aggiornare il modello o per aiutare un utente a cercare informazioni nel tuo sito all'interno di ChatGPT. Non è una minaccia, ma è traffico che non converte.
Sì. Bloccare agenti AI (anche Google-Extended) non influisce sul ranking di Google su Search. Google usa crawler separati per l'indicizzazione (Googlebot) e per Gemini (Google-Extended). Se blocchi Google-Extended, perdi solo la citazione in Gemini, non il ranking organico.
Corretto. ChatGPT potrebbe avere ancora dati vecchi della tua pagina nella memoria di addestramento, ma non li aggiornerà. Se il tuo contenuto cambia, ChatGPT continuerà a citare la versione vecchia fino al prossimo addestramento.
OpenAI pubblica gli IP di GPTBot nella documentazione ufficiale, ma cambiano nel tempo. È più affidabile usare il user agent o una regola Cloudflare che controlla il nome dell'agente.
Se vedi un pattern sospetto (centinaia di richieste da un IP datacenter in pochi minuti, sempre alle stesse ore, da un user agent generico), potrebbe essere un agente mascherato. Usa un servizio come whois per verificare a chi appartiene l'IP. Se è un datacenter AWS o Google, scrutinizza il pattern della navigazione (visita pagine casuali? Segue i link? Carica javascript?). Un agente nascosto spesso non esegue javascript e non segue pattern umani.
Riceve una risposta HTTP 403 (Forbidden) e smette di tentare per un po'. Se è un agente rispettoso (come GPTBot), rinuncia. Se è un agente aggressivo, potrebbe ritentare con un user agent diverso.
Il traffico da agenti AI è visibile nei tuoi log server e in Cloudflare, e identificarlo è il primo passo. Non serve una competenza tecnica profonda: basta saper leggere un access log o usare la dashboard di Cloudflare. La decisione importante viene dopo: lasciare gli agenti passare significa permettere che i tuoi contenuti vengano citati nelle risposte AI, perdendo traffico diretto ma guadagnando visibilità. Bloccarli significa proteggere i contenuti e la banda, ma rimanere invisibile ai sistemi AI.
Inizia controllando il tuo attuale traffico AI questa settimana. Apri Cloudflare o l'access log, conta quante richieste arrivano da GPTBot e gli altri nomi sulla lista. Se sono meno del 5% del totale, non è un problema urgente. Se sono il 15% o più, decidi la tua strategia e implementa una regola. Documenta la scelta e ripassa i log fra un mese.
