Generatore di robots.txt
Spunta i bot da bloccare (o gli unici da ammettere) dal nostro elenco di 32 crawler e bot di IA. Ottieni un robots.txt da copiare e le regole Cloudflare, nginx e Apache per farlo rispettare.
Parti da un modello
Le tue regole
robots.txt
# Generato da iplover.com/robots-txt-generator il 2026-11-21
# robots.txt is a request: well-behaved bots follow it, others can ignore it.
User-agent: Claude-SearchBot
Disallow: /
User-agent: *
Allow: /
Cloudflare (regola WAF personalizzata)
# Dashboard Cloudflare > Security > WAF > Custom rules > Create rule > Edit expression:
(lower(http.user_agent) contains "claude-searchbot")
# Azione: Block
nginx
# Inside your server { } block
if ($http_user_agent ~* "(Claude-SearchBot)") {
return 403;
}
Apache (.htaccess)
# .htaccess (needs mod_rewrite)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Claude-SearchBot) [NC]
RewriteRule .* - [F,L]
Non nelle regole del server: . Sono controlli solo per robots.txt, senza un user agent proprio, quindi robots.txt è l'unico posto dove impostarli.
robots.txt è una richiesta che i bot corretti rispettano. Non ferma un bot che lo ignora, e alcuni fetcher di IA lo ignorano quando è una persona a chiedere la pagina. Per imporre un blocco usa le regole del server qui sopra o il tuo firewall o CDN. Confrontano lo user agent, che un bot disonesto può falsificare.
Registro controllato il 2026-11-11. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.
Cosa fa questo strumento
robots.txt è un file di testo nella radice del sito (example.com/robots.txt) che dice ai crawler quali parti possono scaricare. Ogni bot cerca il proprio nome in una riga “User-agent” e segue le regole sotto di essa.
Le aziende di IA oggi usano diversi tipi di bot: alcuni raccolgono pagine per addestrare modelli, altri scaricano una pagina quando una persona chiede a un assistente, altri costruiscono indici di ricerca. Bloccare i bot di addestramento non ti toglie dai normali risultati di ricerca; bloccare i crawler dei motori di ricerca sì.
Ogni bot, con il nome esatto, l'operatore e cosa fa, è nella directory di bot e IA.
Come leggere i risultati
- Scegli un modello o spunta i bot, poi decidi se quelli spuntati vengono bloccati o sono gli unici ammessi.
- Copia il robots.txt e mettilo nella radice del sito, sostituendo (o unendo) quello che hai. Le regole per ogni bot valgono per tutto il sito (Disallow: /).
- Per imporre il blocco aggiungi la regola Cloudflare, nginx o Apache: risponde «403 Forbidden» agli user agent corrispondenti.
- Verifica che funzioni: dopo qualche giorno incolla il log di accesso nel controllo dei log, oppure verifica un visitatore che dice di essere uno di questi bot.
Domande frequenti
Come blocco ChatGPT e gli altri bot di IA sul mio sito?
Usa il modello «Blocca tutti i bot IA, tieni la ricerca». Aggiunge al robots.txt GPTBot (addestramento), ChatGPT-User (pagine richieste dagli utenti) e gli equivalenti di altre aziende di IA. OpenAI dice che GPTBot rispetta robots.txt; ChatGPT-User potrebbe non farlo, perché è una persona a chiedere la pagina, quindi aggiungi anche la regola del server.
Bloccare i bot di IA danneggia il mio posizionamento su Google?
No, se tieni i crawler di ricerca. Googlebot è ciò che indicizza le pagine per Google Search. Google-Extended è un controllo robots.txt separato: bloccarlo impedisce l'uso dei contenuti per addestrare Gemini senza toccare la Ricerca.
robots.txt ferma tutti i bot?
No. È una richiesta. I crawler seri la rispettano, ma gli scraper e alcuni fetcher di IA la ignorano. Per i bot che ignorano robots.txt usa una regola del firewall o del CDN, ricordando che un bot può falsificare lo user agent.
Che differenza c'è tra bloccare e ammettere solo alcuni bot?
«Blocca» elenca i bot da tenere fuori e lascia entrare tutti gli altri. «Ammetti solo» lascia entrare i bot elencati e chiede a tutti gli altri di stare fuori, anche a quelli che ancora non esistono: è più restrittivo, e anche i nuovi motori di ricerca resteranno fuori.