Controlla la mia connessione

Generatore di robots.txt

Spunta i bot da bloccare (o gli unici da ammettere) dal nostro elenco di 32 crawler e bot di IA. Ottieni un robots.txt da copiare e le regole Cloudflare, nginx e Apache per farlo rispettare.

Parti da un modello

Cosa devono fare i bot spuntati?
Motore di ricerca
Addestramento IA
Richieste di assistenti IA
Crawler SEO
Altro

Le tue regole

robots.txt

# Generato da iplover.com/robots-txt-generator il 2026-11-21
# robots.txt is a request: well-behaved bots follow it, others can ignore it.

User-agent: Perplexity-User
Disallow: /

User-agent: *
Allow: /

Cloudflare (regola WAF personalizzata)

# Dashboard Cloudflare > Security > WAF > Custom rules > Create rule > Edit expression:

(lower(http.user_agent) contains "perplexity-user")

# Azione: Block

nginx

# Inside your server { } block
if ($http_user_agent ~* "(Perplexity-User)") {
    return 403;
}

Apache (.htaccess)

# .htaccess (needs mod_rewrite)
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Perplexity-User) [NC]
RewriteRule .* - [F,L]

robots.txt è una richiesta che i bot corretti rispettano. Non ferma un bot che lo ignora, e alcuni fetcher di IA lo ignorano quando è una persona a chiedere la pagina. Per imporre un blocco usa le regole del server qui sopra o il tuo firewall o CDN. Confrontano lo user agent, che un bot disonesto può falsificare.

Registro controllato il 2026-11-11. Gli elenchi di indirizzi vengono scaricati ogni 6 ore.

Cosa fa questo strumento

robots.txt è un file di testo nella radice del sito (example.com/robots.txt) che dice ai crawler quali parti possono scaricare. Ogni bot cerca il proprio nome in una riga “User-agent” e segue le regole sotto di essa.

Le aziende di IA oggi usano diversi tipi di bot: alcuni raccolgono pagine per addestrare modelli, altri scaricano una pagina quando una persona chiede a un assistente, altri costruiscono indici di ricerca. Bloccare i bot di addestramento non ti toglie dai normali risultati di ricerca; bloccare i crawler dei motori di ricerca sì.

Ogni bot, con il nome esatto, l'operatore e cosa fa, è nella directory di bot e IA.

Come leggere i risultati

  • Scegli un modello o spunta i bot, poi decidi se quelli spuntati vengono bloccati o sono gli unici ammessi.
  • Copia il robots.txt e mettilo nella radice del sito, sostituendo (o unendo) quello che hai. Le regole per ogni bot valgono per tutto il sito (Disallow: /).
  • Per imporre il blocco aggiungi la regola Cloudflare, nginx o Apache: risponde «403 Forbidden» agli user agent corrispondenti.
  • Verifica che funzioni: dopo qualche giorno incolla il log di accesso nel controllo dei log, oppure verifica un visitatore che dice di essere uno di questi bot.

Domande frequenti

Come blocco ChatGPT e gli altri bot di IA sul mio sito?

Usa il modello «Blocca tutti i bot IA, tieni la ricerca». Aggiunge al robots.txt GPTBot (addestramento), ChatGPT-User (pagine richieste dagli utenti) e gli equivalenti di altre aziende di IA. OpenAI dice che GPTBot rispetta robots.txt; ChatGPT-User potrebbe non farlo, perché è una persona a chiedere la pagina, quindi aggiungi anche la regola del server.

Bloccare i bot di IA danneggia il mio posizionamento su Google?

No, se tieni i crawler di ricerca. Googlebot è ciò che indicizza le pagine per Google Search. Google-Extended è un controllo robots.txt separato: bloccarlo impedisce l'uso dei contenuti per addestrare Gemini senza toccare la Ricerca.

robots.txt ferma tutti i bot?

No. È una richiesta. I crawler seri la rispettano, ma gli scraper e alcuni fetcher di IA la ignorano. Per i bot che ignorano robots.txt usa una regola del firewall o del CDN, ricordando che un bot può falsificare lo user agent.

Che differenza c'è tra bloccare e ammettere solo alcuni bot?

«Blocca» elenca i bot da tenere fuori e lascia entrare tutti gli altri. «Ammetti solo» lascia entrare i bot elencati e chiede a tutti gli altri di stare fuori, anche a quelli che ancora non esistono: è più restrittivo, e anche i nuovi motori di ricerca resteranno fuori.