robots.txt și roboții AI: pe care să-i lași să intre
Care roboți aduc site-ul tău în răspunsurile ChatGPT, Claude și Google, care doar colectează texte pentru antrenare și cum scrii un robots.txt care nu te scoate din răspunsuri din greșeală.
Actualizat pe · 3 minute de citit
Pe scurt
- robots.txt e fișierul prin care le spui roboților ce pagini pot citi. Stă la adresa
siteultau.ro/robots.txt. - Roboții AI nu fac toți același lucru: unii caută pagini pentru răspunsuri (ei contează pentru vizibilitate), alții colectează texte pentru antrenarea modelelor.
- Blocarea roboților de antrenare e o alegere legitimă și nu te scoate din răspunsuri. Blocarea celor de căutare te scoate.
- Verifică fișierul după fiecare temă nouă, plugin de securitate sau mutare a site-ului: atunci apar cele mai multe blocări din greșeală.
Cum citești un robots.txt
Fișierul e împărțit în grupuri. Fiecare grup începe cu User-agent: (numele robotului, sau * pentru toți) și continuă cu reguli Disallow: (interzis) și Allow: (permis).
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteultau.ro/sitemap.xmlAici toți roboții pot citi tot site-ul, mai puțin zona de administrare. Atenție la două detalii: Disallow: gol înseamnă „nimic interzis”, iar Disallow: / înseamnă „tot site-ul interzis”.
Un robot urmează grupul cu numele lui, dacă există, și doar pe acela; altfel urmează grupul *. Deci un grup separat pentru GPTBot nu schimbă nimic pentru ceilalți roboți.
Roboții AI, pe roluri
| Robot | Ce face | Dacă îl blochezi |
|---|---|---|
OAI-SearchBot (OpenAI) | Caută pagini pentru răspunsurile ChatGPT cu căutare | Nu mai poți apărea ca sursă în ChatGPT |
PerplexityBot | Indexează pentru răspunsurile Perplexity | Nu mai poți apărea ca sursă în Perplexity |
Claude-SearchBot (Anthropic) | Caută pagini pentru răspunsurile Claude | Nu mai poți apărea ca sursă în Claude |
Googlebot | Indexarea Google, inclusiv pentru AI Overviews | Dispari din Google cu totul |
ChatGPT-User, Perplexity-User, Claude-User | Deschid o pagină când un om o cere în conversație | Linkul tău nu se deschide acolo; nu afectează recomandările |
GPTBot, ClaudeBot | Colectează texte pentru antrenarea modelelor | Nimic pentru apariția în răspunsuri; e alegerea ta |
Google-Extended | Decide dacă Gemini îți poate folosi conținutul (antrenare și surse pentru răspunsurile din aplicația Gemini) | Gemini nu te mai folosește ca sursă; Google Search și AI Overviews nu sunt afectate |
Lista e verificată în documentația fiecărui furnizor la 13 septembrie 2026. Furnizorii mai adaugă sau redenumesc roboți, așa că merită recitită din când în când.
Un robots.txt care lasă căutarea și oprește antrenarea
Dacă nu vrei ca textele tale să fie folosite la antrenarea modelelor, dar vrei să apari în răspunsuri, blochezi doar roboții de antrenare:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://siteultau.ro/sitemap.xmlGoogle-Extended lipsește intenționat din exemplu: blocat, Gemini nu mai folosește site-ul tău nici ca sursă pentru răspunsurile din aplicația Gemini. Dacă nu ai un motiv anume să blochezi ceva, varianta cea mai simplă e să nu pui deloc grupuri separate pentru roboții AI: grupul * îi acoperă pe toți.
Unde apar blocările din greșeală
- Un plugin de securitate sau „anti-AI” care adaugă singur reguli pentru toți roboții AI, inclusiv pentru cei de căutare.
- Site-ul de test mutat în producție cu
Disallow: /rămas din perioada de dezvoltare. - Bifa WordPress „Descurajează motoarele de căutare să indexeze acest site”, uitată activă după lansare.
- Setări de rețea: unele servicii de tip CDN (de exemplu Cloudflare) pot bloca roboții AI înainte să ajungă la site. Blocarea asta nu apare în robots.txt; o vezi doar în setările serviciului.
Cum verifici în cinci minute
- Deschide
siteultau.ro/robots.txtîn browser. - Caută numele roboților de căutare din tabelul de mai sus. Dacă unul are
Disallow: /, el nu îți poate citi site-ul. - Dacă nu au grup separat, uită-te la grupul
*: regulile de acolo se aplică și lor. - Dacă folosești Cloudflare sau un serviciu asemănător, verifică și setările lui pentru roboți.
- Sau rulează scanarea gratuită: citește fișierul și îți spune, pe roluri, cine are voie să intre.
Întrebări frecvente
Dacă nu am deloc robots.txt, e o problemă?
Nu pentru vizibilitate: fără fișier, roboții consideră că au voie peste tot. E util totuși să ai unul, măcar ca să le arăți unde e harta site-ului (linia Sitemap).
Dacă blochez GPTBot, dispar din ChatGPT?
Nu. GPTBot colectează texte pentru antrenare. Pentru răspunsurile ChatGPT cu căutare contează OAI-SearchBot. Poți bloca primul și lăsa al doilea.
robots.txt îmi protejează datele de pe site?
Nu. E o cerere pe care roboții serioși o respectă, nu o încuietoare. Ce nu vrei să fie public nu trebuie pus pe site fără parolă.