Un site poate apărea pe prima pagină Google și, totuși, să lipsească din răspunsurile ChatGPT. Cauza nu ține neapărat de conținut. De multe ori e vorba de o barieră tehnică de care proprietarul site-ului nici nu știe. Google se bazează în mare parte pe permisiunile declarate de site, iar acestea sunt aproape mereu acordate. Crawlerele AI trec însă printr-un filtru în plus: sistemele de securitate construite inițial ca să oprească atacurile și traficul automat nedorit. Acestea pot respinge roboții AI chiar dacă, pe hârtie, site-ul le permite accesul. Diferența dintre ce declară site-ul și ce se întâmplă de fapt pe server iese la iveală doar dacă cineva verifică fiecare crawler AI separat, arată o analiză publicată în iulie 2026 de businesstechnavigator.com.
Contează și ce robot anume e blocat. OpenAI folosește doi roboți cu roluri diferite. GPTBot colectează conținut care poate fi folosit la antrenarea și îmbunătățirea modelelor. OAI-SearchBot aduce paginile în rezultatele și răspunsurile generate prin funcțiile de căutare ale ChatGPT. Dacă blochezi primul, brandul tău nu dispare automat din ChatGPT. Dacă îl blochezi pe al doilea, paginile site-ului pot ajunge să nu mai fie accesate și citate direct, sau să fie citate mult mai rar. Nici atunci brandul nu dispare complet, pentru că AI-ul îl poate menționa în continuare pe baza altor surse la care are acces. Pierzi însă controlul asupra informației: despre tine vorbesc alții, nu propriul tău site.
Cifrele arată că multe companii au început să facă această distincție, chiar dacă nu mereu intenționat. Chris Humphrey a analizat în iunie 2026 un număr de 7.870 de fișiere robots.txt care au putut fi evaluate. Aproximativ 17,6% dintre ele blocau GPTBot și doar 6,6% blocau OAI-SearchBot. Pe scurt, site-urile refuză mai des să fie folosite la antrenare decât să fie citate în căutări. Datele nu dovedesc însă că fiecare companie a ales asta în cunoștință de cauză. La fel de bine poate fi vorba de reguli implicite, de configurări vechi uitate pe server sau pur și simplu de faptul că nimeni nu știa ce face fiecare crawler. Ahrefs a mers mult mai departe și a analizat aproape 461 de milioane de fișiere robots.txt, inclusiv pe cele ale subdomeniilor. La această scară, rata de blocare pentru GPTBot a fost de 7,3%. Când sunt măsurate doar domeniile principale, rata e mai mică.
Datele Cloudflare Radar pentru primul trimestru din 2026 arată cât de împărțit e internetul pe această temă. GPTBot este în același timp crawlerul AI blocat cel mai des prin reguli DISALLOW și cel mai des permis explicit prin reguli ALLOW. Unii editori și proprietari de site-uri văd în AI o amenințare la adresa traficului și a conținutului lor. Alții îl văd ca pe un nou canal de vizibilitate pe care nu și-l permit să-l rateze. Tensiunea asta nu va dispărea curând. Pe măsură ce tot mai mulți utilizatori caută informații direct în chatboți, cei care se blochează din reflex riscă să piardă exact publicul pe care îl urmăreau în Google.
Tema a intrat deja în oferta agențiilor. Departamentul de digital marketing al United Media Services tratează vizibilitatea în AI Search ca parte a strategiei GEO (optimizare pentru motoarele generative), alături de SEO, analiza datelor și automatizare. Scopul declarat este ca rezultatele obținute cu conținutul să fie legate de obiectivele reale de vizibilitate ale fiecărui client.
Concluzia practică e simplă. O poziție bună în Google nu garantează aceeași vizibilitate în ChatGPT sau în alte motoare generative, pentru că fiecare funcționează pe alte mecanisme tehnice. Un brand poate lipsi din răspunsurile AI din mai multe motive, de la relevanță sau autoritate insuficientă până la blocaje tehnice. Permisiunile din robots.txt rămân necesare, dar nu sunt suficiente atât timp cât un firewall sau un sistem anti-bot poate opri separat tocmai roboții care ar aduce brandul în aceste răspunsuri. Înainte de a investi în conținut nou pentru AI, primul pas este să verifici cine are, de fapt, acces la site.
Sursă text și foto: G4Media — articolul original