RU · in the original language

robots.txt не запрещает обучение ИИ: каких роботов закрывать, чтобы сайт остался в ответах нейросетей

Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил: файл решает только, может ли краулер (робот, который…

Хабр Russia · 9 November 2026

This is an extract. The full article is on Хабр.

Read at the source