,

robots.txt

Установка вывода в конфиге

server {
...
    location = /robots.txt {
       add_header Content-Type text/plain;
       return 200 "User-agent: *\nDisallow: /\n";
    }
}