我不确定在机器人使用/请求不同协议的情况下是否有效。但是您可以为HTTPS请求提供不同的robots.txt文件,以此来达到不同的目的。因此,当请求http://example.com/robots.txt时,您会提供普通的robots.txt文件。而当请求https://example.com/robots.txt时,您会提供一个禁止所有内容的robots.txt文件。