我有一个网站，在上面使用了谷歌自定义搜索引擎。我希望谷歌自定义搜索引擎可以爬取我的网站，但是我不希望它出现在普通谷歌搜索结果中。我在我的robots.txt文件中添加了以下内容，希望谷歌自定义搜索引擎的机器人会忽略它，因为我在设置中指定了我想让谷歌自定义搜索引擎爬取的页面。
User-agent: *
Disallow: /
我猜谷歌CSE机器人也必须遵守robots.txt规则。那么有没有办法让我的页面不出现在搜索引擎搜索结果中，但是仍然可以被谷歌CSE索引呢？谢谢！
只允许使用Google CSE搜索，禁止在ROBOTS.txt中使用Google标准搜索。
7
- Bender
1个回答
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 56 robots.txt只允许根目录，禁止其它内容访问？
- 3 自定义Google搜索（CSE）：如何在结果链接末尾添加查询字符串？
- 3 Google自定义搜索如何使用多个搜索标签进行搜索筛选？
- 5 如何在Objective-C中使用Google自定义搜索进行图像搜索
- 7 在Google Shopping上使用Google自定义搜索
- 4 robots.txt：禁止所有但只允许少数，为什么？
- 10 Google CSE结合Twitter Bootstrap使用时搜索框无法正确显示
- 3 Google CSE - 隐藏存储在Google CSE中的细化选项
- 8 使用Google CSE v2时，是否有一种方法可以注册搜索结果回调函数？
- 14 使用自定义搜索框和按钮的Google自定义搜索？