我有一个相当大的音乐网站，拥有庞大的艺术家数据库。 我注意到其他音乐网站正在抓取我们网站的数据（我在某些地方输入虚假的艺术家名称，然后进行谷歌搜索）。
如何防止屏幕抓取？ 这是否可能？
答: 防范网站屏幕抓取并非易事，但可以采取以下措施： - 添加robots.txt文件以告知搜索引擎哪些页面不应该被抓取 - 限制访问频率以确保数据仅被人类用户获取 - 将数据分散存储，例如使用CDN和多个服务器 - 实施身份验证和验证码来限制机器人对网站的访问 - 监视流量和访问模式以识别可疑行为注意: 由于完整版答案超出了Stack Overflow的长度限制，您需要前往GitHub阅读扩展版本，其中包含更多提示和详细信息。
爬虫，例如谷歌机器人或网站复制程序如HTtrack, 递归地跟随链接到其他页面以获取数据。这些有时会用于有针对性的抓取以获取特定数据，通常与HTML解析器结合使用，从每个页面中提取所需数据。
Shell脚本：有时会使用常见的Unix工具进行抓取：Wget或Curl下载页面，Grep（Regex）提取数据。
HTML解析器，例如基于Jsoup、Scrapy和其他的解析器。类似于基于shell脚本的正则表达式方法，这些方法通过根据HTML中的模式从页面中提取数据，通常忽略其他内容。
例如：如果您的网站有一个搜索功能，这样的抓取器可能会提交搜索请求，然后从结果页面HTML中获取所有结果链接及其标题，以仅获取搜索结果链接及其标题。这是最常见的方法。
屏幕抓取器，例如Selenium或PhantomJS，它们在真实的浏览器中打开您的网站，运行JavaScript、AJAX等，然后从网页中获取所需文本，通常的方法是：
在页面加载完成并JavaScript运行后从浏览器中获取HTML，然后使用HTML解析器提取所需数据。这是最常见的方法，因此许多破坏HTML解析器/抓取器的方法在这里也适用。
截取已呈现页面的屏幕截图，然后使用OCR从屏幕截图中提取所需文本。这种方法很少见，只有真正想要您的数据的专门抓取器才会设置。
网页抓取服务，例如ScrapingHub或Kimono。事实上，有些人的工作就是找出如何抓取您的网站并提取内容供他人使用。
毫不奇怪，专业的抓取服务最难阻挡，但如果您使其难以找到如何抓取您的网站，并且需要耗费时间，这些服务（以及雇佣他们的人）可能不会费心抓取您的网站。
将您的网站嵌入其他网站的页面中，使用frames，并将您的网站嵌入移动应用程序中。
虽然技术上不算抓取，但移动应用程序（Android和iOS）可以嵌入网站，并注入自定义CSS和JavaScript，从而完全改变您的页面外观。
人工复制-粘贴：人们会复制和粘贴您的内容以便在其他地方使用。
这些不同种类的爬虫之间有很多重叠，即使它们使用不同的技术和方法，许多爬虫的行为也会相似。
这些建议大多是我自己的想法，遇到编写爬虫时遇到的各种困难，以及来自网络的信息和思路的碎片。
你无法完全防止它，因为无论你做什么，决心的爬虫仍然可以找出如何进行爬取。但是，您可以通过执行以下几项操作来停止大量的爬取：
定期检查日志，并在出现自动访问（爬虫）迹象的异常活动情况下，例如来自相同IP地址的许多相似操作，您可以阻止或限制访问。
具体来说，一些想法：
限制频率：
仅允许用户（和爬虫）在一定时间内执行有限数量的操作 - 例如，只允许来自任何特定IP地址或用户的几次搜索每秒钟。这将减慢爬虫的速度，并使它们无效。如果操作完成得太快或比真实用户更快，则还可以显示验证码。
检测异常活动：
如果您看到异常活动，例如从特定IP地址发出许多类似请求，某人查看过多的页面或执行异常数量的搜索，则可以防止访问，或为随后的请求显示验证码。
不要仅按IP地址监视和限制频率 - 还要使用其他指标：
如果要阻止或限制频率，请不要仅基于每个IP地址进行操作；您可以使用其他指标和方法来识别特定用户或爬虫。一些可帮助您识别特定用户/爬虫的指标包括：
用户填写表单的速度以及他们在按钮上点击的位置；
您可以使用JavaScript收集大量信息，例如屏幕大小/分辨率，时区，安装的字体等；您可以使用此信息来识别用户。
HTTP标头及其顺序，特别是User-Agent。
例如，如果您从单个IP地址收到许多请求，所有这些请求都使用相同的用户代理，屏幕大小（使用JavaScript确定）以及用户（在这种情况下为爬虫）始终以相同的方式和定期间隔点击按钮，则可能是屏幕刮削器；您可以暂时阻止类似的请求（例如，阻止来自该特定IP地址的具有该用户代理和屏幕大小的所有请求），这样您就不会给该IP地址上的真实用户带来不便，例如在共享互联网连接的情况下。
您还可以进一步采取措施，即使它们来自不同的IP地址，也可以识别出类似的请求，表示分布式刮削（使用僵尸网络或代理网络的刮削器）。如果您收到许多完全相同的请求，但它们来自不同的IP地址，则可以阻止。再次注意不要无意中阻止真实用户。
对于运行JavaScript的屏幕刮削器，这可能是有效的，因为您可以从中获取大量信息。
安全堆栈交换上的相关问题：
如何唯一地识别具有相同外部IP地址的用户？ 获取更多详细信息，以及
为什么人们在IP地址经常更改时使用IP地址禁止？ 了解这些方法的局限性。
使用验证码而不是暂时阻止访问：
实现限制频率的简单方法是暂时阻止访问一定时间，但使用验证码可能更好，有关验证码的部分请参见下面的部分。
如果您的网站可行，要求创建帐户才能查看您的内容。这是防止网络爬虫的好方法，但也会成为真实用户的障碍。
为了避免脚本创建多个账户，您应该：
要求填写电子邮件地址进行注册，并通过发送必须打开链接以激活帐户的方式验证该电子邮件地址。一个电子邮件地址只能对应一个账号。
在注册/创建帐户期间要求解决验证码。
要求创建帐户才能查看内容会让用户和搜索引擎远离您的网站；如果您要求用户必须创建帐户才能查看文章，他们可能会转向其他网站。
helpdesk@example.com联系支持。不要自己开发，使用像Google的reCaptcha这样的东西：它比你自己实现验证码要容易得多，比一些你自己想出来的模糊和扭曲文本解决方案更加用户友好（用户通常只需要勾选一个框），而且对于脚本编写者来说，它也更难解决，比从你的网站提供简单图像要困难得多。
不要在HTML标记中包含验证码的解决方案：我曾经看到一个网站在页面本身中有验证码的解决方案（虽然相当隐蔽），因此使其变得几乎无用。不要做这样的事情。同样，使用像reCaptcha这样的服务，您就不会有这种问题（如果您正确地使用它）。
验证码可以批量解决：有一些验证码解决服务，真正的低薪人员批量解决验证码。同样，使用reCaptcha在这里是一个好主意，因为他们有保护措施（例如用户解决验证码的相对较短时间）。除非您的数据真的很有价值，否则不太可能使用这种服务。
example.com/article.php?articleId=12345 的 URL 进行服务。这（以及类似的事情）将允许爬虫简单地迭代所有的 articleId 并以此请求所有文章。确保您不会意外公开任何 API。例如，如果您正在使用 AJAX 或从 Adobe Flash 或 Java Applets（天哪！）中进行网络请求来加载数据，则轻松查看页面的网络请求并确定这些请求的目标，然后反向工程并在爬虫程序中使用这些端点。确保您混淆您的端点并使其难以被他人使用，如所述。
由于HTML解析器通过识别HTML中的可识别模式来从页面中提取内容，我们可以故意更改这些模式以破坏这些爬虫，甚至干扰它们。大多数这些技巧也适用于其他爬虫，如蜘蛛和屏幕抓取程序。
直接处理HTML的爬虫是通过从HTML页面的特定可识别部分提取内容来进行的。例如：如果您网站上的所有页面都有一个id为“article-content”的
如果您经常更改HTML和页面结构，则此类爬虫将不再起作用。
您可以经常更改HTML中元素的ID和类，甚至可以自动更改。因此，如果您的div.article-content变成了div.a4c36dda13eaf0，并且每周都会更改，则爬虫在最初时将正常工作，但一周后将会崩溃。确保还要更改您的id /类的长度，否则爬虫将使用div.[any-14-characters]来查找所需的div。还要注意其他类似的漏洞。
如果无法从标记中找到所需的内容，则爬虫将从HTML结构的方式中获取它。因此，如果所有文章页面都相似，即在h1之后的每个div内的div都是文章内容，则爬虫将基于此获取文章内容。同样，为了打破这一点，您可以定期和随机地添加/删除额外的标记到您的HTML中，例如添加额外的div或span。使用现代服务器端HTML处理，这应该不太困难。
需要注意的事项：
实现、维护和调试将会很繁琐和困难。
它会妨碍缓存。特别是如果您更改HTML元素的id或class，这将需要相应地更改CSS和JavaScript文件，这意味着每次更改它们时，浏览器都必须重新下载它们。这将导致重复访问者的页面加载时间变长，并增加服务器负载。如果您只更改一次每周，那么这不会是一个大问题。
聪明的爬虫仍然可以通过推断实际内容的位置来获取您的内容，例如，知道页面上的一个大文本块可能是实际文章。这使得仍然可以从页面中找到并提取所需的数据。Boilerpipe正是这样做的。
基本上，请确保对于每个类似的页面，脚本无法轻松找到实际的、期望的内容。
有关如何在PHP中实现此功能的详细信息，请参见如何防止依赖XPath的网络爬虫获取页面内容。
这与之前的提示有些类似。如果根据用户的位置/国家（通过IP地址确定）提供不同的HTML，可能会破坏向用户提供的爬虫程序。例如，如果有人正在编写从您的网站中爬取数据的移动应用程序，它最初可以正常工作，但是当实际分发给用户时，它会出现问题，因为这些用户可能在不同的国家，因此获取不同的HTML，而嵌入式爬取器并未设计用于消耗这些HTML。
例如：您的网站上有一个搜索功能，位于 example.com/search?query=somesearchquery，返回以下HTML：
<div class="search-result">
<h3 class="search-result-title">Stack Overflow has become the world's most popular programming Q & A website</h3>
<p class="search-result-excerpt">The website Stack Overflow has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"search-result-link" href="/stories/story-link">Read more</a>
</div>
(And so on, lots more identically structured divs with search results)
<div class="the-real-search-result">
<h3 class="the-real-search-result-title">Stack Overflow has become the world's most popular programming Q & A website</h3>
<p class="the-real-search-result-excerpt">The website Stack Overflow has now become the most popular programming Q & A website, with 10 million questions and many users, which...</p>
<a class"the-real-search-result-link" href="/stories/story-link">Read more</a>
</div>
<div class="search-result" style="display:none">
<h3 class="search-result-title">Visit Example.com now, for all the latest Stack Overflow related news !</h3>
<p class="search-result-excerpt">Example.com is so awesome, visit now !</p>
<a class"search-result-link" href="http://example.com/">Visit Now !</a>
</div>
(More real search results follow)
<div class="search-result" style="display:none">
<h3 class="search-result-title">This search result is here to prevent scraping</h3>
<p class="search-result-excerpt">If you're a human and see this, please ignore it. If you're a scraper, please click the link below :-)
Note that clicking the link below will block access to this site for 24 hours.</p>
<a class"search-result-link" href="/scrapertrap/scrapertrap.php">I'm a scraper !</a>
</div>
(The actual, real, search results follow.)
不要忘记在你的robots.txt文件中禁止你的蜜罐(/scrapertrap/)，这样搜索引擎爬虫就不会掉进去。
你可以/应该结合之前的提示，经常更改你的HTML。
也要经常更改它，因为网络爬虫最终会学会避开它。更改蜜罐URL和文本。还要考虑更改用于隐藏的内联CSS，并使用ID属性和外部CSS代替，因为网络爬虫会学会避开任何具有用于隐藏内容的style属性和CSS的内容。还要尝试仅在某些时候启用它，以便网络爬虫最初可以工作，但一段时间后就会破坏。这也适用于之前的提示。
恶意人员可以通过分享链接到你的蜜罐，甚至将该链接嵌入到某个地方作为图片(例如，在论坛上)来阻止真正用户的访问。经常更改URL，并使任何禁止时间相对较短。
在页面本身加载后，您可以使用JavaScript + AJAX来加载内容。这将使HTML解析器无法访问内容，因为它们不运行JavaScript。对于编写爬虫的新手和经验不足的程序员，这通常是一个有效的威慑。
请注意以下事项：
使用JavaScript加载实际内容会降低用户体验和性能
搜索引擎也可能不运行JavaScript，从而防止索引您的内容。这可能对搜索结果页面不是问题，但对文章页面等其他内容可能是问题。
如果您使用Ajax和JavaScript来加载数据，请混淆传输的数据。例如，您可以在服务器上对数据进行编码（使用简单的base64或更复杂的方法），然后通过Ajax获取数据并在客户端解码和显示。这意味着检查网络流量的人不会立即看到您的页面如何工作和加载数据，而且对于直接请求您的端点数据，他们将不得不反向工程您的解密算法。
如果您使用Ajax加载数据，应该使其难以在未首先加载页面的情况下使用端点，例如通过要求一些会话密钥作为参数，这可以嵌入到JavaScript或HTML中。
您还可以直接在初始HTML页面中嵌入混淆的数据，并使用JavaScript对其进行解混淆并显示，这将避免额外的网络请求。这样做将显着增加使用仅运行HTML的解析器提取数据的难度，因为编写爬虫程序的人必须反向工程您的JavaScript（您也应该混淆它）。
您可能需要定期更改混淆方法，以破坏已经破解它的爬虫程序。
然而，这样做有几个缺点：
实施、维护和调试都将很繁琐和困难。
对于实际运行JavaScript然后提取数据的爬虫程序和屏幕截图程序，它将无效。（但大多数简单的HTML解析器不运行JavaScript）
如果用户禁用JavaScript，则会使您的网站无法正常使用。
性能和页面加载时间将受到影响。
告诉人们不要爬取数据，有些人会尊重这个
找一位律师
提供API使你的数据易于获取：
你可以轻松地提供你的数据，并要求署名和返回链接到你的网站。或许还可以收费。
还有商业的爬虫保护服务，例如 Cloudflare 的反爬虫或 Distill Networks（这里详细介绍了其工作原理here），它们可以代替您执行这些操作以及更多其他操作。
在真实用户可用性与防爬虫之间找到平衡：您所做的一切都会以某种方式对用户体验产生负面影响，请寻求妥协。
不要忘记您的移动站点和应用程序。如果您有一个移动应用程序，则也可以进行屏幕抓取，并且可以检查网络流量以确定其使用的 REST 终端点。
爬虫可以抓取其他爬虫：如果有一个网站从您的网站中抓取内容，则其他爬虫可以从该爬虫的网站中进行抓取。
维基百科关于Web爬虫的文章。该文章详细介绍了涉及到的技术和不同类型的Web爬虫。
如何防止脚本多次请求您的网站。这是一个非常相似的问题，即机器人检查网站并在商品上架时立即购买它们。这里有很多相关信息，特别是有关验证码和速率限制的信息。
我假设您已经设置了robots.txt。
正如其他人提到的那样，网络爬虫可以伪造其活动的几乎每一个方面，因此很难确定来自不良方的请求。
我的建议是：
/jail.html的页面。robots.txt中禁止访问此页面（这样尊重规则的搜索引擎就不会访问）。display:none）。/jail.html的IP地址。这可能有助于您快速确定来自不遵守robots.txt规则的不良爬虫的请求。
您还可以将/jail.html做成一个完整的网站，其标记与普通页面完全相同，但其中包含虚假数据（例如/jail/album/63ajdka、/jail/track/3aads8等）。这样，直到您有机会完全阻止它们之前，不良爬取程序就不会被警觉到存在“异常输入”。
起诉他们。
认真的：如果你有一些钱，找一位精通互联网的好的、友好的年轻律师。你可能真的能够在这里做些什么。根据这些站点所在的地方，你可以请律师起草一份禁止令或你所在国家的等同物。你可能至少能吓唬那些混蛋。
记录插入虚拟值的过程。插入明显但含义隐晦指向你的虚拟值。我认为这是电话簿公司的常规做法，在德国，我认为已经有几个案例证明抄袭者通过他们复制的虚拟条目被抓住了。
如果这会让你搞砸你的HTML代码，拖慢SEO、有效性和其他东西，那将是一件遗憾的事情（即使一个使用每个请求的略微不同的HTML结构的模板系统，对于总是依赖HTML结构和类/ID名称来获取内容的爬取者来说可能已经有很大的帮助）。
像这样的案例正是版权法所适用的范围。盗用别人的劳动成果以赚钱，是你应该能够反抗的事情。
你真的无法完全防止这种情况发生。爬虫可以伪造他们的用户代理，使用多个IP地址等方式，并表现得像普通用户一样。唯一能做的就是在页面加载时不使文本可用-用图像、Flash或使用JavaScript加载。然而，前两个方法都不好，最后一个对于一些常规用户没有启用JavaScript将成为一个无障碍问题。
如果他们绝对会猛攻你的网站并浏览你所有的页面，你可以进行某种限制速率的控制。
但有一些希望。爬虫依赖于您网站的数据以一致的格式存在。如果你可以以某种方式对其进行随机化处理，它可能会破坏他们的爬虫。例如，在每次加载时更改页面元素的ID或类名称等内容。但是，这需要大量的工作，我不确定是否值得这么做。即使如此，他们可能还是能够通过足够的耐心和努力绕过这个问题。
很抱歉，这确实非常困难...
如果您的内容受版权保护，我建议您礼貌地要求他们不要使用您的内容。
如果他们不下架，您可以采取进一步行动并向他们发送停止和禁止信函。
通常，无论您采取什么措施来防止网络爬虫抓取，可能会产生更消极的影响，例如可访问性、机器人/蜘蛛等。
好的，像所有帖子所说的那样，如果你想让它对搜索引擎友好，那么机器人肯定可以爬取。
但是你仍然可以做一些事情，这可能会影响60-70％的爬网页机器人。
制作一个检查脚本，如下所示。
如果特定IP地址访问非常快，则在几次访问后（5-10），将其IP地址+浏览器信息放入文件或数据库中。
（这将是一个后台进程，始终运行或定期几分钟运行。）制作另一个脚本，将继续检查这些可疑的IP地址。
案例1. 如果用户代理是已知搜索引擎（如Google，Bing，Yahoo）之一，您可以通过搜索“用户代理”来获取更多信息。 然后必须参见http://www.iplists.com/。此列表并尝试匹配模式。如果似乎是虚假的用户代理，则请在下次访问时填写CAPTCHA。（您需要对机器人IP地址进行更多的研究。我知道这是可以实现的，并且还尝试使用IP地址的whois 。它可能有帮助。）
案例2. 没有搜索机器人的用户代理：只需在下次访问时要求填写CAPTCHA。
在尝试使用某些技术障碍之前三思。
与其试图阻止数据挖掘者，不如增加网站的可用性。 您的用户会喜欢您。 投入技术障碍的时间（和精力）通常不值得 - 最好花时间让网站变得更好...
此外，数据窃贼不像普通窃贼。
如果您购买了一个廉价的家庭警报器并添加了一个警告“这个房子连接到警察局” - 许多窃贼甚至不会尝试闯入。 因为他的一举一动都可能使他进监狱...
所以，你只投入了一点点钱，但是小偷的投资和风险要多得多。但是数据小偷没有这样的风险。相反，如果你犯了一个错误（例如由于技术障碍导致了一些BUG），你将失去你的用户。如果爬虫第一次不起作用，什么都不会发生-数据挖掘者只会尝试另一种方法和/或调试脚本。在这种情况下，你需要投入更多的时间和精力-而爬取器的投资则较少。想想你想在哪里投资你的时间和精力... PS：英语不是我的母语-请原谅我的破英语...可能会阻碍新手网络爬虫的因素：
通常能够帮助爬虫程序的因素：
可能有助于爬虫程序，但会让用户讨厌的因素：
我在我的博客上做了很多网络爬虫，并总结了一些停止网络爬虫的技巧，具体内容请参考此链接。
这是用户和爬虫之间的权衡。如果您限制IP、使用CAPTCHA、需要登录等，您会让爬虫的生活变得困难。但这也可能会赶走真正的用户。