logo标签列表

用户代理字符串可以有多大？

httpdatabase-designhttp-headersuser-agent
224

如果您要将用户代理存储在数据库中，您需要留多大的空间？

我找到了这篇technet文章，建议将UA保持在200个字符以下。至少在我找到的HTTP规范中似乎没有定义这一点。我的UA已经有149个字符了，每个.NET版本似乎都会增加它。

我知道可以解析字符串并拆分它，但我宁愿不这样做。

编辑
根据这篇博客，IE9将改变发送短UA字符串。这是一个好的改变。

我发布了这个问题：http://stackoverflow.com/questions/17731699/is-there-a-site-which-shows-peoples-user-agent-without-cutting-off-long-ones - Erx_VB.NExT.Coder
你的 UA 字符串是什么？我在我的数据库中只找到一些长度为 137 个字符的字符串（这并不算太大）。 - Martin Thoma
大约五年前，当我提出这个问题时，UA字符串变得越来越长，它们包含了很多额外的东西... - JoshBerke
3
我必须问一下，这个帖子上的回答仍然相关吗？其中大部分答案已经8年了。 - Peschke
12个回答
141

HTTP规范不限制标题的长度。

但是，Web服务器会限制它们所接受的标题大小，如果超过限制，则会抛出413 Entity Too Large的错误。

根据Web服务器及其设置的不同，这些限制的大小从4KB到64KB（所有标题的总和）不等。

16
Apache服务器将请求头的最大长度限制为8k（参考http://httpd.apache.org/docs/2.2/mod/core.html#limitrequestfieldsize）。 - Gumbo
我对服务器限制不太担心，因为我使用的是IIS，我知道它永远不会超过他们的限制，如果我没记错的话，这个限制还是相当大的... - JoshBerke
6
@Josh -- 记忆力不错，IIS默认是16K；-) - vartec
对于Tomcat服务器，允许的最大标头长度为8KB。请在此处查看 https://tomcat.apache.org/tomcat-8.0-doc/config/http.html - javaGroup456
87

我的看法：

  • 使用一个专门的表来仅存储UserAgent (正规化)
  • 在相关的表中，存储一个外键值来指向UserAgent的自增主键字段
  • 将实际的UserAgent字符串存储在TEXT字段中，不必关心长度
  • 有另一个UNIQUE BINARY(32)(或64、128取决于哈希长度)并哈希UserAgent

一些UA字符串可能会变得非常长。这应该可以让您省去担忧。还要强制实施最大长度，以使INSERTer将UA字符串保持在4KB以下。除非有人在用户代理中发送电子邮件，否则它不应超过该长度。

1
不应再使用TEXT字段，如MSDN所述：http://msdn.microsoft.com/en-us/library/ms187993(v=sql.90).aspx 而应使用NVARCHAR(MAX)。 来源：https://dev59.com/9HRB5IYBdhLWcg3wpYio - Matt Roy
3
我的数据库有10,235个不同的用户代理字符串。我想找到最快的哈希算法，它不会产生任何碰撞。对于我的PHP环境，我发现md5执行速度很快，只需要2.3秒，没有发生任何碰撞。有趣的是，我尝试了crc32和crc32b，它们也在2.3秒内没有发生碰撞。但是，因为md5比crc32和crc32b具有更多的组合方式，所以md5可能会有较少的可能性发生碰撞。无论如何，我选择了md5，并且我预计它会很好地工作。 - noctufaber
4
为什么要对用户代理进行哈希处理？这是为了快速查找还是其他原因？ - Boom
2
@Boom 查找和唯一性作为数据库唯一键只能有限长度。 - CodeAngry
3
CRC32不是一种哈希函数，它并不试图具备防碰撞能力。 - user1544337
显示剩余3条评论
37

我在我们的Apache日志中发现了类似这样的东西。对我来说看起来很异常，但我经常在日志中看到这样的东西，主要来自Windows系统。

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; (R1 1.6); SLCC1; .NET CLR 2.0.50727; InfoPath.2; OfficeLiveConnector.1.3; OfficeLivePatch.0.0; .NET CLR 3.5.30729; .NET CLR 3.0.30618; 66760635803; runtime 11.00294; 876906799603; 97880703; 669602703; 9778063903; 877905603; 89670803; 96690803; 8878091903; 7879040603; 999608065603; 799808803; 6666059903; 669602102803; 888809342903; 696901603; 788907703; 887806555703; 97690214703; 66760903; 968909903; 796802422703; 8868026703; 889803611803; 898706903; 977806408603; 976900799903; 9897086903; 88780803; 798802301603; 9966008603; 66760703; 97890452603; 9789064803; 96990759803; 99960107703; 8868087903; 889801155603; 78890703; 8898070603; 89970603; 89970539603; 89970488703; 8789007603; 87890903; 877904603; 9887077703; 798804903; 97890264603; 967901703; 87890703; 97690420803; 79980706603; 9867086703; 996602846703; 87690803; 6989010903; 977809603; 666601903; 876905337803; 89670603; 89970200903; 786903603; 696901911703; 788905703; 896709803; 96890703; 998601903; 88980703; 666604769703; 978806603; 7988020803; 996608803; 788903297903; 98770043603; 899708803; 66960371603; 9669088903; 69990703; 99660519903; 97780603; 888801803; 9867071703; 79780803; 9779087603; 899708603; 66960456803; 898706824603; 78890299903; 99660703; 9768079803; 977901591603; 89670605603; 787903608603; 998607934903; 799808573903; 878909603; 979808146703; 9996088603; 797803154903; 69790603; 99660565603; 7869028603; 896707703; 97980965603; 976907191703; 88680703; 888809803; 69690903; 889805523703; 899707703; 997605035603; 89970029803; 9699094903; 877906803; 899707002703; 786905857603; 69890803; 97980051903; 997603978803; 9897097903; 66960141703; 7968077603; 977804603; 88980603; 989700803; 999607887803; 78690772803; 96990560903; 98970961603; 9996032903; 9699098703; 69890655603; 978903803; 698905066803; 977806903; 9789061703; 967903747703; 976900550903; 88980934703; 8878075803; 8977028703; 97980903; 9769006603; 786900803; 98770682703; 78790903; 878906967903; 87690399603; 99860976703; 796805703; 87990603; 968906803; 967904724603; 999606603; 988705903; 989702842603; 96790603; 99760703; 88980166703; 9799038903; 98670903; 697905248603; 7968043603; 66860703; 66860127903; 9779048903; 89670123903; 78890397703; 97890603; 87890803; 8789030603; 69990603; 88880763703; 9769000603; 96990203903; 978900405903; 7869022803; 699905422903; 97890703; 87990903; 878908703; 7998093903; 898702507603; 97780637603; 966907903; 896702603; 9769004803; 7869007903; 99660158803; 7899099603; 8977055803; 99660603; 7889080903; 66660981603; 997604603; 6969089803; 899701903; 9769072703; 666603903; 99860803; 997608803; 69790903; 88680756703; 979805677903; 9986047703; 89970803; 66660603; 96690903; 8997051603; 789901209803; 8977098903; 968900326803; 87790703; 98770024803; 697901794603; 69990803; 887805925803; 968908903; 97880603; 897709148703; 877909476903; 66760197703; 977908603; 698902703; 988706504803; 977802026603; 88680964703; 8878068703; 987705107903; 978902878703; 8898069803; 9768031703; 79680803; 79980803; 669609328703; 89870238703; 99960593903; 969904218703; 78890603; 9788000703; 69690630903; 889800982903; 988709748803; 7968052803; 99960007803; 969900800803; 668604817603; 66960903; 78790734603; 8868007703; 79780034903; 8878085903; 976907603; 89670830803; 877900903; 969904889703; 7978033903; 8987043903; 99860703; 979805903; 667603803; 976805348603; 999604127603; 97790701603; 78990342903; 98770672903; 87990253903; 9877027703; 97790803; 877901895603; 8789076903; 896708595603; 997601903; 799806903; 97690603; 87790371703; 667605603; 99760303703; 97680283803; 788902750803; 787909803; 79780603; 79880866903; 9986050903; 87890543903; 979800803; 97690179703; 876901603; 699909903; 96990192603; 878904903; 877904734903; 796801446903; 977904803; 9887044803; 797805565603; 98870789703; 7869093903; 87790727703; 797801232803; 666604803; 9778071903; 9799086703; 6969000903; 89670903; 8799075903; 897708903; 88680903; 97980362603; 97980503903; 889803256703; 88980388703; 789909376803; 69690703; 6969025903; 89970309903; 96690703; 877901847803; 968901903; 96690603; 88680607603; 7889001703; 789904761803; 976807703; 976902903; 878907889703; 9897014903; 896707046603; 696909903; 666603998903; 969902703; 79680421803; 9769075603; 798800192703; 97990903; 9689024903; 668604803; 969908671903; 9996094703; 69990642703; 97890895903; 977805619903; 79980859903; 88980443803; 98970649603; 997602703; 888802169903; 699907803; 667602028803; 786903283903; 997607703; 969909803; 798809925903; 9976045603; 97790903; 9789001903; 966903603; 9789069603; 968906603; 6989091803; 896701603; 6979059803; 978803903; 997606362603; 88980803; 98970803; 88880921703; 8997065703; 899700703; 698908703; 797801027903; 7889050903; 87890603; 78690703; 99660069703; 97980309903; 976800603; 666606803; 898707703; 79880019803; 66960250803; 7978049803; 88780602603; 79680903; 88880792703; 96990903; 667608603; 87790730903; 98970903; 9699032903; 8987004803; 88880703; 89770046603; 978800803; 969908903; 9798022603; 696901903; 799803703; 989703703; 668605903; 79780903; 998601371703; 796803339703; 87890922603; 898708903; 9966061903; 66960891903; 96790903; 8779050803; 98870858803; 976909298603; 9887029903; 669608703; 979806903; 878903803; 99960703; 9789086703; 979801803; 66960008703; 979806830803; 99760212703; 786906603; 797807603; 789907297703; 96990703; 786901603; 796807766603; 896702651603; 789902585603; 66660925903; 9986085703; 66960302703; 69890703; 789900703; 89970903; 9679060703; 9789002903; 979908821603; 986708140803; 976809828703; 7988082803; 79680997903; 99960803; 9788081903; 979805703; 787908603; 66960602803; 9887098703; 978803237703; 888806804603; 999604703; 977904703; 966904635703; 97680291703; 977809345603; 8878046703; 988709803; 976900773603; 989703903; 88780198603; 87790603; 986708703; 78890604703; 87790544803; 976809850903; 887806703; 987707527603; 79880803; 9897059603; 897709820603; 97880804803; 66960026703; 9789062803; 9867090803; 669600603; 8967087703; 78890903; 89770903; 97980703; 976802687603; 66860400803; 979901288603; 96990160903; 99860228903; 966900703; 66760603; 9689035703; 9779064703; 7968023603; 87890791903; 98770870603; 9798005803; 6969087903; 9779097903; 6979065703; 699903252603; 79780989703; 87690901803; 978905763903; 977809703; 97790369703; 899703269603; 8878012703; 78790803; 87690395603; 8888042803; 667607689903; 8977041803; 6666085603; 6999080703; 69990797803; 88680721603; 99660519803; 889807603; 87890146703; 699906325903; 89770603; 669608615903; 9779028803; 88880603; 97790703; 79780703; 97680355603; 6696024803; 78790784703; 97880329903; 9699077703; 89870803; 79680227903; 976905852703; 8997098903; 896704796703; 66860598803; 9897036703; 66960703; 9699094703; 9699008703; 97780485903; 999603179903; 89770834803; 96790445603; 79680460903; 9867009603; 89870328703; 799801035803; 989702903; 66960758903; 66860150803; 6686088603; 9877092803; 96990603; 99860603; 987703663603; 98870903; 699903325603; 87790803; 97680703; 8868030703; 9799030803; 89870703; 97680803; 9669054803; 6979097603; 987708046603; 999608603; 878904803; 998607408903; 968903903; 696900703; 977907491703; 6686033803; 669601803; 99960290603; 887809169903; 979803703; 69890903; 699901447903; 8987064903; 799800603; 98770903; 8997068703; 967903603; 66760146803; 978805087903; 697908138603; 799801603; 88780964903; 989708339903; 8967048603; 88880981603; 789909703; 796806603; 977905977603; 989700603; 97780703; 9669062603; 88980714603; 897709545903; 988701916703; 667604694903; 786905664603; 877900803; 886805490903; 89970559903; 99960531803; 7998033903; 98770803; 78890418703; 669600872803; 996605216603; 78690962703; 667604903; 996600903; 999608903; 9699083803; 787901803; 97780707603; 787905312703; 977805803; 8977033703; 97890708703; 989705521903; 978800703; 698905703; 78890376903; 878907703; 999602903; 986705903; 668602719603; 979901803; 997606903; 66760393903; 987703603; 78790338903; 96890803; 97680596803; 666601603; 977902178803; 877902803; 78790038603; 8868075703; 99960060603)

43
有人愿意评论一下这个用户代理到底是怎么回事吗？哈哈，我必须补充一下，我很好奇这样一个“野兽”是如何形成的。 - Erx_VB.NExT.Coder
28
如果有人感到好奇，这个字符数为8010。浏览器团队中的任何人怎么可能认为这是一个好主意？这简直疯得像一袋猫！ - Doctor Jones
20
将该用户代理字符串截断至256或512是否会消除任何有用的数据？ - JackAce
21
我已经做了一些观察，但还没有得出结论。总共有642个数字。前四个数字总是6、7、8或9。第五个数字总是0。最后三个数字总是603、703、803或903。也许有人能认出这个规律？（半条命3确认了吗？） - meshy
3
有趣。我现在已经添加了代码，将UA字符串截断为255个字符，以便记录到我的数据库日志中。 - Deepak Thomas
30

由于这是用于数据库目的，而且没有实际限制，我建议使用一个名为UserAgents的表格，其中包含UserAgentId整数和UserAgentString NVarChar(MAX)两个字段，并在原始表格上使用外键。

23
你可能最终会发现用户代理与用户之间的关系是一对一到一对少数。大多数用户代理都会因为用户安装的项目及其特定顺序而被微调到几乎可唯一识别（另一个答案中有一个很好的例子）。实际上，电子前哨基金会进行了一项研究（pdf）。 - patridge
1
@patridge +1 链接，非常好的学习资料。它有点偏离主题，因为他们查看了几个指纹而不仅仅是用户代理字符串。在实际情况下，对于每月获得数百万页面浏览量的网站，您最终会得到几千个用户代理字符串，因此规范化是有意义的。话虽如此，我对将用户代理字符串存储在数据库中并不是很乐观 :P - Diadistis
@patridge 这项研究的链接已经失效：更新链接 - Boris Dalstein
1
@patridge我同意你的想法听起来很有道理，但我的数据与我们两个都不一样。我现在正在处理这种类型的系统，我有大约70k个唯一的UA对应1.2m个用户。我之所以来到这个页面，是因为我在数据库字段上选择了256作为限制，发现其中的70k中有50k被截断了，所以我失去了一些信息。我现在要将其增加到4k。如果它们没有被截断，会有多少个唯一的UA将是很有趣的事情。 - Darren H
14

这个够大吧：

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; YPC 3.2.0; SearchSystem6829992239; SearchSystem9616306563; SearchSystem6017393645; SearchSystem5219240075; SearchSystem2768350104; SearchSystem6919669052; SearchSystem1986739074; SearchSystem1555480186; SearchSystem3376893470; SearchSystem9530642569; SearchSystem4877790286; SearchSystem8104932799; SearchSystem2313134663; SearchSystem1545325372; SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 1.1.4322; .NET CLR 2.0.50727; Hotbar 10.2.232.0; SearchSystem9616306563; SearchSystem6017393645; SearchSystem5219240075; SearchSystem2768350104; SearchSystem6919669052; SearchSystem1986739074; SearchSystem1555480186; SearchSystem3376893470; SearchSystem9530642569; SearchSystem4877790286; SearchSystem8104932799; SearchSystem2313134663; SearchSystem1545325372; SearchSystem7742471461; SearchSystem9092363703; SearchSystem6992236221; SearchSystem3507700306; SearchSystem1129983453; SearchSystem1077927937; SearchSystem2297142691; SearchSystem7813572891; SearchSystem5668754497; SearchSystem6220295595; SearchSystem4157940963; SearchSystem7656671655; SearchSystem2865656762; SearchSystem6520604676; SearchSystem4960161466; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)

21
计算一下，包括前后引号在内共有1546个字符。 - Doug Harris
6
今天我得到了这个用户代理，它超出了我们供应商的存储字段：

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; GTB6; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.30; MDDR; OfficeLiveConnector.1.3; OfficeLivePatch.0.0; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729)

太荒谬了！229个字符？
所以把那个大小翻倍，再翻倍一次，你就可以在微软下一次的失误之前（也许是明年这个时候）使用它。
请保持大于1000！
我想知道 .Net CLR 和 Trident 与 Mozilla 有什么关系。 - Gherman
6

没有明确的限制，只有大多数HTTP服务器的限制。然而，需要记住的是，我会实现一个具有合理固定长度的列（使用Google查找已知用户代理列表，找到最大值并增加50％），并裁剪任何过长的用户代理 - 任何异常长的用户代理即使被裁剪也可能足够独特，或者是某种错误或“黑客”尝试的结果。

1
看起来标准长度为120-150，基于http://www.networkinghowtos.com/howto/common-user-agent-list/。因此，我会将最大长度裁剪为200。 - gene b.
5
假设用户代理字符串没有长度限制，并准备存储这样的值。正如您所见，长度是不可预测的。
在Postgres中，有一个text类型，可以接受无限长度的字符串。使用它。
不过，很可能你需要在某个时候开始截断。以合理有用的增量（200、1k、4k）为界限，丢弃剩余部分即可。
3
并不是表示用户代理可以变得多大，因为有很多答案显示了它们遇到的边缘情况，但在http://www.useragentstring.com/pages/useragentstring.php?name=All网站上找到的最长的字符串长度为250字节。

Mozilla/4.0（兼容； MSIE 8.0；Windows NT 6.1；Trident/4.0；SLCC2；.NET CLR 2.0.50727；. NET CLR 3.5.30729；.NET CLR 3.0.30729；Media Center PC 6.0；Media Center PC 5.0；SLCC1；OfficeLiveConnector.1.5；OfficeLivePatch.1.3；.NET4.0C；Lunascape 6.3.

2

没有任何官方标准或规范对User-Agent字符串的大小有严格限制。定义HTTP协议的HTTP/1.1 RFC 2616并没有为User-Agent头字段指定最大长度。

然而，根据处理User-Agent字符串的特定Web服务器、浏览器或应用程序的实际限制可能会适用。一些服务器或代理可能会对头字段大小施加自己的限制，以防止滥用或拒绝服务攻击。此外，过长的User-Agent字符串可能会导致服务器端解析或处理出现问题。

实际上，User-Agent字符串的长度可能会有所不同，但通常不会过长。浏览器和用户代理字符串旨在提供有关客户端应用程序的有用信息，而不会过于冗长。大多数User-Agent字符串在几百个字符以内。

设计Web应用程序和服务时，处理相当长的User-Agent字符串是至关重要的，同时还要考虑潜在的安全性和性能影响。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接