我开始使用Flurry Analytics并发现它的分析工具不足且过于缓慢。简单的3步漏斗处理了3天,而通常带有3个左连接的查询在100,000行表上只需要0.001秒。
Flurry允许在事件日志页面上以csv格式下载原始事件数据,因此我决定将所有事件导入并在家中进行分析。
Flurry仅允许下载100,000条记录,并建议经常下载以适应此限制。他们曾经提供原始事件下载API,但出于某种原因放弃了。因此,唯一的方法是进入事件日志页面并手动下载事件数据。但正如你所想象的那样,这非常烦人。
因此,我决定使用php中的curl获取此数据。我复制了带有标头的下载链接的GET HTTP请求并获得了数据。 但整个魔法在于会话/cookie,我可以从现有会话中复制它们。因此,为了使curl查询成功,我必须:
Flurry允许在事件日志页面上以csv格式下载原始事件数据,因此我决定将所有事件导入并在家中进行分析。
Flurry仅允许下载100,000条记录,并建议经常下载以适应此限制。他们曾经提供原始事件下载API,但出于某种原因放弃了。因此,唯一的方法是进入事件日志页面并手动下载事件数据。但正如你所想象的那样,这非常烦人。
因此,我决定使用php中的curl获取此数据。我复制了带有标头的下载链接的GET HTTP请求并获得了数据。 但整个魔法在于会话/cookie,我可以从现有会话中复制它们。因此,为了使curl查询成功,我必须:
- 在浏览器中打开Flurry网站并登录
- 进入事件日志页面,选择时间范围参数并点击下载
- 复制嗅探器中的请求头
- 将它们粘贴到我的PHP代码中
- 从现在开始,我可以在PHP中进行此查询,直到会话Cookie过期
我不确定,但假设Cookie将在第二天过期,因此整个努力是无用的。
据我所知,我应该尝试使用curl进行POST登录,并保持此连接以执行GET以下载数据。然而,即使复制整个POST登录请求正文,我也无法登录-它仍会回答相同的登录页面,尽管应该302重定向到https://dev.flurry.com/fullPageTakeover.do?originalTarget=&isFirstPostLogin=true&defaultTarget=%2Fhome.do。
看起来Flurry在某种程度上受到了curl读取的保护。或者可能有人成功了吗?
以下是代码:
$cookie_file_path = "cookies.txt";
$LOGINURL = "https://dev.flurry.com/secure/login.do";
$MY_EMAIL ="my email";
$MY_PASS="password";
$MY_GAME_ID="gameid";
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt ($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6");
curl_setopt ($ch, CURLOPT_TIMEOUT, 60);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file_path);
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file_path);
curl_setopt ($ch, CURLOPT_REFERER, $LOGINURL);
curl_setopt($ch, CURLOPT_URL, $LOGINURL);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, "loginEmail=$MY_EMAIL&loginPassword=$MY_PASS&__checkbox_rememberMe=true&struts.token.name=struts.token&struts.token=7NB9NWLOYZ8SD8TWR8LGS63REVDI8SQS");
$result = curl_exec($ch);
$remotePageUrl = "https://dev.flurry.com/eventsLogCsv.do?projectID=$MY_GAME_ID&versionCut=versionsAll&intervalCut=7Days&stream=true&direction=1&offset=0";
curl_setopt($ch, CURLOPT_POST, 0);
curl_setopt($ch, CURLOPT_URL, $remotePageUrl);
$result = curl_exec($ch);
echo $result;
我也尝试传递cookies(就像浏览器一样),但没有帮助:
Cookie: _ga=GA1.2.100867533.1424333566; S0hZTkM0RFRXRjJNSlg2TVdXSEs_fit=1424333594147; fid=SG1162A8DEFC14B8428E7C2AFC71D3AEA00C1872F5; JSESSIONID=w34~mvbdvftm9x9dez9dg9b2pmhs; _map_zoomLevel=0;
_map_zoneId=0; __utmt=1; __utmt_~1=1; S0hZTkM0RFRXRjJNSlg2TVdXSEs_fs=eyJiYSI6MTQyNDMzNzkzMzU2OCwicGF1c2VUaW1lc3RhbXAiOjAsImJjIjotMSwiZXZlbnRDb3VudGVyIjowLCJwdXJjaGFzZUNvdW50ZXIiOjAsImVycm9yQ291bnRlciI6MCwidGltZWRFdmVudHMiOltdfQ==;
__utma=83277827.100867533.1424333566.1424333594.1424336847.2; __utmb=83277827.8.10.1424336847; __utmc=83277827; __utmz=83277827.1424333594.1.1.utmcsr=flurry.com|utmccn=(referral)|utmcmd=referral|utmcct=/; __utma=34058230.100867533.1424333566.1424333566.1424336847.2; __utmb=34058230.8.10.1424336847; __utmc=34058230; __utmz=34058230.1424333566.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _mkto_trk=id:802-TBR-126&token:_mch-flurry.com-1424333577360-64839; S0hZTkM0RFRXRjJNSlg2TVdXSEs_flp=1424338032448
多亏了 silkfire,Flurry 问题得到解决!