curl：如何限制GET请求的大小？

Question

我想用curl从URL中检索前10k字节（在我的情况下使用PHP）。是否有一种方法来指定这个？我以为CURLOPT_BUFFERSIZE会做到这一点，但它似乎只是确定一个缓冲区的大小，该缓冲区被重复使用直到检索到所有内容。

- Doug Kaye

Answer 1

这是我在C++中的做法。

int offset = 0;
int size = 10*1024;

char range[256];
curl_slist_s *pHeaders = NULL;
snprintf(range, 256, "Range: bytes=%d-%d", offset, offset+size-1);

pHeaders = curl_slist_append(pHeaders, range);
curl_easy_setopt(pCurlHandle, CURLOPT_HTTPHEADER, pHeaders);

curl_slist_free_all(pHeaders);
pHeaders = NULL;

编辑：刚刚发现你是指PHP。我会尝试找出如何移植它。

我认为这在PHP中应该可以工作：

$offset = 0;
$size = 10*1024;

$a = $offset;
$b = $offset + $size-1;

curl_easy_setopt(curlHandle, CURLOPT_HTTPHEADER, array("Range: bytes=$a-$b") );

- Lodle

---

不幸的是，测试显示一些服务器忽略范围（Range:）并返回整个对象。我很惊讶curl没有一种方法可以告诉它在达到某个最大大小后停止接收。 - Doug Kaye

它仅在http 1.1中受支持，因此1.0服务器将忽略它（但他们应该真的更新到1.1！） - Lodle

另一种可行的方法是使用curl回调函数（不确定php是否支持），并在下载x个字节后手动停止它。 - Lodle

据我所知，有CURLOPT_RANGE选项。 - Milen A. Radev

Answer 2

CURLOPT_RANGE似乎在PHP中无法使用，尽管它存在。至少当我尝试使用它时没有任何影响，而且谷歌搜索也会显示许多相同的消息。

-

---

我认为这是因为并非所有服务器都遵守“Range: bytes”头部。 - Doug Kaye

Answer 3

这个怎么样？

// 1-10240 is range of downloaded bytes (10 kb = 10240 byte)
curl_setopt($ch, CURLOPT_RANGE,"1-10240");

- Asri

Answer 4

如果你使用fread而不是curl，虽然我更喜欢curl，但你可以指定要接收的数据大小，例如：

$fp = @fopen($url, "r") ;

$data = "" ;
if($fp) {
    while (!feof($fp)) {
        $data .= fread($fp, $size) ;
}
fclose($fp) ;

- Khriz

Answer 5

$html='';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_BUFFERSIZE, 128);
curl_setopt($ch, CURLOPT_NOPROGRESS, false);
curl_setopt($ch, CURLOPT_PROGRESSFUNCTION, function($DownloadSize, $Downloaded, $UploadSize, $Uploaded){ return ($Downloaded > 10240) ? 1 : 0;});
curl_setopt($ch, CURLOPT_WRITEFUNCTION, 'write_function');
curl_exec($ch);
curl_close($ch);
echo $html;

function write_function($handle, $data) {
    global $html;
    $html .= $data;
    if (strlen($html) > 10240) {
        return 0;
    }
    else
        return strlen($data);
}

- Engin Zeybekoğlu