CURL + POST + multipart/form-data

Question

我正在尝试使用PHP、CURL和POST方法来抓取一个网站，以便在网页抓取之前提交一个表单。我遇到的问题是与POST方法相关的：没有数据提交到服务器，因此抓取的网页不包含我要查找的内容。

我确定问题与表单类型有关：enctype="multipart/form-data"。 考虑到表单是multipart/form-data，我该如何管理这个POST请求？ 我需要以特殊的方式编码post_string吗？

以下是我正在使用的代码：

 function curl($url) {

//POST string
$post_string="XXXX";

$options = Array(
        CURLOPT_RETURNTRANSFER => TRUE,  
        CURLOPT_FOLLOWLOCATION => TRUE, 
        CURLOPT_AUTOREFERER => TRUE, 
        CURLOPT_CONNECTTIMEOUT => 120,  
        CURLOPT_TIMEOUT => 120, 
        CURLOPT_MAXREDIRS => 10, 
        CURLOPT_USERAGENT => "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1a2pre) Gecko/2008073000 Shredder/3.0a2pre ThunderBrowse/3.2.1.8",  
        CURLOPT_URL => $url, 
        CURLOPT_CAINFO => dirname(__FILE__)."/cacert.pem",

        CURLOPT_POSTFIELDS => $post_string,

    );

    $ch = curl_init(); 
    curl_setopt_array($ch, $options);   
    $data = curl_exec($ch); 
    curl_error($ch);
    curl_close($ch);       
    return $data;   
}

$scraped_page = curl("XXXURLXXX");    
echo $scraped_page; 

谢谢！

- user3352382

Answer 1

将CURLOPT_POST设置为true：

CURLOPT_POST = true

然后像这样填写您的帖子字段 'setup':

$postfields = array();
$postfields['field1'] = 'value1';
$postfields['field2'] = 'value2';
CURLOPT_POSTFIELDS => $postfields

如果值是一个数组，Content-Type 头将设置为 multipart/form-data。 PHP 手册

- KoalaBear

---

好的，我已经添加了这些行：CURLOPT_POST => TRUE, CURLOPT_POSTFIELDS => http_build_query($postfields),并使用您的设置填充了POST字段，但它仍然无法工作：Firebug确认没有执行POST... - user3352382

Firebug无法显示真实的POST，因为它发生在PHP执行的“内部”，而不是页面“输出”的内部。将以下内容添加到您的PHP中，在 $data = curl_exec($ch);之后 ==> var_dump(curl_getinfo($ch));然后看看它会显示什么。 - KoalaBear

嗯。有些人建议只使用$ postfields，而不使用http_build_query函数： CURLOPT_POSTFIELDS => $postfields我发现原因了： http://nl1.php.net/curl_setopt “如果值是数组，则Content-Type标头将设置为multipart / form-data。” - KoalaBear

我只是在说PHP会做什么，如果这不起作用，而且如果我们无法在本地测试此代码，那么这是我们能做的最好的事情 :) :| - KoalaBear

我按照你的建议编辑了代码：现在，如果我将CURLOPT_POST = true放在CURLOPT_POSTFIELDS => $postfields之后，我会收到“错误请求（无效数字）”的提示...而如果我将CURLOPT_POST = true放在CURLOPT_POSTFIELDS => $postfields之前，什么特别的事情都不会发生（表单页面被回显）... - user3352382

Answer 2

是的，$post_string需要是一个数组。

同时将CURLOPT_POST设置为true。

- Alix Axel