问题:
如何实时读取和回显正在服务器上写入的已上传文件的文件大小,而不会在服务器和客户端两端阻塞?
背景:
从由fetch()
发起的POST
请求将文件上传进服务器,并且body
设置为Blob
、File
、TypedArray
或ArrayBuffer
对象。
当前的实现是将File
对象设置为传递给fetch()
的第二个参数中的body
对象。
要求:
以text/event-stream
格式读取并向客户端echo
正在写入到服务器文件系统的文件大小。当所有字节被写入脚本作为查询字符串参数提供的变量后停止。文件的读取目前在一个单独的脚本环境中进行,其中在向服务器写文件的脚本之后,对应该读取文件的脚本进行GET
调用。
尚未处理与将文件写入服务器或读取当前文件大小的潜在问题的错误处理,但这将是完成文件大小部分的echo
后的下一步。
目前尝试使用php
来满足要求。但也对c
、bash
、nodejs
、python
或其他可用于执行相同任务的语言或方法感兴趣。
客户端的javascript
部分不是问题。只是在php
方面的经验不足,这是全球最常见的服务器端语言之一,因此需要实现该模式而不包括不必要的部分。
动机:
相关问题:
问题:
PHP Notice: Undefined index: HTTP_LAST_EVENT_ID in stream.php on line 7
在终端上执行命令
。
此外,如果要替换
while(file_exists($_GET["filename"])
&& filesize($_GET["filename"]) < intval($_GET["filesize"]))
对于
while(true)
在EventSource
处出现错误。
没有sleep()
调用时,上传一个大小为 3.3MB
的文件,正确的文件大小3321824
被分发到message
事件中,而控制台分别打印了61921
、26214
和38093
次。当上传同一文件三次时,这些数字会重复出现。期望的结果是随着文件写入,文件大小逐渐增加。
stream_copy_to_stream($input, $file);
而不是上传文件对象的文件大小。在stream.php
中,fopen()
或stream_copy_to_stream()
是否会阻塞其他不同的php
进程?
到目前为止尝试过的:
php
归功于
php
// can we merge `data.php`, `stream.php` to same file?
// can we use `STREAM_NOTIFY_PROGRESS`
// "Indicates current progress of the stream transfer
// in bytes_transferred and possibly bytes_max as well" to read bytes?
// do we need to call `stream_set_blocking` to `false`
// data.php
<?php
$filename = $_SERVER["HTTP_X_FILENAME"];
$input = fopen("php://input", "rb");
$file = fopen($filename, "wb");
stream_copy_to_stream($input, $file);
fclose($input);
fclose($file);
echo "upload of " . $filename . " successful";
?>
// stream.php
<?php
header("Content-Type: text/event-stream");
header("Cache-Control: no-cache");
header("Connection: keep-alive");
// `PHP Notice: Undefined index: HTTP_LAST_EVENT_ID in stream.php on line 7` ?
$lastId = $_SERVER["HTTP_LAST_EVENT_ID"] || 0;
if (isset($lastId) && !empty($lastId) && is_numeric($lastId)) {
$lastId = intval($lastId);
$lastId++;
}
// else {
// $lastId = 0;
// }
// while current file size read is less than or equal to
// `$_GET["filesize"]` of `$_GET["filename"]`
// how to loop only when above is `true`
while (true) {
$upload = $_GET["filename"];
// is this the correct function and variable to use
// to get written bytes of `stream_copy_to_stream($input, $file);`?
$data = filesize($upload);
// $data = $_GET["filename"] . " " . $_GET["filesize"];
if ($data) {
sendMessage($lastId, $data);
$lastId++;
}
// else {
// close stream
// }
// not necessary here, though without thousands of `message` events
// will be dispatched
// sleep(1);
}
function sendMessage($id, $data) {
echo "id: $id\n";
echo "data: $data\n\n";
ob_flush();
flush();
}
?>
javascript
<!DOCTYPE html>
<html>
<head>
</head>
<body>
<input type="file">
<progress value="0" max="0" step="1"></progress>
<script>
const [url, stream, header] = ["data.php", "stream.php", "x-filename"];
const [input, progress, handleFile] = [
document.querySelector("input[type=file]")
, document.querySelector("progress")
, (event) => {
const [file] = input.files;
const [{size:filesize, name:filename}, headers, params] = [
file, new Headers(), new URLSearchParams()
];
// set `filename`, `filesize` as search parameters for `stream` URL
Object.entries({filename, filesize})
.forEach(([...props]) => params.append.apply(params, props));
// set header for `POST`
headers.append(header, filename);
// reset `progress.value` set `progress.max` to `filesize`
[progress.value, progress.max] = [0, filesize];
const [request, source] = [
new Request(url, {
method:"POST", headers:headers, body:file
})
// https://dev59.com/1J_ha4cB1Zd3GeqPwUvs#42330433/
, new EventSource(`${stream}?${params.toString()}`)
];
source.addEventListener("message", (e) => {
// update `progress` here,
// call `.close()` when `e.data === filesize`
// `progress.value = e.data`, should be this simple
console.log(e.data, e.lastEventId);
}, true);
source.addEventListener("open", (e) => {
console.log("fetch upload progress open");
}, true);
source.addEventListener("error", (e) => {
console.error("fetch upload progress error");
}, true);
// sanity check for tests,
// we don't need `source` when `e.data === filesize`;
// we could call `.close()` within `message` event handler
setTimeout(() => source.close(), 30000);
// we don't need `source' to be in `Promise` chain,
// though we could resolve if `e.data === filesize`
// before `response`, then wait for `.text()`; etc.
// TODO: if and where to merge or branch `EventSource`,
// `fetch` to single or two `Promise` chains
const upload = fetch(request);
upload
.then(response => response.text())
.then(res => console.log(res))
.catch(err => console.error(err));
}
];
input.addEventListener("change", handleFile, true);
</script>
</body>
</html>
$ php -S
,这可能会导致在文件写入时读取文件大小的问题?_"Web服务器运行一个单线程进程,因此如果请求被阻塞,PHP应用程序将停止。"_ http://php.net/manual/en/features.commandline.webserver.php - guest271314apache
中配置了php
,但是filesize()
仍然只返回上传文件的总大小。在stream.php
中调用filesize()
是否是获取正在写入的文件大小的正确php
函数? - guest271314