logo标签列表

如何在Golang中获取shell命令的实时输出？

shellgo
42

我正在尝试使用Golang中的os/exec调用shell命令，该命令将需要一些时间，因此我想实时检索输出并打印处理后的输出(一个进度比率数字)。

package main

import (
    "bufio"
    "fmt"
    "io"
    "os"
    "os/exec"
    "strings"
)

func main() {
    cmdName := "ffmpeg -i t.webm  -acodec aac -vcodec libx264  cmd1.mp4"
    cmdArgs := strings.Fields(cmdName)

    cmd := exec.Command(cmdArgs[0], cmdArgs[1:len(cmdArgs)]...)
    stdout, _ := cmd.StdoutPipe()
    cmd.Start()
    go print(stdout)
    cmd.Wait()
}

// to print the processed information when stdout gets a new line
func print(stdout io.ReadCloser) {
    r := bufio.NewReader(stdout)
    line, _, err := r.ReadLine()
    fmt.Println("line: %s err %s", line, err)
}

我希望有一个函数能够在执行print命令时更新屏幕。

ffmpeg命令输出如下：

frame=  101 fps=0.0 q=28.0 size=      91kB time=00:00:04.13 bitrate= 181.2kbits/
frame=  169 fps=168 q=28.0 size=     227kB time=00:00:06.82 bitrate= 272.6kbits/
frame=  231 fps=153 q=28.0 size=     348kB time=00:00:09.31 bitrate= 306.3kbits/
frame=  282 fps=140 q=28.0 size=     499kB time=00:00:11.33 bitrate= 360.8kbits/

事实上，上述4行是ffmpeg命令输出的最后一行，会不断变化，我想将其打印出来，例如：

18%
44%
69%
100%

我该如何实现这个目标？

1
fmt 库提供了一组扫描函数，可以将格式化的字符串解析为值。您可以在 stdout 管道上使用 Scanner 来处理每行并扫描每个格式化的行。您需要找出如何从 ffmpeg 中计算完整比例与总比例的比率。 - Ben Campbell
1
可能是流命令输出进度的重复问题。 - icza
@icza，您能否看一下我发布的答案，为什么屏幕上没有任何输出？ - seaguest
@seaguest 我在这里也添加了一个答案。 - icza
5个回答
44

看起来ffmpeg将所有诊断消息 (即 "控制台输出") 发送到 stderr 而不是 stdout。以下代码适用于我。

package main

import (
    "bufio"
    "fmt"
    "os/exec"
    "strings"
)

func main() {
    args := "-i test.mp4 -acodec copy -vcodec copy -f flv rtmp://aaa/bbb"
    cmd := exec.Command("ffmpeg", strings.Split(args, " ")...)

    stderr, _ := cmd.StderrPipe()
    cmd.Start()

    scanner := bufio.NewScanner(stderr)
    scanner.Split(bufio.ScanWords)
    for scanner.Scan() {
        m := scanner.Text()
        fmt.Println(m)
    }
    cmd.Wait()
}

ffmpeg的版本详细信息如下。
ffmpeg version 3.0.2 Copyright (c) 2000-2016 the FFmpeg developers
built with Apple LLVM version 7.3.0 (clang-703.0.29)
configuration: --prefix=/usr/local/Cellar/ffmpeg/3.0.2 --enable-shared --enable-pthreads --enable-gpl --enable-version3 --enable-hardcoded-tables --enable-avresample --cc=clang --host-cflags= --host-ldflags= --enable-opencl --enable-libx264 --enable-libmp3lame --enable-libxvid --enable-vda
libavutil      55. 17.103 / 55. 17.103
libavcodec     57. 24.102 / 57. 24.102
libavformat    57. 25.100 / 57. 25.100
libavdevice    57.  0.101 / 57.  0.101
libavfilter     6. 31.100 /  6. 31.100
libavresample   3.  0.  0 /  3.  0.  0
libswscale      4.  0.100 /  4.  0.100
libswresample   2.  0.101 /  2.  0.101
libpostproc    54.  0.100 / 54.  0.100
我不确定你是否注意到了，但是你也可以在你的Command()对象上调用CombinedOutput()。 - Vishrant
4

我发现icza在帖子中提到的解决方案非常有用，但它并没有解决我的问题。

我进行了以下小测试：

1、我编写了一个脚本，每秒钟打印一些信息十次，这是script.sh脚本：

#!/bin/bash

for i in {1..10}
do
    echo "step " $i
    sleep 1s
done

2、读取stdout并从中提取所需信息，进行一些处理以获得期望的格式，以下是代码：

package main

import (
    "fmt"
    "os/exec"
    "regexp"
    "strconv"
    "strings"
)

func getRatio(text string) float32 {
    re1, _ := regexp.Compile(`step[\s]+(\d+)`)
    result := re1.FindStringSubmatch(text)
    val, _ := strconv.Atoi(result[1])
    return float32(val) / 10
}

func main() {
    cmdName := "ffmpeg -i t.webm  -acodec aac -vcodec libx264  cmd1.mp4"
    //cmdName := "bash ./script.sh"
    cmdArgs := strings.Fields(cmdName)

    cmd := exec.Command(cmdArgs[0], cmdArgs[1:len(cmdArgs)]...)
    stdout, _ := cmd.StdoutPipe()
    cmd.Start()

    oneByte := make([]byte, 10)
    for {
        _, err := stdout.Read(oneByte)
        if err != nil {
            break
        }
        progressingRatio := getRatio(string(oneByte))
        fmt.Printf("progressing  ratio %v \n", progressingRatio)
    }
}

这对于我的 script.sh 测试确实有效，但对于 ffmpeg 命令则不起作用。在 ffmpeg 的情况下，没有任何东西被打印出来，进程也结束了（没有卡住）。我猜想写数据到 ffmpeg 的标准输出的方式有点特殊（可能根本没有换行符），尽管我尝试过 icza 的解决方案，但它仍然无效。

你可以在伪终端中运行ffmpeg，这可能会起作用（？） - Hubro
3
当您在Go中启动外部命令并获得一个exec.Cmd值时，您可以使用其Cmd.Stdin、Cmd.Stdout和Cmd.Stderr字段以某种方式与该进程进行通信。
这里的“某种方式”指的是您可以向其标准输入发送数据，并且可以读取其标准输出和错误流。
重点在于“标准”。如果外部进程正在通过网络连接发送数据，或者正在将数据写入文件，则您将无法通过上述3个流截取这些数据。
现在来看看ffmpeg。 ffmpeg和许多其他控制台应用程序不会将数据写入标准输出/错误，而是使用系统调用或其他库（使用系统调用）来操作终端窗口。当然，应用程序可能会将一些数据发送到标准输出/错误，并通过操作终端窗口显示其他数据。
因此，您无法通过尝试读取其标准输出/错误来看到ffmpeg的输出，因为ffmpeg不会通过写入这些流来显示其输出。
在一般情况下，如果要捕获此类应用程序的输出，则需要使用能够捕获终端窗口文本内容的库。在更简单的情况下，应用程序支持将这些输出转储到通常由额外命令行参数控制的文件中，然后您可以从Go中读取/监视这些文件。
1
你需要一个能够捕获终端窗口（文本）内容的库。对此有什么建议吗？这是否需要使用 PTY 技术？ - Duncan Jones
@DuncanJones 不，我脑海中没有什么具体的想法。我曾以为像termbox-go这样的库可以实现，但似乎它只能从其缓冲区返回字符。 - icza
谢谢。与此同时，我已经找到了 https://github.com/creack/pty，它做得非常好。 - Duncan Jones
3

cmd.StderrPipe()无法工作，请使用cmd.StdoutPipe()代替：

package main

import (
    "bufio"
    "fmt"
    "os/exec"
)

func main() {
    cmd :=  exec.Command("ping","-c","5","192.168.0.1")

    stdout, _ := cmd.StdoutPipe()
    cmd.Start()

    scanner := bufio.NewScanner(stdout)
    scanner.Split(bufio.ScanWords)
    for scanner.Scan() {
        m := scanner.Text()
        fmt.Println(m)
    }
    cmd.Wait()
}
太棒了，但是使用bufio.ScanLines比使用bufio.ScanWords更合理。 - undefined
2
请查看以下内容，需要进行改进（不建议直接使用），但目前可用 :)
package main

import (
    "fmt"
    "os"
    "os/exec"
    "strconv"
    "strings"
)

var duration = 0
var allRes = ""
var lastPer = -1

func durToSec(dur string) (sec int) {
    durAry := strings.Split(dur, ":")
    if len(durAry) != 3 {
        return
    }
    hr, _ := strconv.Atoi(durAry[0])
    sec = hr * (60 * 60)
    min, _ := strconv.Atoi(durAry[1])
    sec += min * (60)
    second, _ := strconv.Atoi(durAry[2])
    sec += second
    return
}
func getRatio(res string) {
    i := strings.Index(res, "Duration")
    if i >= 0 {

        dur := res[i+10:]
        if len(dur) > 8 {
            dur = dur[0:8]

            duration = durToSec(dur)
            fmt.Println("duration:", duration)
            allRes = ""
        }
    }
    if duration == 0 {
        return
    }
    i = strings.Index(res, "time=")
    if i >= 0 {

        time := res[i+5:]
        if len(time) > 8 {
            time = time[0:8]
            sec := durToSec(time)
            per := (sec * 100) / duration
            if lastPer != per {
                lastPer = per
                fmt.Println("Percentage:", per)
            }

            allRes = ""
        }
    }
}

func main() {
    os.Remove("cmd1.mp4")
    cmdName := "ffmpeg -i 1.mp4  -acodec aac -vcodec libx264  cmd1.mp4 2>&1"
    cmd := exec.Command("sh", "-c", cmdName)
    stdout, _ := cmd.StdoutPipe()
    cmd.Start()
    oneByte := make([]byte, 8)
    for {
        _, err := stdout.Read(oneByte)
        if err != nil {
            fmt.Printf(err.Error())
            break
        }
        allRes += string(oneByte)
        getRatio(allRes)
    }
}
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接