FFmpeg音视频同步问题（音频超前于视频）- 使用x11grab进行屏幕录制时。

Question

使用以下FFmpeg选项进行屏幕录制时，我经常会出现音频比视频提前的问题，延迟为几秒钟。 FFmpeg命令： ffmpeg -y -f x11grab -thread_queue_size 1024 -draw_mouse 0 -video_size 1920x1080 -i :0 -f pulse -thread_queue_size 1024 -i default -c:v libx264 -threads 0 -preset faster -c:a flac -async 1 -vsync 1 -crf 30 -crf_max 33 -f matroska output.mkv 下面是ffprobe输出：

$ ffprobe demo.mkv 
ffprobe version 3.4.4-1~16.04.york0 Copyright (c) 2007-2018 the FFmpeg developers
  built with gcc 5.4.0 (Ubuntu 5.4.0-6ubuntu1~16.04.10) 20160609
  configuration: --prefix=/usr --extra-version='1~16.04.york0' --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --enable-gpl --disable-stripping --enable-avresample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librubberband --enable-librsvg --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-omx --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libopencv --enable-libx264 --enable-shared
  libavutil      55. 78.100 / 55. 78.100
  libavcodec     57.107.100 / 57.107.100
  libavformat    57. 83.100 / 57. 83.100
  libavdevice    57. 10.100 / 57. 10.100
  libavfilter     6.107.100 /  6.107.100
  libavresample   3.  7.  0 /  3.  7.  0
  libswscale      4.  8.100 /  4.  8.100
  libswresample   2.  9.100 /  2.  9.100
  libpostproc    54.  7.100 / 54.  7.100
Input #0, matroska,webm, from 'demo.mkv':
  Metadata:
    ENCODER         : Lavf57.71.100
  Duration: 01:00:31.93, start: 0.000000, bitrate: 416 kb/s
    Stream #0:0: Video: h264 (High), yuv420p(progressive), 1920x1080, 29.97 fps, 29.97 tbr, 1k tbn, 59.94 tbc (default)
    Metadata:
      ENCODER         : Lavc57.89.100 libx264
      DURATION        : 01:00:31.928000000
    Stream #0:1: Audio: flac, 48000 Hz, stereo, s16 (default)
    Metadata:
      ENCODER         : Lavc57.89.100 flac
      DURATION        : 01:00:30.912000000

我甚至尝试使用avoid_negative_ts标志，但它并没有解决同步问题。

操作系统：Ubuntu-18.04

ffmpeg版本：3.4

更新：（使用ffmpeg-4.0） 我已将此过程拆分为两个部分，并尝试如下所示（质量更好，但音频/视频同步仍然是一个问题）

# STEP-1: screen recording
/usr/bin/ffmpeg -y -f x11grab -thread_queue_size 1024 -draw_mouse 0 \
-video_size 1920x1080 -i :91141925 -f pulse -thread_queue_size 1024 \
-i virtual_sink.monitor -c:v libx264rgb -threads 0 -preset ultrafast \
-c:a flac -ac 1 -crf 0 -f matroska output.mkv

# STEP-2: audio/video encoding
/usr/bin/ffmpeg -y -i output.mkv -c:v libx264 -threads 0 \
-preset faster -pix_fmt yuv420p -c:a copy -ac 1 -crf 25 \
-f matroska final_output.mkv

STEP-1 在屏幕录制期间使用的 CPU 更少，但音频仍然领先于视频。在 STEP-1 中我使用的是 xvfb （因为这是一个无头云机器）。

另外，在 STEP-1 中我尝试了标志 -filter_complex aresample=44100 -vsync 1 ，但没有效果。

有人可以帮忙吗！

更新2：（使用最新的 git master 版本 ffmpeg）

它起作用了！感谢 @llogan 的有益评论。

- maheshg

---

你的ffmpeg版本过旧。第一步是尝试从git主分支获取最新版本。你可以编译或者下载（不过我不确定这个静态构建是否支持pulse）。 - llogan

我已经尝试了最新的FFmpeg 4.0版本，但问题仍然存在。 - maheshg

我本意是使用Git主分支上构建的版本，而不是发布版本。 - llogan

谢谢@llogan，那个有效了，我按照建议使用了最新的ffmpeg和x264版本。 - maheshg

Answer 1

我遇到了同样的问题（尽管在我的情况下，视频领先于音频）。只需像Archlinux论坛上建议的那样将-f pulse切换为-f alsa，就可以消除延迟。

- Skippy le Grand Gourou

---

这将从麦克风录制，而不是从桌面录制。 - QkiZ

@QkiZ 我不确定这是否*那么简单。如果设备没有明确设置，我假设默认设备会被使用，并且我猜测Alsa和PulseAudio之间的默认设备可能是不同的，因此你观察到的行为也许是由此引起的？ - Skippy le Grand Gourou

我和链接论坛中的那个人有同样的问题。如果我设置“-i default”，它总是从麦克风捕获声音，无论我使用“-f pulse”还是“-f alsa”。如果我想用Pulse捕获桌面声音，我需要使用“-i”选项指向监视器设备。对于“-f alsa”，我需要创建一个回路虚拟设备并为Alsa制作一个特殊的配置文件。https://trac.ffmpeg.org/wiki/Capture/ALSA#Recordaudiofromanapplication - QkiZ

Answer 2

更新到Mint 21（也称为Ubuntu 22.04）后，使用-x11grab进行的FFmpeg捕获在使用-f pulse时导致音频与视频不同步，相差几秒钟。我尝试了一些建议，如使用-copyts、-async 1、-itsoffset以及不同值，但都没有解决问题。

显然存在一个导致此问题的错误，而且它似乎是“无法修复的太旧”（https://trac.ffmpeg.org/ticket/10114）。虽然将FFmpeg更新到V5或6可能会解决此问题，但在Mint 21/Ubuntu 22.04上并没有简单的下载这些版本的选项。有几个PPA声称可以安装V5或6，但由于依赖问题，它们无法正常工作。另一个选项是从源代码编译。阅读了编译指南后，我决定放弃这个选项。

更改 -f pulse 为 -f alsa，如另一个答案中建议的那样，可以修复音频同步问题，但此时 ffmpeg 不理解 pulse 源，所以您需要更改指定音频源的方式。尽管 '-i default' 可以工作，但不一定选择正确的源。我首先尝试从 'arecord -L' 列表中指定内部声卡（例如 -i hw:CARD=PCH,DEV=0），但结果是静音。

要找到要使用的音频源，请使用 pacmd 命令：

pacmd list-sources|grep name:|sed -r 's|name:\s<(.*)>|\1|'
##result##
    alsa_input.usb-MACROSILICON_2109-02.analog-stereo
    alsa_output.pci-0000_00_1b.0.analog-stereo.monitor

在我的情况下，第二行是我所需要的来源。为了创建一个ffmpeg可用的名称，在你的主目录中创建一个.asoundrc文件，将alsa名称映射到pulse源。完成这个操作后，你需要重新启动或重启alsa和pulse。

nano ~/.asoundrc
pcm.internal_monitor {
  type pulse
  device alsa_output.pci-0000_00_1b.0.analog-stereo.monitor
}

ctl.internal_monitor {
  type pulse
  device alsa_output.pci-0000_00_1b.0.analog-stereo.monitor
}

如果您已经正确地重新启动了声音系统或电脑，您的新条目（internal_monitor）将会出现在alsa列表中。

arecord -L|grep internal
##result##
internal_monitor

现在使用ffmpeg和-i internal_monitor来选择您的alsa音频源。 更改后，命令中只有两个条目发生了变化：

-f pulse 
##changed to##
-f alsa

-i alsa_output.pci-0000_00_1b.0.analog-stereo.monitor
##changed to##
-i internal_monitor

新的alsa-friendly与音频同步命令是：

ffmpeg -f alsa -thread_queue_size 1024 \
 -i internal_monitor -f x11grab -thread_queue_size 1024 \
 -r 30 -s 1280x720 -i :0.0+0,152 \
 -acodec aac \
 -vcodec libx264 -preset ultrafast -crf 18 \
 -vf format=yuv420p -profile:v main \
 -f mpegts /home/ken/Videos/test.mkv -y

- Ken H