我想搭建一个opencv系统来处理HLS流或RMTP流，但是，我遇到了一个奇怪的问题，即帧率降低和累积的延迟。就好像视频在流中应该出现的位置越来越远。
我正在寻找一种方法，即使意味着丢帧，也能跟上实时来源的进度。
import cv2
cap = cv2.VideoCapture()
cap.open('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8')
while (True):
_, frame = cap.read()
cv2.imshow("camCapture", frame)
cv2.waitKey(1)
我已经在VLC上验证了流的质量，那里似乎工作得很好。
.
我的假设是，抖动很可能是由于网络限制而发生的，并且当帧包被丢弃时会发生。当帧被丢弃时，这会导致程序显示上一个“好”的帧，从而导致显示冻结。这可能是硬件或带宽问题，但我们可以通过软件来缓解一些问题。以下是一些可能的更改：
1. 设置最大缓冲区大小
我们使用 cv2.CAP_PROP_BUFFERSIZE 参数将cv2.videoCapture()对象设置为具有有限的缓冲区大小。这样做的想法是通过限制缓冲区，我们将始终拥有最新帧。这也可以帮助减轻帧随机跳跃的问题。
2. 设置帧检索延迟
目前，我认为read()读取太快了，尽管它在自己的专用线程中。这可能是所有帧似乎汇集并在下一帧突然爆发的原因之一。例如，在一个一秒钟的时间间隔内，它可能会产生15个新帧，但在下一个一秒钟的时间间隔内，只返回3个帧。这可能是由于网络包帧丢失，因此为了确保我们获得恒定的帧速率，我们只需在帧检索线程中添加延迟即可。延迟以获得大约〜30 FPS可以很好地“标准化”帧速率，并在发生数据包丢失时平滑过渡帧之间的转换。
注意：我们应该尝试匹配流的帧速率，但我不确定网络摄像头的FPS是多少，所以我猜测是30 FPS。此外，通常有一个“直接”流链接而不是通过中间Web服务器进行连接，这可以大大提高性能。
如果您尝试使用保存的.mp4视频文件，则会发现没有抖动。这证实了我的怀疑，问题很可能是由于网络延迟引起的。
from threading import Thread
import cv2, time
class ThreadedCamera(object):
def __init__(self, src=0):
self.capture = cv2.VideoCapture(src)
self.capture.set(cv2.CAP_PROP_BUFFERSIZE, 2)
# FPS = 1/X
# X = desired FPS
self.FPS = 1/30
self.FPS_MS = int(self.FPS * 1000)
# Start frame retrieval thread
self.thread = Thread(target=self.update, args=())
self.thread.daemon = True
self.thread.start()
def update(self):
while True:
if self.capture.isOpened():
(self.status, self.frame) = self.capture.read()
time.sleep(self.FPS)
def show_frame(self):
cv2.imshow('frame', self.frame)
cv2.waitKey(self.FPS_MS)
if __name__ == '__main__':
src = 'https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8'
threaded_camera = ThreadedCamera(src)
while True:
try:
threaded_camera.show_frame()
except AttributeError:
pass
相关摄像头/IP/RTSP/流媒体、FPS、视频、线程和多进程贴子
我尝试使用这个解决方案，作者是nathancy，取得了一定的成功。
它包括：
import cv2
from threading import Thread
class ThreadedCamera(object):
def __init__(self, source = 0):
self.capture = cv2.VideoCapture(source)
self.thread = Thread(target = self.update, args = ())
self.thread.daemon = True
self.thread.start()
self.status = False
self.frame = None
def update(self):
while True:
if self.capture.isOpened():
(self.status, self.frame) = self.capture.read()
def grab_frame(self):
if self.status:
return self.frame
return None
if __name__ == '__main__':
stream_link = "https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w1421640637.m3u8"
streamer = ThreadedCamera(stream_link)
while True:
frame = streamer.grab_frame()
if frame is not None:
cv2.imshow("Context", frame)
cv2.waitKey(1)
.
视频流可以正常工作并保持实时性。然而，所有帧似乎会积攒起来，然后突然爆发成视频。我希望有人能够解释这个现象。
可以在这里找到实时流。
https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet
使用Python的 streamlink 流采集器从该网站中获取了 m3u8 文件。
import streamlink
streams = streamlink.streams("https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet")
print(streams)
这将产生：
OrderedDict([
('720p',<HLSStream('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w202109066.m3u8')>),
('live', <RTMPStream({'rtmp': 'rtmp://videos3.earthcam.com/fecnetwork/', 'playpath': '9974.flv', 'pageUrl': 'https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet','swfUrl': 'http://static.earthcam.com/swf/streaming/stream_viewer_v3.swf', 'live': 'true'}, redirect=False>),
('worst', <HLSStream('https://videos3.earthcam.com/fecnetwork/9974.flv/chunklist_w202109066.m3u8')>),
('best', <RTMPStream({'rtmp': 'rtmp://videos3.earthcam.com/fecnetwork/', 'playpath': '9974.flv', 'pageUrl': 'https://www.earthcam.com/usa/newyork/timessquare/?cam=tsstreet', 'swfUrl': 'http://static.earthcam.com/swf/streaming/stream_viewer_v3.swf', 'live': 'true'}, redirect=False>)
])
self.capture = cv2.VideoCapture(1)
而是使用self.capture = cv2.VideoCapture(1, cv2.CAP_DSHOW)
这使我能够使用所有的cv2.CAP_PROP_属性。我建议您检查硬件与兼容的视频流编解码器是否匹配。我曾遇到过同样的问题，流式传输期间帧率仅降至5 fps，因为它默认使用的格式未被流式传输，所以它会将其转换，然后显示非常滞后（约1秒），也会有更低的fps。
请在适当的编解码器中使用Self.capture.set（cv2.CAP_PROP_FOURCC，cv2.VideoWriter_fourcc（'M'，'J'，'P'，'G'））代替MJPG，并使用您的cv2.VideoCapture查看是否有所帮助。