将所有的标准输出/标准错误重定向到日志记录器

Question

背景

我有一个非常大的Python应用程序，它启动命令行实用程序来获取所需的数据片段。目前，我只是将Python启动器脚本重定向到日志文件，这样我就可以得到所有print()输出以及命令行实用程序的输出，例如：

python -m launcher.py &> /root/out.log

问题

我已经通过使用 logging 实现了一个合适的记录器，能够更精确地格式化日志语句，限制日志文件大小等。我已经用我的记录器替换了大部分的 print() 语句。但是我有一个问题：所有命令行应用程序的输出都不会出现在我的日志中，而是会被转储到控制台。此外，这些程序并不是以同样的方式启动的：有些是通过 popen() 启动的，有些是通过 exec() 启动的，还有些是通过 os.system() 启动的等等。

---

疑问

是否有一种方法可以全局重定向所有的 stdout/stderr 文本到我的记录函数中，而不必重新编写或修改启动这些命令行工具的代码？我试过设置以下代码，但没有效果：

sys.stderr.write = lambda s: logger.error(s)

然而，它会出现“sys.stderr.write 只读”的错误。

- Cloud

---

你需要大量地使用 monkey patch 来修改 subprocess 和 os 模块，以便让它按照你的意愿工作，因为它使用低级文件描述符而不是直接写入 sys.stdout 和 sys.stderr。 - Blender

Answer 1

虽然这不是完整的答案，但它可能会向您展示如何重定向以适应您的特定情况。这是我以前的做法。尽管我记不得为什么要这样做，或者我试图规避什么限制，但以下内容将stdout和stderr重定向到一个类中，用于print()语句。该类随后会写入屏幕和文件：

import os
import sys
import datetime

class DebugLogger():

    def __init__(self, filename):
        timestamp = datetime.datetime.strftime(datetime.datetime.utcnow(), 
                                               '%Y-%m-%d-%H-%M-%S-%f')
        #build up full path to filename
        logfile = os.path.join(os.path.dirname(sys.executable), 
                               filename + timestamp)
        self.terminal = sys.stdout
        self.log = open(logfile, 'a')

    def write(self, message):
        timestamp = datetime.datetime.strftime(datetime.datetime.utcnow(), 
                                               ' %Y-%m-%d-%H:%M:%S.%f')
        #write to screen
        self.terminal.write(message)
        #write to file
        self.log.write(timestamp + ' - ' + message)      
        self.flush()

    def flush(self):
        self.terminal.flush()
        self.log.flush()
        os.fsync(self.log.fileno())

    def close(self):
        self.log.close()


def main(debug = False):
    if debug:
        filename = 'blabla'
        sys.stdout = DebugLogger(filename)
        sys.stderr = sys.stdout
    print('test')

if __name__ == '__main__':
    main(debug = True)

- Edwin van Mierlo

Answer 2

import sys
import io

class MyStream(io.IOBase):
    def write(self, s):
        logger.error(s)

sys.stderr = MyStream()

print('This is an error', stream=sys.stderr)

这将使所有对 sys.stderr 的调用都传递给记录器。原始的调用仍然在 sys.__stderr__ 中。

- Aaron