Python：Flask上的joblib行为不稳定

Question

我将尝试使用Flask在AWS EC2实例上部署一个机器学习模型。这些是使用joblib挑选的sklearn的随机森林模型。当我在本地主机上运行Flask并将其加载到内存中时，一切都很顺利。然而，当我使用mod_wsgi在apache2服务器上部署它时，有时候joblib能正常工作（即有时能够使用joblib加载模型），而其他时候服务器就会挂起。日志中没有错误信息。如果您有任何想法，请告诉我。

以下是我使用的相关代码：

# In[49]:


from flask import Flask, jsonify, request, render_template
from datetime import datetime
from sklearn.externals import joblib
import pickle as pkl
import os


# In[50]:


app = Flask(__name__, template_folder="/home/ubuntu/flaskapp/")


# In[51]:
log = lambda msg: app.logger.info(msg, extra={'worker_id': "request.uuid" })

# Logger 
import logging
handler = logging.FileHandler('/home/ubuntu/app.log')  
handler.setLevel(logging.ERROR)  
app.logger.addHandler(handler)  


# In[52]:


@app.route('/')
def host_template():
    return render_template('Static_GUI.html')


# In[53]:


def load_models(path):
    model_arr = [0]*len(os.listdir(path))
    for filename in os.listdir(path):
        f = open(path+"/"+filename, 'rb')
        model_arr[int(filename[2:])] = joblib.load(f)
        print("Classifier ", filename[2:], " added.") 
        f.close()
    return model_arr


# In[54]:


partition_limit = 30


# In[55]:

print("Dictionaries being loaded.")
dict_file_path = "/home/ubuntu/Dictionaries/VARR"
dictionaries = pkl.load(open(dict_file_path, "rb"))
print("Dictionaries Loaded.")


# In[56]:

print("Begin loading classifiers.")
model_path = "/home/ubuntu/RF_Models/"
classifier_arr = load_models(model_path)
print("Classifiers Loaded.")


if __name__ == '__main__':
    log("/home/ubuntu/print.log")
    print("Starting API")
    app.run(debug=True)

- Kirtiman Sinha

Answer 1

我曾经被这个问题困扰了相当长的时间。现在，我将答案发布出来以帮助那些遇到同样问题的人。通过使用打印语句并查看日志，我将问题缩小到joblib.load语句。我发现了这篇很棒的博客：http://blog.rtwilson.com/how-to-fix-flask-wsgi-webapp-hanging-when-importing-a-module-such-as-numpy-or-matplotlib 使用全局进程组的想法解决了这个问题。这迫使使用主解释器，正如该博客页面上的顶部评论所提到的那样。

- Kirtiman Sinha

---

这正是我们所面临的问题。感谢您的帮助。 - Nikhil Sahu