Python/OpenCV - 基于机器学习的OCR（图像转文本）

Question

我正在尝试使用 Python 2.7 接口通过 OpenCV 实现基于机器学习的 OCR 应用程序，以从图像文件中解析文本。 我正在使用这个教程（为方便起见，我在下面重新发布了代码）。 我完全不懂机器学习，对 OpenCV 相对较新。

手写数字OCR：

import numpy as np
import cv2
from matplotlib import pyplot as plt

img = cv2.imread('digits.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# Now we split the image to 5000 cells, each 20x20 size
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]

# Make it into a Numpy array. It size will be (50,100,20,20)
x = np.array(cells)

# Now we prepare train_data and test_data.
train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400)

# Create labels for train and test data
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis]
test_labels = train_labels.copy()

# Initiate kNN, train the data, then test it with test data for k=1
knn = cv2.KNearest()
knn.train(train,train_labels)
ret,result,neighbours,dist = knn.find_nearest(test,k=5)

# Now we check the accuracy of classification
# For that, compare the result with test_labels and check which are wrong
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print accuracy

# save the data
np.savez('knn_data.npz',train=train, train_labels=train_labels)

# Now load the data
with np.load('knn_data.npz') as data:
    print data.files
    train = data['train']
    train_labels = data['train_labels']

英文字母OCR：

import cv2
import numpy as np
import matplotlib.pyplot as plt

# Load the data, converters convert the letter to a number
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ',',
                    converters= {0: lambda ch: ord(ch)-ord('A')})

# split the data to two, 10000 each for train and test
train, test = np.vsplit(data,2)

# split trainData and testData to features and responses
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])

# Initiate the kNN, classify, measure accuracy.
knn = cv2.KNearest()
knn.train(trainData, responses)
ret, result, neighbours, dist = knn.find_nearest(testData, k=5)

correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print accuracy

第二个代码片段（用于英文字母）从以下格式的.data文件中获取输入：

T,2,8,3,5,1,8,13,0,6,6,10,8,0,8,0,8
I,5,12,3,7,2,10,5,5,4,13,3,9,2,8,4,10
D,4,11,6,8,6,10,6,2,6,10,3,7,3,7,3,9
N,7,11,6,6,3,5,9,4,6,4,4,10,6,10,2,8
G,2,1,3,1,1,8,6,6,6,6,5,9,1,7,5,10
S,4,11,5,8,3,8,8,6,9,5,6,6,0,8,9,7
B,4,2,5,4,4,8,7,6,6,7,6,6,2,8,7,10

大约有20,000行数据描述了字符的轮廓。

我基本了解这个过程，但是我不清楚如何使用它来实际执行OCR。我该如何使用此代码编写一个函数，该函数以cv2图像作为参数，并返回表示识别文本的字符串？

- Mat Jones

Answer 1

一般来说，机器学习的工作方式如下：首先，您必须训练程序以理解问题域。然后开始提问。

因此，如果您正在创建OCR，则首先要教授您的程序字母A的外观，然后是B等等。

您可以使用OpenCV清除图像中的噪声，并识别可能是字母并将其隔离的像素组。

然后将这些字母馈送到OCR程序中。在训练模式下，您将馈送图像并解释图像表示哪个字母。在询问模式下，您将馈送图像并询问它是哪个字母。训练得越好，答案就越准确（程序可能会错误地识别字母，总有可能）。

- Rodrigo

---

我觉得你误解了我的问题；我知道这就是机器学习的工作方式。但是，我不太理解教程中示例代码中的数据结构。对于第一部分（数字），我实际上已经弄清楚了，但是对于第二部分（英文字母），它从一个“.data”文件中读取轮廓数据，而不是分析图像。那么，一旦我训练好它，我该如何使用它来解析图像中的文本？我应该从哪个数据结构中提取字符？ - Mat Jones

我已经更新了我的问题，并包含了字母识别训练.data文件的摘录。 - Mat Jones

对于我的困惑表示抱歉。这个.data文件是一个已经处理过的字母集合。你可以通过这个链接http://archive.ics.uci.edu/ml/datasets/Letter+Recognition 找到数字的含义。简单来说，他们使用类似openCV的方法来分离字母，并测量了这些字母的特征。你可以拿一封新的信件，进行相同的测量，然后与这个数据集进行比较，找出它属于哪个字母。教程没有涵盖这部分:/ - Rodrigo

你可以从零开始编写一个。我曾经在玩这个项目：https://github.com/Kagami/chaptcha/blob/master/chaptcha.py 它是一个破解验证码的项目。它将图像分割并使用神经网络程序猜测字母。我发现这个代码非常易于理解基本流程，但是在处理图像识别时，最好通过添加或删除转换来清晰图像，使程序适应您自己的领域。 - Rodrigo

@mjones.udri 我也有同样的疑惑。 有关于如何解决此问题的任何更新吗？ 您是否收到了您回答的问题？ - user3457384