OpenCV - 手写线条裁剪（线条分割）

Question

我正在尝试使用Python和OpenCV构建手写识别系统。字符的识别不是问题，但分割是一个难点。我已经成功地：

• 将单词分割成单个字符
• 按照所需顺序将单个句子分割为单词。

但我无法将文档中的不同行分割开来。我尝试了对轮廓进行排序（以避免进行行分割并仅使用单词分割），但它没有起作用。我使用了以下代码来分割手写文档中包含的单词，但它以左到右的排序方式返回单词：

import cv2
import numpy as np
#import image
image = cv2.imread('input.jpg')
#cv2.imshow('orig',image)
#cv2.waitKey(0)

#grayscale
gray = cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)
cv2.imshow('gray',gray)
cv2.waitKey(0)

#binary
ret,thresh = cv2.threshold(gray,127,255,cv2.THRESH_BINARY_INV)
cv2.imshow('second',thresh)
cv2.waitKey(0)

#dilation
kernel = np.ones((5,5), np.uint8)
img_dilation = cv2.dilate(thresh, kernel, iterations=1)
cv2.imshow('dilated',img_dilation)
cv2.waitKey(0)

#find contours
im2,ctrs, hier = cv2.findContours(img_dilation.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

#sort contours
sorted_ctrs = sorted(ctrs, key=lambda ctr: cv2.boundingRect(ctr)[0])

for i, ctr in enumerate(sorted_ctrs):
    # Get bounding box
    x, y, w, h = cv2.boundingRect(ctr)

    # Getting ROI
    roi = image[y:y+h, x:x+w]

    # show ROI
    cv2.imshow('segment no:'+str(i),roi)
    cv2.rectangle(image,(x,y),( x + w, y + h ),(90,0,255),2)
    cv2.waitKey(0)

cv2.imshow('marked areas',image)
cv2.waitKey(0)

请注意，我能够分割所有单词，但它们的顺序是错乱的。有没有办法按照从上到下的顺序对这些轮廓进行排序？ 或者 将图像分割成单独的行，以便可以使用上面的代码将每行分割为单词？

- Sidharth Ramesh

---

实际上我尝试过了，但它只会导致轮廓完全重新排序。它不能按正确的顺序返回轮廓。 我进行了从左到右的排序，然后是从上到下的排序，但轮廓仍然是无序的。所以我认为每一行都需要被分开处理。 - Sidharth Ramesh

将轮廓按照 x 坐标和 y 坐标进行排序，并制作列表是最容易的，如果可以的话，请添加一张图片。 - I.Newton

@Link，你可以通过发送电子邮件至[e-mail]与我联系。 - Sidharth Ramesh

@VishnuJayanand 我更新了答案，解决了你的问题。 - Sidharth Ramesh

@VishnuJayanand 我不明白你对于减少迭代的疑惑。这段代码可以适用于不同的字体大小，因为每一行裁剪的区域是基于该行中最大的字符计算出来的。你可以使用具有不同大小文本的图像检查代码。 - Sidharth Ramesh

Answer 1

我通过更改上面代码的这一行来获得所需的分割：

kernel = np.ones((5,5), np.uint8)

我将其改为：

kernel = np.ones((5,100), np.uint8)

现在我得到了以下输出： 这也适用于线条不完全水平的手写文本图像：

编辑: 要从一个单词中获得单个字符，可以按照以下步骤进行：

1. 使用以下代码调整包含该单词的轮廓大小。

   im = cv2.resize(image,None,fx=4, fy=4, interpolation = cv2.INTER_CUBIC)
   

   应用与行分割相同的轮廓检测过程，但是使用大小为(5,5)的内核，即：

kernel = np.ones((5,5), np.uint8)
img_dilation = cv2.dilate(im_th, kernel, iterations=1)

- Sidharth Ramesh

---

你能描述一下如何将每个边界线裁剪成单独的图像吗？有什么想法或资源吗？你的回答很有帮助。 - susan097

@Sushant 你的意思是将每个裁剪出来的轮廓保存为单独的图像吗？ 只需将每个检测到的轮廓保存为图像即可。就这样。 - Sidharth Ramesh