我目前正在研究Android上的OCR。因此,我编写了一个带有相机预览的小应用程序,现在我正在使用onPreviewFrame方法向Tessearact工具(tess-two)提供图像。现在我想在我的相机预览中显示OCR的边界矩形。TessBaseAPI提供了返回字符/单词边界框的方法。返回对象的类型是Pixa,在与tess-two一起提供的leptonica库中。
所以我的问题是:如何从TessBaseAPI的getCharacters()或getWords()返回的Pixa对象中获取可用的坐标,以便在我的相机预览上绘制边界框? BaseAPI中的GetCharacters()和getWords() leptonicas Pixa类 重要提示:
所以基本上,我将从相机得到的NV21字节数组压缩成YuvImage,然后压缩成jpeg,再从中转换为位图。我在网上搜索了很多关于如何从NV21数组获取位图/ jpeg的解决方案,这是我找到的最简单的方法。这个位图将被提供给tesseract工具OCR。这就带来了我的第二个问题:
在这些压缩和90度旋转之后,我如何定位在屏幕上绘制框的位置?(相对于压缩和旋转之前)
这可能不是提供实时帧给OCR的最佳或甚至是好的方法,我非常感谢评论、其他解决方案或优化方式的建议。
我两天前开始这个项目,是一个非常初学者的安卓和OCR编程人员。在这两天里,这个页面帮助了我很多,并且非常好地回答了我目前所遇到的问题,所以谢谢你们,也感谢您帮助我解决当前的问题。如果您想查看更多代码或有问题,我会提供并乐意回答我所能回答的任何问题。
问候
您可以通过Pixa类和GetCharacters()链接在github上浏览整个API源代码,无法插入更多超链接。
所以我的问题是:如何从TessBaseAPI的getCharacters()或getWords()返回的Pixa对象中获取可用的坐标,以便在我的相机预览上绘制边界框? BaseAPI中的GetCharacters()和getWords() leptonicas Pixa类 重要提示:
由于预览只支持的图像格式是YUV N21,而根据我所了解的Tess-API需要ARGB_8888位图,因此在将位图提供给TessAPI之前,在我的onPreviewFrame方法中使用以下解决方法:(我也将其顺时针旋转90度,因为我在纵向方向上使用相机,但相机的预览帧是横向的)
//byte[] bmpdata <- the image in a byte array (NV21 Imageformat) in onPreviewFrame
YuvImage yuvimage = new YuvImage(bmpdata,ImageFormat.NV21,width,height,null);
ByteArrayOutputStream outStream = new ByteArrayOutputStream();
Rect rect = new Rect(0, 0, width, height);
yuvimage.compressToJpeg(rect, 100, outStream);
Bitmap bmp = BitmapFactory.decodeByteArray(outStream.toByteArray(),0,outStream.size());
Matrix mtx = new Matrix();
mtx.preRotate(90);
bmp = Bitmap.createBitmap(bmp, 0, 0, bmp.getWidth(), bmp.getHeight(), mtx, false);
bmp = bmp.copy(Bitmap.Config.ARGB_8888, true);
TessTBaseApi.setImage(bmp);
所以基本上,我将从相机得到的NV21字节数组压缩成YuvImage,然后压缩成jpeg,再从中转换为位图。我在网上搜索了很多关于如何从NV21数组获取位图/ jpeg的解决方案,这是我找到的最简单的方法。这个位图将被提供给tesseract工具OCR。这就带来了我的第二个问题:
在这些压缩和90度旋转之后,我如何定位在屏幕上绘制框的位置?(相对于压缩和旋转之前)
这可能不是提供实时帧给OCR的最佳或甚至是好的方法,我非常感谢评论、其他解决方案或优化方式的建议。
我两天前开始这个项目,是一个非常初学者的安卓和OCR编程人员。在这两天里,这个页面帮助了我很多,并且非常好地回答了我目前所遇到的问题,所以谢谢你们,也感谢您帮助我解决当前的问题。如果您想查看更多代码或有问题,我会提供并乐意回答我所能回答的任何问题。
问候
您可以通过Pixa类和GetCharacters()链接在github上浏览整个API源代码,无法插入更多超链接。