检测国民身份证并获取详细信息
computer-vision
image-processing
ocr
opencv
5
0

我正在尝试检测以下类型的国民身份证并获取其详细信息,例如,签名的位置应在人员图像的右上角找到,在本例中为“ BC”。

在此处输入图片说明

我需要在iPhone中执行此应用程序。我曾考虑使用Opencv,但如何获得标记的细节?我是否需要使用类似的Cards培训应用程序,否则OCR可能会有所帮助?

是否有针对移动应用程序的特定实现?

我还通过card-io来检测信用卡详细信息,Card-io是否也检测到其他卡的详细信息?

更新:

我已将tesseract用于文本检测。如果图像仅包含文本,则Tesseract效果很好。因此,我裁剪了红色标记的区域,并将其作为Tesseract的输入,它与MRZ部分一起使用效果很好。

我已经测试了Tesseract的IOS实现

我需要做什么?

现在,我正在尝试使文本检测部分自动化。现在,我打算自动化以下项目,

1)修剪脸部(我已经使用Viola-jones脸部检测器完成)。

2)在本示例中,需要从照片中获取“ BC”的首字母。

3)从ID卡提取/检测MRZ区域。

我正在尝试做2和3,任何想法或代码片段都很棒。

参考资料:
Stack Overflow
收藏
评论
共 3 个回答
高赞 时间 活跃

Card.io专为压纹信用卡而设计。在此用例中将不起作用。

收藏
评论

假设这些ID是根据具有特定宽度,高度,偏移量,间距等的标准模板准备的,则可以尝试基于模板的方法。

机读区很容易检测。在图像中检测到它之后,找到将模板中的MRZ映射到它的变换。知道此转换后,您可以将模板上的任何区域(例如,个人的照片)映射到图像并提取该区域。

下面是一个非常简单的程序,它遵循着幸福的道路。通常,您将需要进行更多处理才能定位MRZ(例如,如果透视变形或旋转)。我只是通过测量图像来准备模板,它不适用于您的情况。我只是想传达这个想法。图片取自Wiki

    Mat rgb = imread(INPUT_FILE);
    Mat gray;
    cvtColor(rgb, gray, CV_BGR2GRAY);

    Mat grad;
    Mat morphKernel = getStructuringElement(MORPH_ELLIPSE, Size(3, 3));
    morphologyEx(gray, grad, MORPH_GRADIENT, morphKernel);

    Mat bw;
    threshold(grad, bw, 0.0, 255.0, THRESH_BINARY | THRESH_OTSU);

    // connect horizontally oriented regions
    Mat connected;
    morphKernel = getStructuringElement(MORPH_RECT, Size(9, 1));
    morphologyEx(bw, connected, MORPH_CLOSE, morphKernel);

    // find contours
    Mat mask = Mat::zeros(bw.size(), CV_8UC1);
    vector<vector<Point>> contours;
    vector<Vec4i> hierarchy;
    findContours(connected, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE, Point(0, 0));

    vector<Rect> mrz;
    double r = 0;
    // filter contours
    for(int idx = 0; idx >= 0; idx = hierarchy[idx][0])
    {
        Rect rect = boundingRect(contours[idx]);
        r = rect.height ? (double)(rect.width/rect.height) : 0;
        if ((rect.width > connected.cols * .7) && /* filter from rect width */
            (r > 25) && /* filter from width:hight ratio */
            (r < 36) /* filter from width:hight ratio */
            )
        {
            mrz.push_back(rect);
            rectangle(rgb, rect, Scalar(0, 255, 0), 1);
        }
        else
        {
            rectangle(rgb, rect, Scalar(0, 0, 255), 1);
        }
    }
    if (2 == mrz.size())
    {
        // just assume we have found the two data strips in MRZ and combine them
        CvRect max = cvMaxRect(&(CvRect)mrz[0], &(CvRect)mrz[1]);
        rectangle(rgb, max, Scalar(255, 0, 0), 2);  // draw the MRZ

        vector<Point2f> mrzSrc;
        vector<Point2f> mrzDst;

        // MRZ region in our image
        mrzDst.push_back(Point2f((float)max.x, (float)max.y));
        mrzDst.push_back(Point2f((float)(max.x+max.width), (float)max.y));
        mrzDst.push_back(Point2f((float)(max.x+max.width), (float)(max.y+max.height)));
        mrzDst.push_back(Point2f((float)max.x, (float)(max.y+max.height)));

        // MRZ in our template
        mrzSrc.push_back(Point2f(0.23f, 9.3f));
        mrzSrc.push_back(Point2f(18.0f, 9.3f));
        mrzSrc.push_back(Point2f(18.0f, 10.9f));
        mrzSrc.push_back(Point2f(0.23f, 10.9f));

        // find the transformation
        Mat t = getPerspectiveTransform(mrzSrc, mrzDst);

        // photo region in our template
        vector<Point2f> photoSrc;
        photoSrc.push_back(Point2f(0.0f, 0.0f));
        photoSrc.push_back(Point2f(5.66f, 0.0f));
        photoSrc.push_back(Point2f(5.66f, 7.16f));
        photoSrc.push_back(Point2f(0.0f, 7.16f));

        // surname region in our template
        vector<Point2f> surnameSrc;
        surnameSrc.push_back(Point2f(6.4f, 0.7f));
        surnameSrc.push_back(Point2f(8.96f, 0.7f));
        surnameSrc.push_back(Point2f(8.96f, 1.2f));
        surnameSrc.push_back(Point2f(6.4f, 1.2f));

        vector<Point2f> photoDst(4);
        vector<Point2f> surnameDst(4);

        // map the regions from our template to image
        perspectiveTransform(photoSrc, photoDst, t);
        perspectiveTransform(surnameSrc, surnameDst, t);
        // draw the mapped regions
        for (int i = 0; i < 4; i++)
        {
            line(rgb, photoDst[i], photoDst[(i+1)%4], Scalar(0,128,255), 2);
        }
        for (int i = 0; i < 4; i++)
        {
            line(rgb, surnameDst[i], surnameDst[(i+1)%4], Scalar(0,128,255), 2);
        }
    }

结果:照片和姓氏区域为橙色。机读区为蓝色。 在此处输入图片说明

收藏
评论

现在有用于此目的的PassportEye库。它不是完美的,但是根据我的经验来说效果很好: https//pypi.python.org/pypi/PassportEye/

收藏
评论
新手导航
  • 社区规范
  • 提出问题
  • 进行投票
  • 个人资料
  • 优化问题
  • 回答问题

关于我们

常见问题

内容许可

联系我们

@2020 AskGo
京ICP备20001863号