양식 문서는 특정 형식으로 구조화시킨 것이지만, 양식 문서를 인식하는 것은 그 형식이 다양하기 때문에 대표적인 비정형데이터라고 보실 수 있습니다. 양식 문서 중에는 표, 텍스트 (심지어 이미지까지) 개체들이 복잡하게 구성된 레이아웃이 많아서 양식 문서 인식은 어려운 문제 중 하나였습니다. 구글에서는 “FormNet: Structural Encoding Beyond Sequential Modeling in Form Document Information Extraction”이란 연구를 ACL 2022에서 발표했습니다.

※ 본 글은 Google AI Blog의 FormNet: Beyond Sequential Modeling for Form-Based Document Understanding 게시물에서 요약한 것입니다.

img

FormNet은 아래 순서로 처리됩니다.

  • 단어 식별과 토큰화 : 주어진 양식 문서에서 BERT-multilingual 사전과 OCR (광학 문자 인식)을 이용하여 단어를 식별하고 토큰화를 수행합니다.

img

  • 그래프 구성 및 메시지 패싱 : 식별한 토큰과 2D 좌표를 GCN에 전달합니다.

img

  • 의미있는 엔터티 추출 : 스키마 학습을 위해 GCN으로 인코딩된 구조화시킨 토큰을 Rich Attention (RichAtt) 매커니즘으로 처리합니다.

img

  • 최종 엔터티 추출 및 디코딩 : Viterbi 알고리즘을 이용하여 사후확률을 최대화시키는 시퀀스를 찾아냅니다.

img

ETC, ETC+RichAtt, ETC+GCN, ETC+RichAtt+GCN 이렇게 4개의 모델로 Masked-Language Modeling(MLM) 사전 훈련 성능 평가를 한 결과라고 합니다. ETC+RichAtt+GCN 모델이 다른 모델보다 성능 개선이 많이 되었네요.

img

기존 모델보다 크게 개선되었다고 하니 양식 인식이 필요하신 분들은 한 번 살펴보시면 좋을 것 같습니다.