UiPath AI 컴퓨터 비전과 OCR 연계 활용

RPA (Robotic Process Automation) 솔루션이 하루가 다르게 진화하면서 적용 영역도 넓어지고 있습니다. RPA에 AI기술이 접목되면서 이전에는 어려웠던 금융권 대출심사 같은 복잡한 업무도 자동화할 수 있는 좋은 사례입니다. RPA 활용을 가로 막는 장애물이 아직도 존재하지만 하나씩 해결되고 있습니다.

컴퓨팅 자원의 효율적 이용을 위해 많은 기업이 도입한 시트릭스, VMWare그리고 마이크로소프트 윈도우 리모트 데스크탑 같은 VDI (Virtual Desktop Infrastructure. 가상 데스크탑 인프라) 환경도 RPA 활용을 어렵게 하는 요소로 평가 받고 있습니다.

일반적OCR 기술과 RPA 솔루션으로는 가상 데스크 환경의 자동화가 불가능합니다. 그 이유는 VDI에 적용된 원격 데스크탑 기술이 기본적으로 동영상 이미지를 스트리밍 하는 방식이라 RPA 로봇이 인식할 수 없기 때문입니다. 따라서 VDI 요소가 포함되는 업무의 자동화를 위해서는 가상 데스크탑 화면에 표시된 텍스트를 이해하고 인터페이스 종류 (드롭다운 메뉴, 클릭 버튼, 전화번호 입력란 등)와 용도를 이해할 수 있는 고급 기술이 필요합니다.

가상 데스크탑 인프라 (VDI) 종류​ 

UiPath AI 컴퓨터 비전의 OCR 활용

이를 위한 솔루션이 UiPath AI컴퓨터 비전입니다. 여러분도 동일한 문제를 경험하고 있다면 오늘 소개하는 UiPath AI 컴퓨터 비전을 잘 살펴보시기 바랍니다. AI컴퓨터 비전은 소프트웨어 로봇이 컴퓨터 화면에 나타난 모든 요소를 읽고 이해할 수 있도록 해주는 AI기술로 정의할 수 있습니다. 이런 이유로 UiPath AI컴퓨터 비전을 이용하면, VDI를 포함하는 업무 프로세스의 자동화를 손쉽게 구현할 수 있습니다. 이 과정에서 가상머신이 운영되는 운영체제 및 자바, 닷넷 등 개발 프레임워크에 영향을 받지 않고 매끄럽게 자동화를 할 수 있습니다.

​UiPath AI 컴퓨터 비전은 드롭다운 메뉴, 체크박스 등 동적인 사용자 인터페이스(UI)를 포함한 다양한 인터페이스 방식을 지원합니다. AI컴퓨터 비전의 이런 특성을 이용하면, 인터페이스에 작은 변경이 생겨도 오류 없이 업무를 진행하는 복원력이 높아집니다. 복원력 증가는 곧바로 자동화 업무의 신뢰도 상승으로 이어집니다. UiPath AI 컴퓨터 비전은 이 단계에서 OCR을 활용합니다.​

AI컴퓨터 비전은 사람이 작업하듯이 가상 데스크탑에 나타나는 영상 내용을 이해하고 분석하기 위해 UiPath가 자체 개발한 커스텀 스크린 OCR기술이 적용된 고급 신경망 알고리즘을 활용합니다. 이 솔루션은 업무 자동화에 이용 가능한 인터페이스를 검색하고 특정 메뉴를 클릭하는 것 같은 단순한 작업에서 스크린에 표시된 전체 테이블 추출이나 드롭다운 메뉴의 특정 항목을 선택하는 등의 복잡한 작업도 가능합니다.​

가상머신 화면에 표시된 요소의 식별을 위해 AI 컴퓨터 비전은 자연어 분석에 많이 이용되는 퍼지 매칭 (Fuzzy matching)이란 텍스트 해석 기법을 사용합니다. UiPath RPA 로봇은 퍼지 매칭 기술을 이용해 OCR이 도출한 결과값이 일치하지 않는 경우에도 정확하게 요소를 정의할 수 있습니다. 자연스럽게 자동화 업무의 정확도가 높아지고 오류 수정과 테스트 작업 감소로 개발 기간이 줄어듭니다.​

아래 그림은 AI 컴퓨터 비전 솔루션이 자동화 작업을 진행하면서 UiPath 스크린 OCR을 이용해 가상 데스크탑 화면에 출력된 UI요소를 읽고 이해하는 과정입니다. UiPath 스크린 OCR 엔진이 가장 적합하지만 사용자 필요에 따라 3rd 파티 OCR 도 가능합니다.​

UiPath AI 컴퓨터 비전 솔루션과 OCR​​AI컴퓨터 비전 작업 방법 동영상​​

UiPath AI컴퓨터 비전 주요 기능UiPath AI컴퓨터 비전은 VDI 환경의 업무 자동화를 위한 다양한 기능을 제공합니다. 앞에서 언급한 것처럼 기존의 표준 OCR과 RPA 솔루션은 지원하지 못하는 사항들이죠. 대표적 기능이 VDI환경에서 작동하는 플래시, 실버라이트 및 동영상에 나타난 객체 인식입니다. 또한 기업 여건에 따라 SaaS 혹은 온-프레미스 방식의 개발이 가능합니다.​

UiPath AI컴퓨터 비전 주요 기능​​​

UiPath를 활용한 OCR 고도화지금까지 설명한 바와 같이 OCR기술이 통합된 AI 기반 솔루션을 활용하면 다양한 효과를 얻을 수 있습니다. UiPath Document Understanding및 AI 컴퓨터 비전 솔루션과 OCR를 같이 활용하면, 기본적인 기능을 넘어 엔터프라이즈 수준의 확장성과 신뢰성을 보장하는 자동화를 구현할 수 있습니다. 이 과정에서 비정형 데이터 및 VDI 환경에 묶여 활용할 수 없었던 데이터까지도 최대한 활용할 수 있습니다.​

아래 그림을 통해 여러분이 기획하는 업무 자동화에 UiPath Document Understanding과 AI 컴퓨터 비전 중 어떤 것이 더 적합한지 판단할 수 있습니다. 가장 간단한 기준점은 추출한 텍스트가 특정 문서에 포함되는지 아니면 독립적으로 존재하는지 여부입니다. 특정 문서에 속한다면 UiPath Document Understanding을, 독립된 텍스트라면 UiPath AI 컴퓨터 비전을 권고합니다.​

UiPath Document Understanding vs. UiPath AI컴퓨터 비전 선택 기준​

OCR기술이 UiPath Document Understanding 및 AI컴퓨터 비전 솔루션과 만나면 더 많은 업무 자동화 활용과 가치를 만들어낼 수 있습니다