Распознавание документов: Распознавание документов на частном примере — обзор доступных платных и бесплатных решений

Решение TerraLink для массового ввода и распознавания документов автоматизирует ваши процессы, устраняя затраты, задержки и ошибки, связанные с необходимостью ввода данных вручную. Решение совмещает сложную технологию распознавания, проверки и автоматизированные рабочие процессы, чтобы получить данные, непосредственно используемые вашими системами.

При построении решений TerraLink использует промышленные системы массового ввода, чье применение гарантирует наилучшие результаты в соответствии с потребностями наших пользователей:

• OpenText Business Center for SAP Solutions – промышленная система, заслуженно котирующаяся в числе лидеров рынка программных средств массового ввода, представляющая непревзойденные встроенные возможности в части интеграции с хранилищами контента, реализованными на платформах SAP и OpenText.
• Kofax Transformation Module (KTM) – промышленная, лидирующая в мире система для управления массовым вводом документов и их последующей обработкой.
• ABBYY FlexiCapture – наиболее распространенная отечественная система, заслужившая заслуженное признание как в России, так и за рубежом.

Типичные проблемы, связанные с вводом документов

• Информация поступает в разных форматах (факсы, вложения электронной почты, бумажные документы) и разного уровня качества.
• Интеграция входящих документов в бизнес-системы может быть сложной задачей.
• Ручной ввод входящей информации в бизнес-системы приводит к увеличению затрат, человеческим ошибкам, дополнительным рабочим циклам, задержкам обработки, проблемам обслуживания клиентов.

Функционал решения для массового ввода и распознавания документов

• Автоматическая обработка неструктурированных документов различных форматов с использованием технологии распознавания, проверок качества персонала и автоматизированных рабочих процессов.
• Превращение входящих документов в данные, непосредственно используемые бэк-офисными приложениями.
• Предоставление данных в различных форматах, включая XML, CSV и IDOC.
• Поддержка различных протоколов передачи данных, включая SMTP, HTTPS, FTP.
• Точность на уровне поля ваших входящих документов и форм на уровне 99,5%.
• Соблюдение конфиденциальности, безопасности и других норм.
• Ежемесячные отчеты о проверках и исключениях.
• Обеспечение работы ОЦО.

Бизнес-выгоды от внедрения решения для массового ввода и распознавания документов

• Устранение затрат, задержек и ошибок, связанных с необходимостью повторного ввода данных вручную.
• Оптимизация штата сотрудников, отвечающих за первичную обработку поступающих документов
• Оптимизация и автоматизация работы операторов сканирования в филиалах
• Оптимизация затрат на инфраструктуру за счет эффективного управления данными
• Минимизация влияния человеческого фактора при контроле ошибок
• Автоматизированный контроль полноты данных и правильности оформления документов
• Решение проблемы пиковых нагрузок при закрытии учетных периодов
• Сокращение времени исполнения ключевых корпоративных бизнес-процессов за счет перехода на работу с электронными образами документов вместо бумажных.

Результаты наших клиентов

• Увеличение скорости ввода документов почти в 3 раза
• Увеличение скорости ввода данных учетные системы почти в 2,5 раза с одновременным практически полным исключением ошибок
• Повышение скорости обработки документов на всех этапах корпоративных бизнес-процессов почти в 4 раза
• Уменьшение трудозатрат при обработке документов почти в 2 раза
• Снижение нагрузки на каналы передачи данных почти в 3-4 раза, экономия трафика

1С распознавание документов – Сервис автораспознавание документов в 1С от SCLOUD

Системы распознавания текста – обзор

В арсенале платформы Яндекс.Облако появился сервис Yandex Vision для анализа изображений при помощи машинного обучения. Например, при помощи сервиса компании могут распознавать тексты архивов и искать по ним данные, переводить тексты с изображений и модерировать контент пользователей. Бизнесу Yandex Vision может пригодиться для сканирования однотипных документов и занесения их в систему документооборота, например, по ключевым словам. Сервис также ищет лица людей на изображении и выделяет их прямоугольниками, но пока не распознает — с помощью этой функции нельзя находить похожие лица или идентифицировать личность. Яндекс уже определился с ценами на распознавания текста: 120 руб за 1000 картинок в месяц. Обнаружение лиц – пока бесплатно. Подобный сервис уже предоставляют Mail.ru и FindFace.

2014. Электронный Архив Этлас внедрен в Казахстане

Компания «Этлас-Софт» совместно со специалистами ТОО «Приречное ЛА» запустили в промышленную эксплуатацию электронный архив документов, созданный на платформе архива «ЭТЛАС». В процессе внедрения системы электронного архива ЭТЛАС на первом этапе были созданы группы пользователей и назначены права доступа к документам, была сформирована структура архива. Заказчиком были настроены правила автоматического наименования, размещения и нумерования документов, была настроена процедура резервного копирования базы данных и базы документов. На втором этапе была выполнена работа по сканированию и заведению документов в систему с использованием модуля автораспознавания текста, что позволило в разы ускорить процесс заполнения архива. Внедрение системы Этлас значительно упростило доступ к данным компании. Теперь сотрудники и руководство компании всегда имеют возможность получить необходимые данные, находясь как на рабочем месте, так и у себя дома или в командировке в любой точке мира.

2011. OPTIMA-WorkFlow избавит от архивной пыли

Компания Optima software (ГК Optima) представляет новые решения — «Электронный архив» и «Архив бумажных документов» на платформе OPTIMA-WorkFlow. Решение «Электронный архив» на платформе OPTIMA-WorkFlow предназначено для централизованного хранения документов организации в электронном виде. Типовое решение обеспечивает гарантированную сохранность документов, накопление корпоративной Базы знаний, автоматизированный картотечный учет электронных документов, поиск документов по реквизитам и содержанию, а также защиту информации от несанкционированного доступа. В типовое решение «Электронный архив» входит пакет программных приложений для потокового сканирования, распознавания и привязки документов, что позволит организациям перевести текущий бумажный архив в электронный вид с наименьшими затратами времени. Типовое решение «Архив бумажных документов» предназначается для автоматизации деятельности архивных служб организации в соответствии с требованиями ЕГСДОУ, ВНИИДАД и Росархива. Решение обеспечивает классификацию документов, формирование дел/томов архивного хранения, проведение экспертизы ценности, передачу документов в государственный архив, выдачу (выемку) документов и возврат их на архивное хранение, формирование сводных описей/актов на уничтожение и т. д.

Компания ABBYY, ведущий мировой разработчик технологий оптического распознавания документов, ввода данных и лингвистического программного обеспечения, объявляет о выходе ABBYY FineReader 10 Corporate Edition, новой версии знаменитой программы для распознавания документов (OCR), которая предназначена для использования в малом и среднем бизнесе. По сравнению с ABBYY FineReader 9 в новой версии существенно улучшено качество распознавания документов со сложной структурой – контрактов, таблиц, журнальных статей с текстами поверх картинок, графиками и рисунками. Гораздо проще считываются и переводятся в нужные форматы изображения низкого качества. Новая версия ABBYY FineReader для корпоративных пользователей включает все возможности ABBYY FineReader 10 Professional Edition и ряд дополнительных функций для удобства работы в локальной сети компании.

Обновления LinkServer: распознавание документов и настройка маршрутизации

LinkServer — платформа управления потоками данных, канал связи между учётными системами и системами провайдеров. Платформа автоматически обрабатывает, сверяет, подписывает документы и перенаправляет их в нужные системы. В марте мы добавили новые возможности, которые уже доступны пользователям LinkServer.

OCR-распознавание документов

Пользователям LinkServer теперь доступно оптическое распознавание документов (OCR). Любой неструктурированный формат документа платформа распознает и переведёт в электронный вид, с которым можно работать так, как этого требуют бизнес-процессы: согласование документа, подписание. 

OCR практически исключает вмешательство человека на этапе ввода данных из счетов, полученных в бумажном виде или прикрепленным к электронным письмам. Платформа обрабатывает документ в течение 30 секунд, затем пользователи могут проверить финальный результат и выгрузить файл в учетную систему данных или продолжить работу на платформе LinkServer. В результате компания до 10 раз ускоряет процесс ввода первичной документации.

Бизнес-пользователь может легко доверить процесс системе — вероятность ошибки в цифрах и реквизитах практически исключена. Система представляет собой глубокую логику машинного обучения и проверяет даже данные номенклатур. 

LinkServer роботизирует рутинные процессы: автоматически подписывает документы, сверяет, ищет ошибки, передаёт документ из одной системы в другую. Раньше пользователи не могли самостоятельно настроить бизнес-процесс на платформе — это делала команда продукта. Сейчас пользователи смогут самостоятельно в удобном интерфейсе настраивать логику обработки или передачи документов без погружения в код продукта. 

Бизнес-выгоды для компании:

• снижается стоимость внедрения интеграционных решений от 5% до 30% в зависимости от архитектуры и бизнес-логики компании;
• инвестиции в проект быстрее окупаются. 

Обмен данными между корпоративными ИС

Раньше LinkServer связывал корпоративные учетные системы с внешними информационными системами. Сейчас дополнительно платформа позволяет наладить обмен между внутренними корпоративными системами.

В результате благодаря пиринговому обмену LinkServer объединяет любые системы между собой. Переход на такой уровень позволит компаниям соединит между собой разрозненные участки данных в единую цепь как на стороне внешних систем (операторы ЭДО, маркетплейсы, «Честный Знак»), так и на стороне внутреннего контура (1С, CRM, ERP, ECM).

Бизнес-выгоды для компании:

• ускорение прохождения потока данных между любыми системами;
• экономия бюджета компании за счет быстрой интеграции информационных систем без их доработок;
• консолидация данных в одном месте и управление ими для принятия бизнес-решений;
• контроль трафика и обмена информацией внутри компании.

Какие показатели доступны:

• статистика потребляемых ресурсов;

• объёмы проходящих документов;

• объём базы данных;

• данные об ошибках;

• данные о действии сертификата «КриптоПро»;

• статусы документов: сколько принято, сколько документов в очереди на обработку.

Всё это помогает пользователям легко доверять системе, так как вероятность ошибки в документах низкая, при этом любую ошибку можно быстро выявить и исправить.

Если вы ищете решение для бесшовной интеграции внешних и внутренних систем или хотите роботизировать процессы, связанные с документами, приходите на бесплатный вебинар «LinkServer: создаём единый центр обработки документов в холдинге» 13 апреля, в 11:00 (МСК).
 

Руководство по IDP для новичков | Блог

Если вы работаете в компании, которая ежедневно обрабатывает большой объем документов, вы, вероятно, знаете множество проблем, связанных с преобразованием этих документов в цифровые.Обработка требует часов кропотливой работы. Люди должны сканировать, а затем отсортировать документы, добавляя теги к каждому из них, чтобы их можно было хранить и делать перекрестные ссылки.

Как вы понимаете, этот ручной процесс является дорогостоящим, подверженным ошибкам, медленным и недостаточно использует ценные человеческие ресурсы. Другими словами, головная боль!

Однако благодаря технологиям на базе искусственного интеллекта эти ручные процессы можно оптимизировать таким образом, чтобы сократить время обработки, повысить точность и значительно снизить необходимость вмешательства человека.

Одна из таких технологий – интеллектуальное распознавание документов (IDR).

Intelligent Document Recognition (IDR) – это технология на базе искусственного интеллекта, которая может классифицировать различные типы структурированных и неструктурированных документов, сохранять их в правильной категории и формате и извлекать их для различных целей. (Здесь, в Nexus, мы также используем термин «модель анализа макета».)

IDR использует основанные на правилах модели искусственного интеллекта и оптическое распознавание символов (OCR) для правильной характеризации и классификации документов.Проще говоря, IDR позволяет сканировать или импортировать различные типы документов в систему, не требуя предварительной сортировки.

IDR имеет три основных возможности:

1. Классификация : IDR может интерпретировать информацию и шаблоны в документах и ​​классифицировать их по различным типам документов. Если в документе, который был отсканирован в систему, например, есть слово «расчетная ведомость», то программа автоматически обнаружит, что она обрабатывает расчетную ведомость.Конечно, это очень упрощенный пример. Программное обеспечение IDR может классифицировать более сложные и детализированные документы, в которых могут присутствовать различные термины, с соответствующей пометкой каждого из полей.
2. Извлечение : после классификации IDR автоматически извлекает соответствующие данные из документов. Извлекаемые данные зависят от потребностей каждой отдельной организации. Эти данные могут использоваться для запуска бизнес-процесса или для заполнения существующей базы данных, такой как система управления взаимоотношениями с клиентами (CRM).
3. Release : программное обеспечение IDR затем экспортирует данные в рабочий процесс, созданный организацией, что позволяет их немедленно использовать.

Программное обеспечение IDR также построено на основе набора правил обучения, что позволяет ему проходить обучение и постоянно улучшать его по мере того, как вы его используете.

IDR зарекомендовал себя как очень полезный для предприятий с тяжелыми бэк-офисными процессами, которые хотят оптимизировать свои операции.Некоторые из преимуществ IDR следующие:

Более высокая скорость

Избавляя людей от ручного ввода и проверки данных, IDR экономит время, автоматизируя очень трудоемкий процесс.

IDR используются такие методы проверки, как макет документа и близость, что значительно снижает вероятность человеческой ошибки. Это также снижает шансы компании на нарушение любых нормативных требований.

Более низкие затраты

IDR сокращает расходы, связанные с исправлением ошибок и штрафами за несоблюдение требований.

Лучшее использование человеческих ресурсов

Освободив сотрудников от рутинных, повторяющихся задач, они могут сосредоточить свои таланты на более важных задачах и принятии решений.

Более легкий поиск

IDR позволяет пользователям из любого отдела или офиса быстро и легко искать документы, соответствующие критериям, установленным пользователем.

Таким образом, интеллектуальное распознавание документов может быть очень полезным инструментом для любого бизнеса, имеющего дело с большими объемами документов.Конечно, существуют более сложные решения IDR, которые используют более сложный ИИ, обладают высокой гибкостью и могут удовлетворить широкий спектр потребностей, но, поскольку это руководство для новичков, мы на этом остановимся.

Если вы хотите узнать больше о том, как можно использовать IDR для оптимизации бизнес-процессов, свяжитесь с одним из наших представителей. Он или она будет более чем счастлив объяснить, как система интеллектуальной обработки документов Nexus FrontierTech помогает организациям повысить свою эффективность.

Программное обеспечение для захвата и распознавания документов

OpenText Business Network способствуют эффективному, безопасному и совместимому потоку информации внутри и за пределами предприятия от любого отправителя к любому получателю в любом формате. Business Network охватывает всю цепочку создания стоимости B2B, обеспечивая огромный, постоянно растущий объем транзакционных данных через множество носителей, включая электронный факс, совместное использование файлов, защищенную электронную почту, электронный обмен данными (EDI) и управляемую передачу файлов.

Снижение затрат на процессы обмена информацией B2B: Автоматизация рабочих процессов, ускорение обмена данными и обеспечение соблюдения нормативных требований при одновременном снижении административной нагрузки на обмен информацией B2B за счет перемещения управления системами (распространение факсов и документов, интеграция данных, совместное использование файлов и т. Д. другие) в облако.

Повышение соответствия и безопасности информации: Распространение политик управления на все информационные каналы, такие как электронная почта и передача файлов, для поддержания полностью прозрачного контрольного журнала и управления потоком информации надежным образом повышает способность организаций уверенно решать требования безопасности, запросы регулирующих органов и судебные разбирательства.

Расширьте влияние информации: Компании могут усилить влияние информации, создав эффективные каналы связи по всей сети, чтобы получать нужную информацию нужному человеку в нужное время на любом устройстве.

Ускорение времени до транзакции: Организациям необходимо обмениваться информацией для ведения бизнеса. Заказы, отгрузки, счета-фактуры, отчеты – использование унифицированного последовательного метода обмена информацией по бизнес-каналам и сокращение времени до транзакции – безопасное ведение бизнеса.

Глобальное присутствие: Благодаря нашим экспертам по всему миру, мы можем помочь вам с любым из вышеперечисленных вопросов, будь то Китай, Сингапур, Германия или Северная Америка. Посетите наши офисы, чтобы узнать больше.

Программное обеспечение для распознавания документов и извлечения данных на базе искусственного интеллекта

Тема: Автоматическая классификация документов, сбор документов, извлечение данных, распознавание документов AI
Сферы деятельности: банковское дело, финтех, розничная торговля
Наука о данных: компьютерное зрение, машинное обучение
Инструменты: Python, Tensorflow, Sklearn, Tesseract

Резюме : MindCraft помог автоматизировать ввод и распознавание документов для клиентов в банковской сфере с помощью программного обеспечения AI Document Recognition.Система может обрабатывать документы для любого домена и содержащие любой контент, от рукописного текста до полей и таблиц.

Наш клиент работает на рынке банковских и финансовых услуг более 10 лет. Они попросили нас разработать решение для машинного обучения, чтобы упростить процедуру распознавания и классификации документов. Ежедневно компании приходилось обрабатывать несколько тысяч единиц бизнес-данных.Значительная группа людей выполняла это вручную, что требовало много времени и средств. Нашей основной задачей было разработать решение для машинного обучения, чтобы упростить обработку и сортировку документов и свести к минимуму необходимость в ручных операциях.

Автоматическая классификация управленческих документов – довольно сложная задача. Это предполагает, что разные документы поступают от разных поставщиков. Все эти документы имеют разные визуальные параметры: размер, формат, оттенок цвета бумаги, размер шрифта и тип.Суть информации, содержащейся в документе, также различается. Тот факт, что часть документов написана от руки, только усложняет дело. Часто текст было очень трудно разобрать.

Прежде чем наши разработчики машинного обучения смогли приступить к цифровой обработке бухгалтерских и других документов, нам нужно было оцифровать содержимое всех полей. Ручной ввод невозможен, если данных много.Для включения автоматического ввода необходимо сначала решить две задачи:

• OCR
• Понимание того, какое поле содержит информацию и где она находится

Пример:

Мы начали с анализа счетов-фактур и поиска полей с названиями поставщиков, датами и номерами документов. Документы сильно различаются, и следует ожидать новых документов. Поэтому решить эту задачу программной реализацией жестких алгоритмических решений практически невозможно.В качестве разумной альтернативы представляются интеллектуальные методы управления данными, в частности машинное обучение.

У нас была подборка из 500 реальных деловых документов, с которыми нужно было работать. В выборку для обучения входило 400 документов от разных поставщиков. Тестовый набор состоял из 100 таких документов.

Условное случайное поле (CRF) – хорошо известный метод для подобных задач. Условное случайное поле часто применяется в решениях для захвата и распознавания образов и машинного обучения, а также для структурированного прогнозирования.Метод основан на анализе содержания самого поля. Однако на практике качественные результаты этого метода не очень впечатляют. Возможность найти нужный номер документа на тестовом наборе не превышала 55%, 62% точности определения даты. Поля с названием организации были проще – 85%

Очевидно, расположение полей в документе имеет свои закономерности, скрытые на первый взгляд. Таким образом, во второй модели в качестве факторов использовалось расположение полей в документе, а также характеристики шрифтов.Классификатор случайного леса послужил основой для этой модели. В конце концов, результаты тоже оказались не такими высокими.

Нам удалось существенно улучшить результат только за счет объединения достижений обеих моделей. Результат – не менее 70% правильного распознавания поля

Получение этих результатов помогло нам понять, что идея клиента абсолютно реальна и мы можем ее реализовать. Программное обеспечение для извлечения данных стало лишь первой частью большой работы, которую мы проделали для клиента.Вторая часть проекта – Решение для автоматизированной классификации документов для банковского дела

Нам удалось воплотить идею клиента в жизнь и превзойти его ожидания. В результате наш клиент получил систему, которая поможет его бизнесу в автоматизированной классификации документов. Благодаря нашему программному обеспечению на основе машинного обучения, занимающемуся обработкой документов, наш клиент теперь может сосредоточиться на бизнес-стратегии и других критически важных задачах.

вам также могут понравиться…

19 апреля 2018

Автоматизированный классификатор документов для банковского дела

Тема: Автоматическая классификация документов, сбор документов, извлечение данных, распознавание документов с помощью искусственного интеллекта Сферы деятельности: банковское дело, финансовые технологии, розничная торговля Сферы науки о данных: компьютерное зрение, машины… Подробнее

16 мая 2018

Векторизация растров в полигоны

Тема: Автоматическая классификация документов, сбор документов, извлечение данных, распознавание документов с помощью искусственного интеллекта Сферы деятельности: банковское дело, финансовые технологии, розничная торговля Сферы науки о данных: компьютерное зрение, машины… Подробнее

Полный процессор и подробный список | Cloud Document AI Documentation

Этот контент доступен одобренным клиентам. Вы можете просмотреть этот контент после того, как вы были одобрены и добавлены в соответствующий список разрешений.

Ключ в будущее: интеллектуальное распознавание документов

Бумага для печати и движущаяся бумага дороги и требуют много времени.Компании, которым необходимо сократить эти расходы и более эффективно управлять процессами, просто конвертируют документы, отправленные по почте, в факсы или PDF-файлы, отправленные по электронной почте. С точки зрения получателя, все входящие документы неструктурированы или частично структурированы. Документы, основанные на изображениях или данных (например, обычный PDF), могут выглядеть одинаково (все счета-фактуры), но элементы данных не содержат понятных метатегов. Следовательно, каждый документ необходимо рассматривать и интерпретировать в едином формате, понятном для внутренних процедур ИТ.А это дорогостоящий процесс.

Захват данных из изображений с использованием традиционной обработки форм основан на знании конкретного макета формы, чтобы вы могли создать шаблон, чтобы определить, какие поля следует захватить, правила, которые следует использовать для каждого поля, и любые проверки перекрестных полей. Шаблон также определяет связанные метаданные вывода для полей. Выходные данные обычно разделяются запятыми или помечаются тегами XML, хотя в некоторых случаях это может быть электронный обмен данными (EDI). Он работает хорошо только в том случае, если макет форм такой же или когда четкие идентификаторы определяют формат.Это ограничило обработку форм оборотными документами или регулируемыми формами, такими как налоговые декларации, заявки на кредитные карты, медицинские претензии и т. Д.

Захват изображений для индексации с помощью программного обеспечения для пакетного захвата требует ручной вставки закодированных пакетов и разделителей документов между документами, которые предоставляют автоматизированные поиск метаданных индекса. Скрипты выпуска форматируют изображения и данные для решения для внутреннего управления документами (DM) или управления корпоративным контентом (ECM). Для сбора данных из неструктурированных, неизвестных макетов данных можно использовать поисковые системы.Они ищут в неструктурированном тексте и извлекают контекстно релевантные документы и фразы. Однако для создания понятных метаданных для вывода в бизнес-процессы требуются бизнес-правила, а это означает, что программное обеспечение должно понимать, что это за документ.

Новый интеллектуальное распознавание документов (IDR) – технология, первоначально разработанная для обработки счетов и электронной почты, – использует методы из каждой из вышеперечисленных областей и устраняет ограничения.Больше не нужно знать, как выглядит макет формы. Больше не нужно вставлять разделители. Предварительная сортировка больше не требуется. Определенные правила могут сделать данные понятными. IDR может определить категорию документа и применить соответствующие бизнес-правила.

IDR, который также называется интеллектуальным сбором данных (см. P.10, июль / август, KMWorld, том 15, № 7, статья Роберта Смоллвуда, также размещенная в Интернете), работает намного больше, чем люди, полагаясь на обучение и внутренние знания. макета и содержимого общих типов форм, которые используются для понимания и извлечения необходимой информации и запуска рабочих процессов.Это расширяет типы форм, которые можно вводить, и сокращает затраты, но IDR также существенно меняет возможности сбора данных, превращая их в ряд инструментов, которые могут интерпретировать и извлекать данные из всех видов неструктурированной информации.

Информация может быть введена в виде отсканированной бумаги или информации в формате документа, независимо от того, ориентирована ли она на данные, например в формате Word или PDF, или на основе изображений. Обычно это включает и использует несколько различных методов, включая распознавание образов, OCR и другие системы распознавания и поиска, для поиска и извлечения необходимой информации перед применением к ней бизнес-правил.Это стало причиной того, что DICOM / Kofax купила Mohomine и LCI, Captiva купила SWT и одна из причин, по которым Verity купила Cardiff.

IDR дает возможность анализировать и управлять неструктурированной, немаркированной информацией, поступающей в корпорацию или организацию. Он может обеспечить понимание клиентской части, необходимое для поддержки приложений управления бизнес-процессами (BPM) и бизнес-аналитики (BI), а также традиционных систем бухгалтерского учета и управления документами или записями.

Крупные компании, работающие в сфере BPM и BI, начинают осознавать важность этого, и большой новостью 2005 года стало приобретение EMC Captiva – крупного поставщика решений для ввода данных. Покупка заставила многих взглянуть на захват в новом свете. EMC заявила, что это приобретение должно было улучшить управление жизненным циклом документов. Хотя этот термин плохо понимается за пределами отрасли хранения данных, EMC явно видела гораздо больше, чем просто сбор документов. Capture превращается в критически важную потребность в бизнес-системах, которая улучшает основные бизнес-процессы и повышает конкурентоспособность за счет развития понимания документов на основе бизнес-правил.

Согласно нашим исследованиям, рынок программного обеспечения для захвата вырос на 18 процентов в период с 2004 по 2005 год до 1,1 миллиарда долларов США по стоимости пользователя – по сравнению с 14 процентами в предыдущем периоде. Мы разбиваем это на четыре подсегмента, которые мы называем:

• специальное и настольное сканирование – используется офисными работниками, которые хотят преобразовать бумажные документы в удобные электронные документы, над которыми они могут работать или сотрудничать. Используемые устройства – это низкоскоростные сканеры или подключенные к сети офисные цифровые копировальные аппараты (многофункциональные устройства).
• пакетное и распределенное пакетное сканирование – используется для переноса документов в централизованное хранилище документов или используется для их классификации и максимально быстрой маршрутизации в централизованную точку.
• полнотекстовый захват OCR – преобразует текстовые документы, такие как отсканированные журнальные статьи, в данные ASCII, которые можно редактировать, управлять ими или использовать для поиска документов.
• захват транзакций и управление процессами – ранее форма обработки. Подобно пакетному и распределенному пакетному захвату, но выходные данные ориентированы на данные и используются для предоставления данных для использования в бизнес-процессе.

Каждый из этих подсегментов показал некоторые интересные тенденции. Первые три выросли более чем на 20 процентов, что было вызвано рядом ключевых проблем, которые вместе вызывают рыночный стресс:

• Повышение скорости бизнеса, которое требует перемещения документов в электронном виде, а не по почте или курьером. Входящая бумага должна быть преобразована в изображение как можно ближе к точке входа в корпорацию или, предпочтительно, отправителем, используя факс-серверы или отправленные по электронной почте PDF-файлы.Это вызывает переход от централизованного сканирования к распределенному.
• Бизнесу необходимо сократить расходы. Расходы на обработку, перемещение и хранение бумаги можно уменьшить или исключить путем преобразования ее в изображение в сочетании с небольшими системами DM, а инструменты совместной работы в офисе, такие как Microsoft SharePoint, могут повысить эффективность.
• Необходимость оптимизации использования бизнес-оборудования. Отдельно стоящие копировальные аппараты часто используются недостаточно. Объединяя их в сеть, корпорации могут использовать их для печати, отправки факсов и сканирования, а также для копирования.Компании ищут другие альтернативы, такие как распределенные сканеры и принтеры, а производители копировальных устройств делают рывок на рынки захвата.
• Доступность недорогих (менее 1000 долларов США), простых в использовании (одна кнопка), быстрых (25 страниц в минуту и ​​более) распределенных двусторонних настольных сканеров.
• Полнотекстовый поиск на рабочем столе все чаще используется для поиска документов и управления ими в небольшом офисе.
• Изображения стандартизированы и принимаются так же, как и данные. В частности, PDF и Интернет заставили пользователей перестать различать изображения и данные.Гибридное изображение с возможностью поиска в сочетании с улучшенным оптическим распознаванием символов (OCR) помогло в этом, размыв линию.

Сектор сбора транзакций и управления процессами в настоящее время является крупнейшим сегментом, на который приходится 34 процента всего рынка, но он рос медленнее всего – 7 процентов, упав с 38 процентов от общего числа. Это может показаться нелогичным, потому что эти технологии, основанные на обработке форм, являются ключом к будущему росту и используются в системах управления знаниями (KM).Однако сейчас большая часть сегмента по-прежнему состоит из продаж, ориентированных на фиксированные шаблоны. Эта проверенная технология обработки форм предлагает значительное снижение затрат по сравнению с вводом данных внутри компании или даже обработкой в ​​офшорной зоне, стоимость которой возрастает, если формы известны.

Упростите обработку бизнес-документов с помощью SAP AI Business Services

Часть серии вводных и продуктовых портфелей SAP AI Business Services (см. Все части в конце этой публикации) . Кредит Тим Нуш и Тобиас Веллер , которые помогли мне составить черновик этого сообщения в блоге.

Концепции и приложения машинного обучения и искусственного интеллекта уже давно у всех на слуху. Тем не менее, многие из нас не знают, как часто мы используем эту технологию каждый день. Фактически, мы постоянно обучаем алгоритмы машинного обучения, даже не осознавая этого. Достаточно назвать известные примеры, такие как теги лиц в Facebook, Google Maps или рекомендатель фильмов Netflix.Однако по-прежнему очень сложно продуктивно использовать и масштабировать технологию в контексте предприятия для соответствующих бизнес-процессов. Например, предприятия по-прежнему имеют дело с огромными объемами бумажных документов, электронной почты и других форм неструктурированных документов, что приводит к огромным расходам на обработку документов.

Что такое обработка бизнес-документов?

Одни только счета-фактуры компенсируют предполагаемый годовой объем 550B документов, а другие документы, подобные счетам-фактурам, добавляют дополнительный объем, в 5-15 раз превышающий объем счета-фактуры [1].Стоимость обработки одного счета варьируется от 5 до 12 долларов США, при этом 62% затрат приходится на ручную обработку [2], таким образом, автоматизация BDP является ключевым фактором сокращения затрат на рабочую силу для предприятий.

Обработка бизнес-документов предоставляет возможности стратегического машинного обучения, которые автоматизируют и оптимизируют процессы, а также улучшают качество обслуживания клиентов с помощью интеллектуального пакета. Они предоставляются как повторно используемые сервисы для клиентов SAP Cloud Platform.

Рис. 1: Концепция обработки бизнес-документов.Источник: SAP Internal – AI Business Services (2020).

из портфеля Business Document Processing основаны на одних и тех же основных принципах. Первым шагом является автоматизация извлечения семантической информации из бизнес-документов. Следующим логическим шагом является автоматизация обработки извлеченной информации с помощью автоматического пополнения бизнес-данными. Затем извлеченная и обогащенная информация готова для встраивания в системы и процессы.

Основная миссия и ценностное предложение службы обработки бизнес-документов – преобразовать неструктурированных документов в структурированной информации с помощью обработки документов на основе машинного обучения и встроить информацию в ваши бизнес-процессы для получения мгновенной выгоды .

От исследований машинного обучения к стандартному продукту машинного обучения

В 2018 году специалисты SAP Data Scientists представили новый подход к представлению документов: символьную или символьную.Этот подход использует двумерную сетку символов для сохранения двумерной структуры макета документов; одновременно работая над текстовым контентом [3]. В SAP это было замечено как прорыв в извлечении текста, в основном в отношении распознавания и обработки информации из табличных структур, которые можно найти в большинстве документов, относящихся к SAP.

Chargrid использует полностью сверточные сети кодеров-декодеров. Он не только распознает символы текста (OCR) и понимает контекстную информацию этих символов (например,грамм. номер счета-фактуры, дата счета-фактуры), но также учитывается формат документа. Модель предсказывает маску сегментации и ограничивающие рамки. Он значительно превосходит подходы, основанные на последовательном тексте или изображениях документов. Работа опубликована в виде статьи [4]. Для более подробной информации обратитесь также к этой статье [5].

Рис. 2: Chargrid представляет документ как изображение с множеством цветовых каналов. Источник: SAP Internal – AI Business Services (2020).

Портфель обработки бизнес-документов

В настоящее время доступны четыре повторно используемых бизнес-сервиса AI для клиентов SAP Cloud Platform:

• Классификация документов для классификации неструктурированных документов
• Извлечение информации из документа для извлечения информации из неструктурированных документов и обогащения ее бизнес-данными
• Признание бизнес-сущности для поиска и классификации именованных сущностей в неструктурированном тексте
• Business Optical Character Recognition для извлечения текста из деловых документов

Классификация документов

Document Classification может классифицировать бизнес-документы на основе моделей машинного обучения для конкретных клиентов.Эти ориентированные на клиента модели классификации обучаются на основе подмножества уже классифицированных (помеченных) документов.

Сценарий

В этом сценарии Боб, агент службы поддержки клиентов, должен классифицировать входящие документы по их типам. Однако из-за большого количества документов он тратит много времени на их классификацию, поскольку ему приходится открывать и читать каждый файл отдельно.

С помощью классификации документов этот процесс классификации можно полностью автоматизировать.Поскольку базовая модель машинного обучения обучается по типам, зависящим от клиента, таким как счет-фактура, письмо с напоминанием или жалоба, она использует эти типы для будущей классификации документов.

На рисунке 3 показан пример использования классификации документов. Обратите внимание, что классификации (здесь: тип документа) зависят от клиента и могут также отражать другие критерии, такие как критичность документов.

Рис. 3: Примерное представление классификации документов.Источник: SAP Internal – AI Business Services (2020).

Стоимость бизнеса

Document Classification помогает сократить ручные усилия и ошибок для классификации деловых документов. Кроме того, ускоряет обработку документов в целом, направляя документы в зависимости от их типа.

Следующее видео представляет собой обзор классификации документов и содержит демонстрацию классификации документов в системе управления документами S / 4HANA.

Извлечение информации из документа

Document Information Extraction извлекает структурированную информацию из неструктурированных документов. Извлеченная информация может быть автоматически дополнена существующими структурированными основными данными и транзакционными данными.

Сценарий

Джон, клерк по счетам к оплате, обрабатывает большое количество документов, особенно счетов-фактур в его случае. Для обработки этих счетов-фактур Джону необходимо прочитать счет-фактуру целиком, понять контекст, а затем ввести соответствующую информацию в свою систему ERP.Помимо этого, иногда требуется дополнительно сопоставление информации, например, имени отправителя и идентификатора поставщика, что выполняется вручную. Джон тратит много времени на поиск и сопоставление нужной информации, и в этом ручном извлечении могут возникнуть ошибки из-за недопонимания.

Document Information Extraction помогает автоматизировать этот процесс извлечения и автоматически дополняет такую ​​информацию, как идентификаторы поставщиков или балансовые единицы. Теперь обработка документов происходит намного быстрее, и Джон может использовать свое время для более важных задач.

На рисунке 4 показан примерный счет-фактура, обрабатываемый с помощью Document Invoice Processing. Обратите внимание, что помимо извлеченных полей идентификатор поставщика добавляется с помощью функции обогащения службы.

Рис. 4: Примерное представление извлечения информации из документа. Источник: SAP Internal – AI Business Services (2020).

Стоимость бизнеса

Document Information Extraction помогает значительно сократить ручные усилия за счет автоматического извлечения структурированной информации из неструктурированных бизнес-документов.За счет уменьшения ручных усилий общая эффективность обработки документов может быть увеличена, а также уменьшена частота ошибок .

На видео ниже представлен обзор извлечения информации из документа и представлена ​​демонстрация обработки счетов.

Признание юридического лица

Business Entity Recognition помогает находить и классифицировать именованные объекты в неструктурированных текстовых документах. Любой данный тип именованных сущностей может быть обнаружен и классифицирован по заранее определенным категориям.Business Entity Recognition использует предварительно обученную модель машинного обучения для текста, чтобы автоматически распознавать объекты в текстовых документах.

Рис. 5: Примерное представление признания бизнес-сущности. Источник: SAP Internal – AI Business Services (2020).

Сценарий

Боб, агент по обслуживанию клиентов, получает много запросов от клиентов, которые хотят знать статус своих платежей или доставок. Эти запросы доходят до Боба обычно по электронной почте в неструктурированном формате.Бобу необходимо создать заявки на обслуживание и извлечь необходимую информацию как из текста сообщения электронной почты, так и из прикрепленных документов. Затем ему нужно искать нужную информацию в ERP-системах. На этот процесс у Боба уходит от 5 до 15 минут на запрос, что в сумме составляет долгие дни ответа клиентов на их запросы.

Стоимость бизнеса

С помощью функции распознавания бизнес-сущностей этот процесс может быть автоматизирован и ускорен в высокой степени. Автоматизация помогает обнаружить и классифицировать информацию, содержащуюся в документе.Теперь Боб подготовлен со всей необходимой информацией, поступающей из запроса. Этот процесс можно улучшить за счет интеграции с другими решениями, такими как SAP Shared Service Framework и SAP Service Ticket Intelligence. Это устраняет необходимость переключаться с системы на систему и упрощает процесс поиска, например, путем предоставления рекомендуемых разрешений.

Этот процесс можно улучшить за счет интеграции с другими решениями, такими как SAP Shared Service Framework и Service Ticket Intelligence.Это устраняет необходимость переключаться с системы на систему и упрощает процесс поиска, например, путем предоставления рекомендуемых разрешений. Кроме того, для классификации и извлечения информации из вложений электронной почты можно использовать классификацию документов и извлечение информации из документов.

Оптическое распознавание символов для бизнеса

Business Optical Character Recognition помогает извлекать текст из деловых документов. Он определяет язык документа и выбирает лучшую модель OCR (оптического распознавания символов) для извлечения текста из него.

Рис. 6: Примерное представление Business OCR. Источник: SAP Internal – AI Business Services (2020).

Сценарий

Мари, консультант по программному обеспечению, должна ввести свои бумажные счета-фактуры на командировочные расходы. Во время деловой поездки она обычно собирает от пяти до десяти счетов-фактур, в основном за счет общественного транспорта, такси и отелей. После поездки ей необходимо вручную сортировать, сканировать и вводить данные из бумажных счетов.

Стоимость бизнеса

Business Optical Character Recognition может помочь автоматически распознавать и вводить счета в цифровом виде.Это помогает устранить затраты на рабочую силу и повысить эффективность .