ABBYY FineReader 9.0 for Linux

ABBYY FineReader Engine может получать изображения из источников двух типов: из файлов и напрямую из памяти.

SDK поддерживает большинство графических форматов, в том числе многостраничный TIFF и JPEG 2000 (part1), и работает с черно-белыми, полутоновыми и цветными изображениями. Он также открывает PDF-файлы, конвертируя их в изображения при помощи технологии Adobe® PDF Library.

Графические форматы:

• BMP, DCX, GIF, JBIG2, JPEG, JPEG 2000, PCX, PNG, PDF, TIFF, многостраничный TIFF, PDF

Форматы изображений в памяти:

• Raw, Bitmap (HBITMAP), DIB

Дополнительные возможности для PDF-файлов:

• извлечение текстового слоя
• ввод PDF-файлов, содержащих только изображение
• векторизованный PDF
• защищенный паролем PDF

После получения изображений FineReader Engine, прежде чем распознавать или архивировать документы, выполняет ряд операций по их обработке с целью улучшения их качества:

Основные функции обработки изображений
FineReader Engine предлагает ряд функций обработки изображений:

• масштабирование
• кадрирование
• предварительный просмотр
• поворот изображение (на 90, 180 и 270 градусов)
• выпрямление строк
• зеркальное отображение и инвертирование

Автоматическое исправление перекосов
Это важная функция применяется к отсканированным документам, если на изображении имеются перекосы. Для работы функции не требуется наличие видимых границ страницы или линий.  FineReader Engine 9.0 предлагает несколько методов исправления перекосов: по парам черных квадратов, по линиям или по строкам текста.

Разбиение книжных разворотов
Функция используется при сканировании разворотов книг, т. е. одновременно левой и правой страницы. Качество распознавания повышается, если такое изображение разбить на два – по одной книжной странице на каждом изображении. В таком случае распознавание и анализ форматирования производятся отдельно для каждой страницы, а при необходимости выполняется исправление перекосов.

Удаление шума (очистка изображений от «мусора»)
Эта функция удаляет с изображений черные точки, которые появляются при сканировании документов среднего и плохого качества. Если такие точки расположены близко к буквам, такой шум может ухудшить качество распознавания, и в этом случае необходимо применить функцию «удаление шума».

Отфильтровывание текстур и адаптивная бинаризация
Технология отфильтровывания текстур позволяет удалить фоновые шумы, такие как цветной или текстурный фон, и повысить качество распознавания трудных для чтения документов (газет, цветных документов, факсов, ксерокопий).
Инновационная технология адаптивной бинаризации динамически корректирует порог яркости для отдельных фрагментов изображения при распознавании. Выбирая индивидуальные параметры распознавания, технология позволяет получить точный результат при распознавании документов с контрастным серым, переменным цветным или текстурным фоном.

Автоматическое определение ориентации страницы (повороты на 90, 180 и 270 градусов)
Эта функция очень важна при пакетном вводе изображений, когда ориентация страниц при сканировании неизвестна или может различаться от документа к документу. Система автоматически определяет ориентацию каждой страницы и при необходимости корректирует ее.

Исправление цвета текста и фона
Эта функция разработана для пользователей, работающих с системами армирования и управления документооборотом (DMS). При отправке распознанного документа в архив он сохраняется и как изображение, и как обычный текст, а координаты каждого символа на изображении записываются в архивный индекс. При осуществлении поиска в архиве, пользователь получает изображение релевантного документа, а чтобы подсветить искомый текст на изображении, программа изменяет цвет текста и фона.

Технологии оптического распознавания для цифровых камер
Технология идентифицирует изображения, полученные цифровой фотокамерой и применяет к ним специальные алгоритмы обработки для исправления искажений, которые часто встречаются на цифровых фотографиях: текст не в фокусе, изогнутые строки, отсутствие информации о разрешении снимка, дефекты из-за недостаточной освещенности.

Удаление шума в отдельных фрагментах изображения с возможностью задать размер черных точек.

Извлечение данных из полей, ограниченных различными рамками, таких как combo box, поля с подчеркиванием, рамки и т. д.

Функции анализа документов в API-FineReader Engine обеспечивают автоматическое конвертирование документов с сохранением форматирования, зональное распознавание с возможностью ручного выделения блоков на изображении и много другое. В том числе:

• автоматическое определение ориентации страницы – 90, 180 и 270 градусов
• автоматическая идентификация текстовых блоков, таблиц, штрихкодов, картинок
• автоматическая идентификация вертикального текста в ячейках таблиц
• ручное выделение блоков (добавление, удаление, редактирование)
   

Специальные функции анализа документов:

Анализ документов для распознавания счетов
Это функция предобработки для конвертирования полуструктурированных документов, таких как счета, платежные поручения, накладные, визитные карточки, контракты, бланки страховых требований, резюме и т. д. Она находит всевозможные текстовые объекты на таких документах, в том числе цифры, даже если они находятся внутри печатей, картинок, логотипов или в коротких отрывках текста.

В отличие от стандартного полностраничного анализа документов, эта функция исходит из того, что все напечатанное на документе является текстом. Функция также следит за тем, чтобы текстовая информация не интерпретировалась как графические элементы, а числа не разбивались на множество символов. В результате на анализ документов и их последующую обработку другими системами подается максимум информации о тексте, в том числе его координаты.

Блок анализа документов для распознавания счетов используется в программе FlexiLayout Studio на первом этапе анализа полуструктурированных документов, помогая извлекать данные из документов с похожими данными, но с разной структурой.

Анализ документов для полнотекстового индексирования
Автоматически находит и распознает весь текст на документах, в том числе текст, помещенный на картинках, графиках и диаграммах. Разработчикам эта функция может потребоваться для извлечения всей текстовой информации из документов с целью последующего индексирования (например, в системах управления документооборотом, системах управления контентом и системах архивирования).

Зональное распознавание/распознавание на уровне полей
ABBYY FineReader Engine 9.0 поддерживает распознавание на уровне полей (зональное распознавание), необходимое в ключевых бизнес-процессах, таких как ввод форм, классификация по ключевым словам и индексирование по ключевым словам. Мощные функции обработки изображений позволяют находить небольшие блоки любого качества с любыми графическими особенностями, которые могут повлиять на качество распознавания (например, подчеркнутый текст, шум от сканирования, пробелы в тексте и т. д.)

Основная функциональность для зонального распознавания включает в себя многоязычное оптическое распознавание и чтение штрихкодов, а также ряд специальных функций:

• Извлечение данных из полей, ограниченных различными рамками, таких как combo box, поле с подчеркиванием, рамки и даже поля с данными, выходящими за границы поля;
• Описание данных в поле при помощи алфавита, словарей, регулярных выражений, указания типов сегментации, стиля письма и т. д.;
• Обнаружение пробелов внутри полей для точного распознавания полей, в которых допускаются пробелы. FineReader Engine 9.0 также позволяет использовать словари, содержащие словосочетания с пробелами;
• Интеллектуальная обработка блоков с пересекающимися частями или линиями обеспечивает распознавание текста (слов и символов), полностью расположенного в границах блока, что позволяет не распознавать данные в нерелевантных блоках и таким образом экономить время;
• Удаление «мусора» из текстовых блоков с возможностью задавать размеры черных или белых точек.
  Зональное распознавание также дополняется специальными инструментами для разработчиков, в том числе API для выбора гипотез голосованием и подстройки распознавания непосредственно в процессе работы.

ABBYY FineReader Engine 9.0 for Linux теперь включает в себя технологию адаптивного распознавания документов (Adaptive Document Recognition Technology, ADRT), которая представляет собой набор алгоритмов синтеза, воссоздающих общую логическую структуру документа. Технология строит логическую модель структуры документа и находит ее элементы. Технология ADRT определяет: 

• назначение таких элементов форматирования как верхние и нижние колонтитулы, сноски, номера страниц;
• порядок, в котором следует читать документ;
• как следует воспроизводить элементы документа.

Будучи одним из мировых лидеров в области распознавания документов, компания ABBYY предлагает высокоточные OCR-технологии для более чем 198 языков, в том числе для языков с латинским и кириллическим алфавитами, для языков с иероглифической письменностью (китайский, японский), а также для корейского, тайского и вьетнамского языков, а также старых готических шрифтов.

• Технология оптического распознавания для 198 языков. Полный список поддерживаемых языков.
• Для 47 языков реализована словарная/морфологическая поддержка.
• Распознавание многоязычных документов.
• Распознавание документов, отпечатанных на матричном принтере – FineReader Engine распознает различные типы текстов, отпечатанных на матричном принтере. Для обучения программы использовалось несколько тысяч документов, отпечатанных на матричном принтере, принтере с печатающей головкой типа «ромашка», цепном принтере, а также на ленточном принтере. Использовались как документы, отпечатанные в черновом режиме, так и документы, созданные в режиме качественной печати.
• Распознавание документов, созданных на пишущей машинке.
• Распознавание китайской, японской и корейской письменности.
• Распознавание тайского языка и иврита.
• Распознавание OCR-A, OCR-B, MICR (E13B) и CMC7.
• FineReader XIX – специальный модуль распознавания для оцифровки старых документов.  “FineReader XIX” – это модуль распознавания, созданный специально для оцифровки и архивирования старых документов, книг и газет XVII-XX веков, многие из которых являются уникальными и представляют историческую ценность. Обычно они хранятся в архивах и библиотеках и являются национальным достоянием, которое необходимо сохранить для будущих поколений. FineReader XIX предоставляет уникальную функцию распознавания текстов, опубликованных между 1600 и 1937 годами на английском, французском, немецком, итальянском и испанском языках. Поддерживаются старые шрифты фрактура, швабахер и большинство готических шрифтов.
   

Режимы распознавания
SDK предусматривает различные режимы распознавания, что позволяет разработчиком быстро выбрать оптимальное соотношение скорости и качества в зависимости от своих задач. Кроме режима распознавания по умолчанию, распознавание печатных и рукопечатных символов может осуществляться в быстром и сбалансированном режимах:

• Быстрый режим
  Режим предназначен для ввода больших объемов документов, а также для случаев, когда скорость ввода имеет первостепенную важность. Этот режим увеличивает скорость обработки в 2-2,5 раза и идеален для использования в системах управления контентом, системах управления документооборотом и в системах  архивирования.
• Сбалансированный режим
  Режим помогает найти оптимальный баланс между скоростью и качеством распознавания.

Пользовательские языки
ABBYY FineReader Engine предоставляет API-интерфейс для создания и редактирования языков распознавания, создания копий имеющихся языков и их доработки, а также добавления новых слов в пользовательские языки.
Ниже приводятся два примера, показывающие, как пользовательские языки могут повысить качество распознавания:

• На документах, заполненных от руки, данные в полях обычно относятся к определенному типу (например, названия городов, названия стран, почтовые индексы, коды продуктов, суммы и т. д.). Для повышения качества распознавания рукопечатного текста разработчик может создавать собственные языки для описания данных, которые могут содержаться в различных полях.
• Если документ содержит особые типы данных, такие как коды продуктов, номера телефонов, номера паспортов и так далее, в их распознавании возможны ошибки вследствие того, что программа читает их буква за буквой. Для улучшения качества распознавания кодов продуктов и другой подобной информации разработчик может создать новый язык распознавания, который поможет программе правильно читать такие типы данных.

Обучение системы
SDK позволяет использовать шаблоны из программы ABBYY FineReader для ПК (профессиональной или корпоративной версии). Разработчик также может импортировать шаблоны, созданные в Windows-версии инструментария. ABBYY FineReader Engine довольно гибок и позволяет создать приложение с любой архитектурой, будь то клиентская рабочая станция или серверное решение.

Чтение штрихкодов

• 1D- и 2D-штрихкоды. OCR SDK  поддерживает чтение распространенных 1D- и 2D-штрихкодов. Подробнее в разделе Техническая информация.
• Типы 2D-штрихкодов. SDK поддерживает 4 наиболее распространенных типа 2D-штрихкодов:
  o PDF 417
  o Aztec
  o DataMatrix
  o QR Code
•  Быстрое извлечение штрихкодов. Эта функция позволяет автоматически находить и считывать штрихкоды, расположенные под любым углом. Поддерживаются как 1D-, так и 2D- штрихкоды.

PDF на входе

• Интеллектуальная обработка PDF-файлов
  FineReader Engine for Linux анализирует внутренние данные в исходном PDF-файле:
  o аннотации
  o метаданные
  o текстовые объекты
  o словари шрифтов
  o потоки контента
  SDK может повысить производительность распознавания путем выбора эффективного алгоритма. Если текст внедрен в PDF-файл, система проверяет целостность текстового слоя и принимает решение, извлекать ли текст или производить распознавание поблочно.
• Извлечение внутренних данных из PDF-файла
  Извлекаются ссылки, гиперссылки и свойства документа: тема, автор, заголовок, ключевые слова.

PDF на выходе

• Поддержка защиты и шифрования PDF-файлов:
  FineReader Engine 9.0 for Linux поддерживает различные настройки защиты PDF-файлов, что делает его оптимальным решением для правительственных учреждений и других организаций, где требуется высокая секретность.
  o Настройки паролей "Open File" для предотвращения несанкционированного доступа.
  o Запрет (при помощи пароля) на совершение определенных операций, таких как печать, редактирование или извлечение содержимого. 
  o Поддержка новейших стандартов шифрования.
• Экспорт в формат Tagged PDF – содержимое файла может быть автоматически подогнано под различные форматы экрана или страницы. Этот формат идеален для использования на наладонных устройствах или устройствах чтения для слабовидящих.
• Размер страницы – возможность задать размер всех страницы выходного файла в процессе конвертирования в PDF.
• Ссылки в PDF-файлах – воссоздает гиперссылки внутри PDF-файла.
• Экспорт в PDF/A export – конвертирование в формат PDF/A (“архивный”), рекомендованный в качестве стандарта для долгосрочного хранения документов.
• MRC-сжатие для PDF(/A) – сжатые PDF- и PDF/A-файлы имеют значительно меньший объем с сохранением первоначального качества, что принципиально при архивировании документов. Технология MRC-сжатия PDF-файлов идеально подходит для сканирования и обработки цветных документов.
• Экспорт документов на китайском, японском и корейском в PDF – позволяет конвертировать документы на китайском (традиционном и упрощенном), японском и корейском языках в формат PDF.

Настройка качества и скорости конвертирования в PDF
FineReader Engine – гибкий набор инструментов, позволяющий разработчикам, работающим на операционных системах с открытым кодом, получать оптимальное для своих задач соотношение качества и скорости.

ABBYY FineReader Engine 9.0 for Linux поддерживает все распространенные форматы файлов.

SDK поддерживает большинство графических форматов, в том числе многостраничный TIFF и JPEG 2000 (part1), и работает с черно-белыми, полутоновыми и цветными изображениями. Он также открывает PDF-файлы, конвертируя их в изображения при помощи технологии Adobe® PDF Library Technology.

• RTF
• PDF и PDF/A
• DOC/DOCX
• XLS/XLSX
• PPT/PPTX
• XML
• HTML
• TXT
• CSV
• DBF

Дополнительную информацию по файловым форматам можно найти в разделе Техническая информация.

Получение и экспорт распознанного текста
API-интерфейс к FineReader Engine предоставляет широкие возможности по экспорту результатов распознавания на разных уровнях воссоздания документа: 

• Различные уровни сохранения форматирования при экспорте во внешние форматы (от простого текста без форматирования до полного сохранения форматирования, включая колонки, таблицы, фреймы, шрифты, стили абзацев, границы и т. д.)
•  Доступ к подробной информации о каждом распознанном символе
• Набор функций для постредактирования и постформатирования распознанного текста перед экспортом
• Экспорт распознанного текста в различные форматы
• Полное сохранение первоначальной верстки документов
• Замена неуверенно распознанных символов их изображениями при сохранении в PDF
• Полное сохранение цвета картинок и текста