Аналитика

Ситуация AS IS

Корпоративное Информационное Хранилище (КИХ), построенное на legacy-системе компании, прекратившей поддержку и развитие своих продуктов на территории РФ.

Упрощенная схема потоков данных представлена ниже. ETL и дополнительные компоненты КИХ-а были спроектированы с помощью фреймворков вендора, производившего внедрение решения на базе продукта вендора. В качестве оркестратора процессов использовался проприетарный инструмент для выстраивания очередей выполнения процессов с зависимостями.

Отсутствие актуализированных требований к объектам, представленным в хранилище, дефицит документации по ETL-процессам, фреймворку, кастомных систем ведения НСИ. Отсутствие удобочитаемых логов, дающих представление о том, какой пользователь к каким объектам обращается.

1. ETL-процессов: определение источников данных, изучение каким образом настроена оркестрация ETL процессов для определения последовательности запуска процессов и зависимостей этих процессов друг от друга;
2. OLAP-кубов хранилища для определения пользователей, которые их используют;
3. Стандартных отчётов на портале для определения пользователей системы;
4. Кастомной системы ведения НСИ, определение ответственных за справочники и тип обновления справочника, локализация скриптов наполнения справочников;
5. Доработка DQ-процессов в legacy-системе для обеспечения возможности интеграции их в ETL-процессы для выгрузки данных в DQ-систему, используемую в компании;
6. Источников и скриптов, отвечающих за наполнение кастомных портлетов (форм) информационного портала.

По п.1. решения:

• Проанализировано таблиц источников — 263;
• Распарено lsf-зависимостей 10;
• Проанализировано ETL-процессов более 400;
• В результате оформлен документ S2T (Source to Target) по всем таблицам/процессам хранилища; 
• Построены диаграммы последовательности запуска ETL-процессов и их зависимостей между собой;

По п.2. решения:

Распарсены логи системы для выявления пользователей, обращающихся к кубам. Разработана анкета для опроса пользователей. После получения ответов там, где было необходимо, произведены дополнительные интервью с пользователями. На основании чего составлены use-кейсы использования кубов и определены неиспользуемые кубы.

По п.3. решения:

Проанализирована работоспособность стандартных отчётов портала и наличие актуальных данных в них, составлен список отчётов с указанием работоспособности и последнего доступного периода данных в них.

По п.4. решения:

Проанализированы более 500 справочников системы ведения НСИ, все данные по аналитике сведены в таблицу. Также обработаны логи системы в целях выявления неиспользуемых справочников, которые не планируется переносить в новую систему НСИ.

По п.5. решения:

Переработаны 43 скрипта, ранее формирующие отдельный отчёт по качеству данных в основных таблицах хранилища. Добавлена отправка данных в корпоративную систему DQ с помощью REST API. Скрипты адаптированы к возможности их запуска в среде кастомного ETL-фреймворка (ранее формировались в виде отдельного отчёта на других серверах, предназначенных для отчётности).

По п.6. решения:

Проанализировано более 30 портлетов, распарсены логи системы для выявления пользователей, обращающихся к ним. Описаны экранные формы портлетов, входные/выходные данные портлетов, шаблоны экранных форм, а также скрипты формирующе страницы, расчёт данных. Приведены краткие описания процессов, вызываемых из портлетов.