- Краткое описание информационного взаимодействия
- Описание текущих интеграционных процессов объекта автоматизации
- Описание интерфейсов интеграции информационных систем
- Положения о федеральной государственной информационной системе «Единый портал государственных и муниципальных услуг (функций)», утвержденного постановлением Правительства Российской Федерации от 24 октября 2011 г. N 861 (Собрание законодательства Российской Федерации, 2011, N 44, ст. 6274; 2019, № 47, ст. 6675), приказываю: 1. Утвердить прилагаемый Порядок информационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона «Об образовании в Российской Федерации», с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)». 2. Контроль за исполнением настоящего приказа возложить на заместителя Министра цифрового развития, связи и массовых коммуникаций Российской Федерации О. Ю. Качанова. Зарегистрировано в Минюсте РФ 15 марта 2022 г. УТВЕРЖДЕНприказом Министерства цифровогоразвития, связии массовых коммуникацийРоссийской Федерацииот 10.01.2022 г. № 4 Порядокинформационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона «Об образовании в Российской Федерации», с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)» 1. Целями информационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации» (Собрание законодательства Российской Федерации, 2012, N 53, ст. 7598; 2019, N 52, ст. 7833) (далее — региональные информационные системы), с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)» (далее — единый портал) являются обеспечение посредством единого портала возможности в соответствии с частью 3 статьи 21 Федерального закона от 27 июля 2010 г. N 210-ФЗ «Об организации предоставления государственных и муниципальных услуг» (Собрание законодательства Российской Федерации, 2010, N 31, ст. 4179; 2018, № 1, ст. 63): а) подачи родителями (законными представителями) (далее — заявители): заявления о необходимости получения дошкольного образования и (или) присмотра и ухода в государственных, муниципальных образовательных организациях, а также в иных организациях в рамках соглашений, в том числе о государственно-частном, муниципально-частном партнерстве, в том числе в порядке перевода или изменения условий договора (далее — заявление для направления); заявления о приеме в дошкольную образовательную организацию, представляемого в дошкольную образовательную организацию (далее — заявление о приеме); б) предоставления заявителям в электронной форме информации, указанной в части 17 статьи 98 Федерального закона от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации», в том числе о направлении и (или) приеме детей на обучение по образовательным программам дошкольного образования в государственные или муниципальные образовательные организации. 2. Информационное взаимодействие и (или) интеграция региональных информационных систем с единым порталом должны осуществляться с использованием инфраструктуры, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг и исполнения государственных и муниципальных функций в электронной форме, посредством взаимодействия со следующими ее элементами: федеральной государственной информационной системой «Единая система идентификации и аутентификации в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме» — для обеспечения идентификации, аутентификации и авторизации уполномоченных должностных лиц органов исполнительной власти субъектов Российской Федерации, органов местного самоуправления, подведомственных указанным органам организаций, а также идентификации и аутентификации региональных информационных систем; единой системой межведомственного электронного взаимодействия — для информационного обмена между региональнальными информационными системами и единым порталом; федеральной государственной информационной системой «Единая система нормативной справочной информации» — для размещения, хранения и актуализации информации, используемой региональными информационными системами при обмене сообщениями с единым порталом посредством единой системы межведомственного взаимодействия. 3. При информационном взаимодействии и (или) интеграции региональных информационных систем с единым порталом в соответствии с целями, указанными в пункте 1 настоящего Порядка, с использованием единого портала должны обеспечиваться: а) отправка в региональные информационные системы заявлений для направления, заявлений о приеме, поданных заявителями через единый портал, а также запросов заявителей о получении информации о направлении и (или) приеме детей на обучение по образовательным программам дошкольного образования в государственные или муниципальные образовательные организации; б) получение из региональных информационных систем следующей информации: о заявлениях (индивидуальный номер и дата подачи заявления); о статусах обработки заявления, об основаниях их изменения и комментариях к ним; о последовательности предоставления места в государственной или муниципальной образовательной организации, реализующей образовательные программы дошкольного образования; о документе о предоставлении места в государственной или муниципальной образовательной организации, реализующей образовательные программы дошкольного образования; о документе о зачислении ребенка в государственную или муниципальную образовательную организацию, реализующую образовательные программы дошкольного образования. 4. Информационное взаимодействие и (или) интеграция региональных информационных систем с единым порталом в соответствии с настоящим Порядком осуществляется на безвозмездной основе. Минцифры утвердило порядок информационного взаимодействия и интеграции региональных информсистем доступности дошкольного образования с Единым порталом. — отправку в региональные информсистемы заявлений для направления и заявлений о приеме детей в детские сады, поданных посредством Единого портала, а также запросов о получении информации о направлении и приеме детей в детсады; — получение из региональных информсистем сведений в т. ч. о заявлениях, о статусах их обработки и о последовательности предоставления места в детском саду. Организационные трудности Так как процессы интеграции находятся на стыке нескольких информационных систем, то вопросы ответственности за обеспечение работоспособности процессов интеграции и обеспечение качества данных являются всегда спорными и должны решаться в первую очередь. Для решения этих вопросов можно использовать следующее правило: сторона, заинтересованная в данных, должна выполнять всю основную работу по организации интеграции и ее дальнейшему сопровождению. Если заинтересованных сторон в интеграции нет (а бывает и такое), то следует применять административный ресурс — назначать ответственного сверху. Конечно, наилучшего результата можно достичь только при коллективной работе. Бросаться в крайности и назначать одного ответственного за всё без предоставления ему соответствующих полномочий не нужно. При назначении ответственных следует помнить, что за качество данных должны отвечать все же бизнес-специалисты Заказчика и специалисты службы сопровождения тех информационных систем, в которых эти данных хранятся. Еще одной сложностью, с которой приходится сталкиваться — это закрытость служб сопровождения и разработчиков информационных систем компании Заказчика. Например, при построении хранилища данных необходимо проводить анализ данных и их структуры, хранящихся в системах-источниках. Но зачастую изучить их не получается по причине того, что не предоставляется документация, запрещается доступ к системе-источнику, отсутствуют примеры данных и т.д. В таком случае специалистами Заказчика применяется следующий подход при взаимодействии с Разработчиком: “Скажите, что Вам нужно, а мы дадим только то, что из этого есть в системе”. Это приводит к тому, что у бизнес-аналитиков и специалиста по модели данных складывается неполная картина о имеющихся данных в компании. Как результат, неполное хранилище данных. Избежать этого можно только путем правильной ориентацией специалистов Заказчика на взаимодействие с консультантами Разработчика. Другим немаловажным моментом является необходимость привлечения к анализу данных и последующей разработке бизнес-правил преобразования данных предметных экспертов Заказчика. Какими бы опытными не являлись бизнес-аналитики Разработчика, все особенности и детали могут знать только специалисты Заказчика, имеющие практический опыт работы с данными компании. Резюмируя перечень организационных трудностей, можно сказать, что к ним относятся: Интегрируемые информационные системы В данном разделе документа приводится перечень информационных систем между которыми планируется организовать периодический обмен данными. В рамки проекта внедрения системы ERP предполагается организация взаимодействия со следующими существующими информационными системами: — Система финансового планирования (Управляющая компания), верс. X.Y. — Система финансового планирования (Филиал) OFA, верс. X.Y. — Система ведения договоров (Управляющая компания)) , верс. X.Y. — Файлы с данными по учету расчетов с акционерами, для филиала и управляющей компании. Качество данных Отсутствие качественных данных (приведенных к единому формату, недублирующихся, согласованных между собой, без “мусорных” записей) в информационных системах многих компаний является данностью, с которой приходится работать. Зачастую этот факт при внедрении новых ИС не учитывается, и в конце реализации проекта компания получает еще одну систему со своим набором данных, слабо согласующимися с данными других систем. В таких случаях при попытке настройки взаимодействия несогласованность данных приводит к тому, что интеграция систем есть, а интеграции данных нет. Может даже получиться несколько наборов данных в одной системе идентичных по сути, но разных по представлению (например, “юр. лицо” и “Юридические лица”). Решать задачу согласованности данных призваны системы управления мастер-данными (Master Data Management, MDM). Но сегодня эти системы в российских компаниях являются больше экзотикой, чем нормой (об этом свидетельствует список референсов основных поставщиков MDM-решений). В отсутствии единой MDM-системы в компании задачи согласования данных и обеспечения их качества ложатся на процессы интеграции. Для этого разрабатываются бизнес-правила преобразования данных, создаются таблицы соответствия и т.п. решения, что по сути своей представляет систему MDM для одного или группы интеграционных процессов. Конечно, не рекомендуется решать задачи интеграции, миграции данных и задачи улучшения качества данных, дедубликации в рамках одного проекта. Но если выхода нет, то прежде чем начинать разрабатывать бизнес-правила и таблицы соответствия, необходимо изучить данные, провести их предварительный анализа путем профилирования (Data Profiling). Проведение профилирования позволяет получить информацию о содержании, качестве и структуре данных. Этот важный этап, предшествующий этапу проектирования процессов интеграции, очень часто игнорируется, что приводит в итоге к несогласованности данных в интегрируемых системах. Еще одной важной задачей профилирования данных является сужение множества передаваемых данных, ведь в процессе анализа можно выявить “мусорные”, дублирующиеся или ненужные вообще для передачи данные. Итак, к типичным проблемам интеграции, связанным с качеством данных, можно отнести: Определение Регламент взаимодействия информационных систем определяет правила, порядок и основные процедуры, связанные с процессами приема и передачи информации в электронной форме по телекоммуникационным каналам связи между информационными системами. Формирование регламента взаимодействия (регламента интеграции) необходимо для четкого определения ответственности участников при обеспечении взаимодействия, перечня информационных объектов, расписания и способов организации взаимодействия. Ниже представлен пример заполнения регламент обмена информацией между корпоративным хранилищем данных (Data Warehouse) и системой управления предприятием (ERP системой). Технические трудности Процесс организации интеграции сводится к следующим действиям: При этом почти всегда основные трудности возникают на этапах разработки и тестирования. Но причины для их появления закладываются раньше. Выбор платформы интеграции данных является крайне важным этапом. Нет смысла покупать дорогие решения для организации простого переноса данных из одной системы в другую (хотя подобные решения и позволят решить эту задачу). Можно воспользоваться и бесплатным продуктом или написать собственное приложение. Но в тоже время следует понимать, что для решения задач очистки данных, организации сложных бизнес-процессов их передачи, работы с большим объемом данных нужно иметь хорошую интеграционную платформу. Еще одной ошибкой, связанной с интеграционной платформой, является её неправильное использование. Нет смысла покупать Informatica PowerCenter для того, чтобы всю логику преобразования данных реализовать на языке PL/SQL базы данных Oracle. Стремление разработчиков к универсальности и применению передовых технологий, форматов, шаблонов и т.п. может излишне усложнить решение по интеграции. Организация обмена данными через web-сервисы порой приводит к задержкам передачи и обработки большого объема данных, усложнению выявления ошибок в данных в огромных xml-файлах и т.д. Все стремится к простоте. При организации процессов интеграции не следует их усложнять без необходимости протоколами с шифрованием, web-сервисами, гарантированной доставкой и т.п. Подводя итог под техническими трудностями, можно сказать, что к ним относятся: Конечно, список является неполным, и его можно и нужно расширять. К чему и призываю. Организационные мероприятия В данном разделе приводится перечень организационных мероприятий, которые необходимо выполнить до начала разработки процессов интеграции (обмена данными). Для обеспечения реализации интеграционных процессов необходимо провести следующие мероприятия: Порядок мониторинга Указываются состав действий подлежащий мониторингу и порядок и журналирования. Действия сторон при взаимодействии Четко прописываются действия каждой стороны при организации и поддержки информационного взаимодействия. Например: Владельцы системы ERP обеспечивают доступ для чтения данных, необходимых для функционирования системы ХКД. Владельцы ERP обеспечивают неизменность интерфейса доступа к данным в течение всего срока взаимодействия. В случае изменения механизма наполнения информацией таблиц ПБД, администраторы системы ERP уведомляют об этом по E-mail руководителя подразделения сопровождающего систему ХКД, который проверяет отсутствие возникновения потерь в производительности загрузки данных из ПБД ERP. В случае возникновения существенных (более 50%) потерь в производительности, владельцы обеих систем принимают меры для устранения таких потерь. Владельцы системы КХД обеспечивают чтение справочников и фактических данных, из ПБД, в соответствии с расписанием и периодичностью, приведёнными в настоящем документе. Изменения в настоящий регламент могут вноситься по обоюдному согласию сторон. Периодичность обмена данными Приводится периодичность осуществления обмена данными между информационными системами. Схема потоков данных В данном разделе проектного документа приводится схема потоков данных, описывающая будущие потоки интеграции (обмена данными) между информационными системами. Схема потоков данных может приводится как в свободной форме, при этом обязательно необходимо её описание, так и в виде, например, DFD диаграмм. На рисунке ниже представлена схема потоков данных при организации синхронизации в рамках внедрения проекта ERP. Регламент взаимодействия Указываются временные периоды и расписание информационного взаимодействия между системами. Например: Размещение и обновление записей в таблицах ПБД выполняется ежемесячно 6 числа с 00-00 до 02-00. Чтение таблиц ПБД выполняется ежемесячно 6 числа с 02-01 до 03-00. Сетевая архитектура взаимодействия Приводятся дополнительные требования при наличии таковых. Информационные объекты, используемые при взаимодействии Приводится перечень информационных объектов с описанием и структурой. Например: Ниже представлены информационные объекты ПБД. Структура таблицы ПБД «Доходы» (INCOME_TMP)
- Порядокинформационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона «Об образовании в Российской Федерации», с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)»
- Организационные трудности
- Интегрируемые информационные системы
- Качество данных
- Определение
- Технические трудности
- Организационные мероприятия
- Порядок мониторинга
- Действия сторон при взаимодействии
- Периодичность обмена данными
- Схема потоков данных
- Регламент взаимодействия
- Сетевая архитектура взаимодействия
- Информационные объекты, используемые при взаимодействии
Краткое описание информационного взаимодействия
Приводится словесное описание взаимодействия.
Регламент взаимодействия информационных систем может является логическим продолжением документа «Концепция интеграции информационных систем».
Может формироваться и как самостоятельный документ не имеющий предшественников.
Следует понимать, что при интеграции информационных систем производится интеграция именно данных, и только потом техническая реализация канала, способа, формата передачи данных. В связи с этим, основной проблемой, возникающей при интеграции, является проблема, связанная с качеством данных. Возникают также организационные трудности и сложности технической реализаций процессов.
Основываясь на опыте участия в нескольких проектах, в которых приходилось решать вопросы интеграции информационных систем, приведу несколько типичных проблем, возникающих в ходе решения задач интеграции, а также рекомендации по их избежанию.
Описание текущих интеграционных процессов объекта автоматизации
В данном разделе документа приводится описание существующих потоков данных (процессов обмена данными между существующими информационными системами) в виде схемы потоков данных.
Например, приводится следующий текст:
На рисунке ниже представлена общая схема потоков данных взаимодействия между системами бухгалтерского учета, системами кадрового учета и другими информационными системами.
И ниже приводится существующая схема потоков данных между информационными системами.
Схема потоков данных может приводится как в свободной форме, при этом обязательно необходимо её описание, так и в виде, например, DFD-диаграмм.
Описание интерфейсов интеграции информационных систем
В данном разделе приводится описание интерфейсов интеграции информационных системам.
При этом описываются интерфейсы каждого потока и типа данных в отдельности.
Данные по НСИ ведутся в исключительно в ERP и передаются в MS Axapta.
В MS Axapta переданные данные не корректируются.
Справочники передаются и загружаются каждый раз полностью, без захвата изменений.
Удаленные записи имеют соответствующую отметку в специальном поле.
Ниже приведено описание интерфейсов передачи данных (Типы данных: D – Data; C – Char/Text; N — Number).
Ниже представлен пример проектного документа «Концепция интеграции информационных систем» который включает в себя предварительное описание регламента информационного взаимодействия.
Данный документ формируется IT-специалистом на этапе проектирования потоков данных интеграции и интерфейсов интеграции (обмена данными).
В качестве примера для заполнения данного шаблона взят проект внедрения системы ERP с заменой существующих учетных систем. Т.е. перед IT-специалистом стоит задача организовать обмен данными между новой, внедряемой информационной системой (в нашем примере это ERP) с существующими (остающимися в эксплуатации) информационными системами на уровне управляющей компании (УК) и филиала.
В соответствии с пунктом 2 распоряжения Правительства Российской Федерации от 16 июля 2020 г. N 1845-р (Собрание законодательства Российской Федерации, 2020, N 30, ст. 4950) и пунктом 7
Положения о федеральной государственной информационной системе «Единый портал государственных и муниципальных услуг (функций)», утвержденного постановлением Правительства Российской Федерации от 24 октября 2011 г. N 861 (Собрание законодательства Российской Федерации, 2011, N 44, ст. 6274; 2019, № 47, ст. 6675), приказываю:
1. Утвердить прилагаемый Порядок информационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона «Об образовании в Российской Федерации», с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)».
2. Контроль за исполнением настоящего приказа возложить на заместителя Министра цифрового развития, связи и массовых коммуникаций Российской Федерации О. Ю. Качанова.
Зарегистрировано в Минюсте РФ 15 марта 2022 г.
УТВЕРЖДЕНприказом Министерства цифровогоразвития, связии массовых коммуникацийРоссийской Федерацииот 10.01.2022 г. № 4
Порядокинформационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона «Об образовании в Российской Федерации», с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)»
1. Целями информационного взаимодействия и (или) интеграции региональных информационных систем, указанных в части 14 статьи 98 Федерального закона от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации» (Собрание законодательства Российской Федерации, 2012, N 53, ст. 7598; 2019, N 52, ст. 7833) (далее — региональные информационные системы), с федеральной государственной информационной системой «Единый портал государственных и муниципальных услуг (функций)» (далее — единый портал) являются обеспечение посредством единого портала возможности в соответствии с частью 3 статьи 21 Федерального закона от 27 июля 2010 г. N 210-ФЗ «Об организации предоставления государственных и муниципальных услуг» (Собрание законодательства Российской Федерации, 2010, N 31, ст. 4179; 2018, № 1, ст. 63):
а) подачи родителями (законными представителями) (далее — заявители): заявления о необходимости получения дошкольного образования и (или) присмотра и ухода в государственных, муниципальных образовательных организациях, а также в иных организациях в рамках соглашений, в том числе о государственно-частном, муниципально-частном партнерстве, в том числе в порядке перевода или изменения условий договора (далее — заявление для направления);
заявления о приеме в дошкольную образовательную организацию, представляемого в дошкольную образовательную организацию (далее — заявление о приеме);
б) предоставления заявителям в электронной форме информации, указанной в части 17 статьи 98 Федерального закона от 29 декабря 2012 г. N 273-ФЗ «Об образовании в Российской Федерации», в том числе о направлении и (или) приеме детей на обучение по образовательным программам дошкольного образования в государственные или муниципальные образовательные организации.
2. Информационное взаимодействие и (или) интеграция региональных информационных систем с единым порталом должны осуществляться с использованием инфраструктуры, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг и исполнения государственных и муниципальных функций в электронной форме, посредством взаимодействия со следующими ее элементами:
федеральной государственной информационной системой «Единая система идентификации и аутентификации в инфраструктуре, обеспечивающей информационно-технологическое взаимодействие информационных систем, используемых для предоставления государственных и муниципальных услуг в электронной форме» — для обеспечения идентификации, аутентификации и авторизации уполномоченных должностных лиц органов исполнительной власти субъектов Российской Федерации, органов местного самоуправления, подведомственных указанным органам организаций, а также идентификации и аутентификации региональных информационных систем;
единой системой межведомственного электронного взаимодействия — для информационного обмена между региональнальными информационными системами и единым порталом;
федеральной государственной информационной системой «Единая система нормативной справочной информации» — для размещения, хранения и актуализации информации, используемой региональными информационными системами при обмене сообщениями с единым порталом посредством единой системы межведомственного взаимодействия.
3. При информационном взаимодействии и (или) интеграции региональных информационных систем с единым порталом в соответствии с целями, указанными в пункте 1 настоящего Порядка, с использованием единого портала должны обеспечиваться:
а) отправка в региональные информационные системы заявлений для направления, заявлений о приеме, поданных заявителями через единый портал, а также запросов заявителей о получении информации о направлении и (или) приеме детей на обучение по образовательным программам дошкольного образования в государственные или муниципальные образовательные организации;
б) получение из региональных информационных систем следующей информации:
о заявлениях (индивидуальный номер и дата подачи заявления);
о статусах обработки заявления, об основаниях их изменения и комментариях к ним;
о последовательности предоставления места в государственной или муниципальной образовательной организации, реализующей образовательные программы дошкольного образования;
о документе о предоставлении места в государственной или муниципальной образовательной организации, реализующей образовательные программы дошкольного образования;
о документе о зачислении ребенка в государственную или муниципальную образовательную организацию, реализующую образовательные программы дошкольного образования.
4. Информационное взаимодействие и (или) интеграция региональных информационных систем с единым порталом в соответствии с настоящим Порядком осуществляется на безвозмездной основе.
Минцифры утвердило порядок информационного взаимодействия и интеграции региональных информсистем доступности дошкольного образования с Единым порталом.
— отправку в региональные информсистемы заявлений для направления и заявлений о приеме детей в детские сады, поданных посредством Единого портала, а также запросов о получении информации о направлении и приеме детей в детсады;
— получение из региональных информсистем сведений в т. ч. о заявлениях, о статусах их обработки и о последовательности предоставления места в детском саду.
Организационные трудности
Так как процессы интеграции находятся на стыке нескольких информационных систем, то вопросы ответственности за обеспечение работоспособности процессов интеграции и обеспечение качества данных являются всегда спорными и должны решаться в первую очередь. Для решения этих вопросов можно использовать следующее правило: сторона, заинтересованная в данных, должна выполнять всю основную работу по организации интеграции и ее дальнейшему сопровождению.
Если заинтересованных сторон в интеграции нет (а бывает и такое), то следует применять административный ресурс — назначать ответственного сверху. Конечно, наилучшего результата можно достичь только при коллективной работе. Бросаться в крайности и назначать одного ответственного за всё без предоставления ему соответствующих полномочий не нужно. При назначении ответственных следует помнить, что за качество данных должны отвечать все же бизнес-специалисты Заказчика и специалисты службы сопровождения тех информационных систем, в которых эти данных хранятся.
Еще одной сложностью, с которой приходится сталкиваться — это закрытость служб сопровождения и разработчиков информационных систем компании Заказчика. Например, при построении хранилища данных необходимо проводить анализ данных и их структуры, хранящихся в системах-источниках. Но зачастую изучить их не получается по причине того, что не предоставляется документация, запрещается доступ к системе-источнику, отсутствуют примеры данных и т.д. В таком случае специалистами Заказчика применяется следующий подход при взаимодействии с Разработчиком: “Скажите, что Вам нужно, а мы дадим только то, что из этого есть в системе”. Это приводит к тому, что у бизнес-аналитиков и специалиста по модели данных складывается неполная картина о имеющихся данных в компании. Как результат, неполное хранилище данных. Избежать этого можно только путем правильной ориентацией специалистов Заказчика на взаимодействие с консультантами Разработчика.
Другим немаловажным моментом является необходимость привлечения к анализу данных и последующей разработке бизнес-правил преобразования данных предметных экспертов Заказчика. Какими бы опытными не являлись бизнес-аналитики Разработчика, все особенности и детали могут знать только специалисты Заказчика, имеющие практический опыт работы с данными компании.
Резюмируя перечень организационных трудностей, можно сказать, что к ним относятся:
Интегрируемые информационные системы
В данном разделе документа приводится перечень информационных систем между которыми планируется организовать периодический обмен данными.
В рамки проекта внедрения системы ERP предполагается организация взаимодействия со следующими существующими информационными системами:
— Система финансового планирования (Управляющая компания), верс. X.Y.
— Система финансового планирования (Филиал) OFA, верс. X.Y.
— Система ведения договоров (Управляющая компания)) , верс. X.Y.
— Файлы с данными по учету расчетов с акционерами, для филиала и управляющей компании.
Качество данных
Отсутствие качественных данных (приведенных к единому формату, недублирующихся, согласованных между собой, без “мусорных” записей) в информационных системах многих компаний является данностью, с которой приходится работать. Зачастую этот факт при внедрении новых ИС не учитывается, и в конце реализации проекта компания получает еще одну систему со своим набором данных, слабо согласующимися с данными других систем. В таких случаях при попытке настройки взаимодействия несогласованность данных приводит к тому, что интеграция систем есть, а интеграции данных нет. Может даже получиться несколько наборов данных в одной системе идентичных по сути, но разных по представлению (например, “юр. лицо” и “Юридические лица”).
Решать задачу согласованности данных призваны системы управления мастер-данными (Master Data Management, MDM). Но сегодня эти системы в российских компаниях являются больше экзотикой, чем нормой (об этом свидетельствует список референсов основных поставщиков MDM-решений). В отсутствии единой MDM-системы в компании задачи согласования данных и обеспечения их качества ложатся на процессы интеграции. Для этого разрабатываются бизнес-правила преобразования данных, создаются таблицы соответствия и т.п. решения, что по сути своей представляет систему MDM для одного или группы интеграционных процессов.
Конечно, не рекомендуется решать задачи интеграции, миграции данных и задачи улучшения качества данных, дедубликации в рамках одного проекта. Но если выхода нет, то прежде чем начинать разрабатывать бизнес-правила и таблицы соответствия, необходимо изучить данные, провести их предварительный анализа путем профилирования (Data Profiling). Проведение профилирования позволяет получить информацию о содержании, качестве и структуре данных. Этот важный этап, предшествующий этапу проектирования процессов интеграции, очень часто игнорируется, что приводит в итоге к несогласованности данных в интегрируемых системах. Еще одной важной задачей профилирования данных является сужение множества передаваемых данных, ведь в процессе анализа можно выявить “мусорные”, дублирующиеся или ненужные вообще для передачи данные.
Итак, к типичным проблемам интеграции, связанным с качеством данных, можно отнести:
Определение
Регламент взаимодействия информационных систем определяет правила, порядок и основные процедуры, связанные с процессами приема и передачи информации в электронной форме по телекоммуникационным каналам связи между информационными системами.
Формирование регламента взаимодействия (регламента интеграции) необходимо для четкого определения ответственности участников при обеспечении взаимодействия, перечня информационных объектов, расписания и способов организации взаимодействия.
Ниже представлен пример заполнения регламент обмена информацией между корпоративным хранилищем данных (Data Warehouse) и системой управления предприятием (ERP системой).
Технические трудности
Процесс организации интеграции сводится к следующим действиям:
При этом почти всегда основные трудности возникают на этапах разработки и тестирования. Но причины для их появления закладываются раньше.
Выбор платформы интеграции данных является крайне важным этапом. Нет смысла покупать дорогие решения для организации простого переноса данных из одной системы в другую (хотя подобные решения и позволят решить эту задачу). Можно воспользоваться и бесплатным продуктом или написать собственное приложение. Но в тоже время следует понимать, что для решения задач очистки данных, организации сложных бизнес-процессов их передачи, работы с большим объемом данных нужно иметь хорошую интеграционную платформу.
Еще одной ошибкой, связанной с интеграционной платформой, является её неправильное использование. Нет смысла покупать Informatica PowerCenter для того, чтобы всю логику преобразования данных реализовать на языке PL/SQL базы данных Oracle.
Стремление разработчиков к универсальности и применению передовых технологий, форматов, шаблонов и т.п. может излишне усложнить решение по интеграции. Организация обмена данными через web-сервисы порой приводит к задержкам передачи и обработки большого объема данных, усложнению выявления ошибок в данных в огромных xml-файлах и т.д. Все стремится к простоте. При организации процессов интеграции не следует их усложнять без необходимости протоколами с шифрованием, web-сервисами, гарантированной доставкой и т.п.
Подводя итог под техническими трудностями, можно сказать, что к ним относятся:
Конечно, список является неполным, и его можно и нужно расширять. К чему и призываю.
Организационные мероприятия
В данном разделе приводится перечень организационных мероприятий, которые необходимо выполнить до начала разработки процессов интеграции (обмена данными).
Для обеспечения реализации интеграционных процессов необходимо провести следующие мероприятия:
Порядок мониторинга
Указываются состав действий подлежащий мониторингу и порядок и журналирования.
Действия сторон при взаимодействии
Четко прописываются действия каждой стороны при организации и поддержки информационного взаимодействия.
Например:
Владельцы системы ERP обеспечивают доступ для чтения данных, необходимых для функционирования системы ХКД.
Владельцы ERP обеспечивают неизменность интерфейса доступа к данным в течение всего срока взаимодействия. В случае изменения механизма наполнения информацией таблиц ПБД, администраторы системы ERP уведомляют об этом по E-mail руководителя подразделения сопровождающего систему ХКД, который проверяет отсутствие возникновения потерь в производительности загрузки данных из ПБД ERP. В случае возникновения существенных (более 50%) потерь в производительности, владельцы обеих систем принимают меры для устранения таких потерь.
Владельцы системы КХД обеспечивают чтение справочников и фактических данных, из ПБД, в соответствии с расписанием и периодичностью, приведёнными в настоящем документе.
Изменения в настоящий регламент могут вноситься по обоюдному согласию сторон.
Периодичность обмена данными
Приводится периодичность осуществления обмена данными между информационными системами.
Схема потоков данных
В данном разделе проектного документа приводится схема потоков данных, описывающая будущие потоки интеграции (обмена данными) между информационными системами.
Схема потоков данных может приводится как в свободной форме, при этом обязательно необходимо её описание, так и в виде, например, DFD диаграмм.
На рисунке ниже представлена схема потоков данных при организации синхронизации в рамках внедрения проекта ERP.
Регламент взаимодействия
Указываются временные периоды и расписание информационного взаимодействия между системами.
Например:
Размещение и обновление записей в таблицах ПБД выполняется ежемесячно 6 числа с 00-00 до 02-00.
Чтение таблиц ПБД выполняется ежемесячно 6 числа с 02-01 до 03-00.
Сетевая архитектура взаимодействия
Приводятся дополнительные требования при наличии таковых.
Информационные объекты, используемые при взаимодействии
Приводится перечень информационных объектов с описанием и структурой.
Например:
Ниже представлены информационные объекты ПБД.
Структура таблицы ПБД «Доходы» (INCOME_TMP)

