Что такое миграция данных?
Даже у небольшой компании есть запас самой разнообразной информации, необходимой для жизнеспособности бизнеса. А в современном мире данные, как и нефть, являются основой экономики.
И относиться к ним нужно очень бережно :)
Данных много, “живут” они в разных информационных системах, хранятся в различных местах и разнообразных форматах. Поэтому, частенько возникают задачи по переносу не только данных, но и процессов, приложений и прочего богатства на новое “место жительства” ;)
К тому же реалии взаимоотношений России с Западом требуют перехода из старых или ушедших систем в новые, импортозамещенные.
Сегодня поговорим о миграции данных. Тема очень объемная, поэтому в один блог не помещается ;)
Начнем с определений. Так что же такое “Миграция данных”?
Говоря простыми словами, миграция - это “перенос” существующей исторической информации в новое хранилище, систему или ее конвертация в новый формат.
Типы миграции
Миграция хранилища
Задача по миграции хранилища возникает при “переезде” организации с одного физического носителя на другой, или из физической среды в виртуальную. Это может быть переход от бумаги к цифровым документам, от жестких дисков к твердотельным накопителям или от локальных серверов к облачным.
Миграция центров обработки данных
ЦОД - это сосредоточение инфраструктуры хранения данных, на которой “крутятся” критически важные системы и приложения организации. Миграция ЦОД может включать в себя как физическое перемещение “железа” на новое место, так и перенос “цифровых активов” на новые “железяки”.
Облачная миграция
В этом случае данные или приложений переносятся из локального хранилища в облако или из одной облачной среды в другую. Gartner ожидает, что большинство крупных корпораций переберутся в облака уже к 2030 году.
Миграция баз данных
База данных - это цифровой контент, “упакованный” и структурированный определенным образом. А управляется она с помощью движка (СУБД), который позволяет “разбираться” с этой кучей цифирек и буковок :). Миграция может выражаться как в апгрейде системы управления до более “свежей” версии, так и переходом с одной СУБД на другую. Например, с Oracle на PostgreSQL. Кстати, это нетривиальная задача, поскольку форматы данных и подходы к их управлению в разных типах баз различаются.
Миграция бизнес-процессов
Если вы озадачены выходом на новые рынки, боретесь с конкурентами или приступили к оптимизации бизнеса, включая M&A, то вам не уйти от миграции бизнес-процессов :(. Эта процедура заключается в перемещении не только приложений и данных о процессах, но и метрик, в новую среду. Метрики могут содержать информацию о клиентах, продуктах, операционные данные, регламенты и т.д.
Миграция приложений
А вот и “актуалочка” для российского рынка ;). Вынужденное расставание с западными вендорами (SAP, Oracle etc.) привело к расцвету российских решений и платформ. Но сложность этой задачи заключается в том, что “переезд” требует перемещения данных из одной вычислительной среды в другую. Переход на новую платформу приводит к трансформации форматов и моделей данных, а также к необходимости настройки интеграций и логики обмена данными между системами. Впрочем, целесообразно сначала построить параллельную систему “рядом”, постепенно передавая туда необходимый функционал и осуществляя плавную миграцию.
Подходы к миграции данных
Единовременный
Этот сценарий предусматривает перемещение данных из исходной среды в целевую в течение относительно короткого периода. Пока данные перемещаются и подвергаются преобразованиям в соответствии с требованиями целевой инфраструктуры системы временно недоступны для пользователей. Данный подход рекомендуется для небольших компаний с ограниченными объемами данных и малым количеством ИТ-систем.
Крупным организациям, у которых данных много и хранятся они в разных форматах, а также необходим постоянный доступ к приложениям и контенту, нужен другой подход к миграции.
Поэтапный
В этом случае, весь процесс миграции разбивается на части со своими целями, сроками, областями применения и проверками качества. Такой метод предполагает построение новой системы рядом со старой. Данные в переносятся постепенно, небольшими порциями. Доступность приложений для пользователей при этом сохраняется, что важно для многих критически важных сервисов. Конечно, такая стратегия занимает гораздо больше времени и усложняет проект. Ведь команда миграции должна следить за тем, какие данные уже были перенесены, а также гарантировать, что пользователи могут переключаться между двумя системами для доступа к необходимой информации. Кроме этого, важно обеспечить синхронизацию данных между системами в режиме реального времени.
Для компаний, которые не могут позволить себе длительного простоя систем или оборудования, это единственный выход!
О том, как осуществляется миграция данных, что такое извлечение, трансформация и загрузка, мы поговорим в следующей статье.