Способы построения информационной модели

Информационная модель: описание, структура, виды, типы информационных моделей, разработка, создание, использование информационной модели

По мере развития человечества происходит структуризация и оптимизация наличных у нас данных и возможностей их использования. При этом ключевой является информационная модель. На сегодняшний день она является существенно недооценённым инструментов планирования. Чтобы сломать эту тенденцию, необходимо рассказывать аудитории о её возможностях, чем и займётся автор этой статьи.

Что называют информационной моделью? Описание и структура

Так называют модель объекта. Она представлена в виде информации, что описывает существенные для конкретного случая параметры и переменные, связи между ними, а также входы и выходы для данных, при подаче на которые можно влиять на получаемый результат. Их нельзя увидеть или потрогать. В целом они не имеют материального воплощения, поскольку строятся на использовании одной информации. Сюда относятся данные, что характеризуют состояния объекта, существенные свойства, процессы и явления, а также связь с внешней средой. Это процесс называется описанием информационной модели. Это самый первый шаг проработки. Полноценной информационной моделью является обычно сложная разработка, которая может иметь много структур, что в рамках статьи сведены в три основных типа:

1. Описательная. Сюда относятся модели, которые создаются на естественных языках. Они могут иметь любую произвольную структуру, которая удовлетворит составляющего их человека.
2. Формальная. Сюда относят модели, которые создаются на формальных языках (научных, профессиональных или специализированных). В качестве примеров можно привести такое: все виды таблиц, формул, граф, карт, схемы и прочих подобных структурных формаций.
3. Хроматические. Сюда относят модели, которые были созданы с применением естественного языка семантики цветовых концептов, а также их онтологических предикатов. Под последними понимают возможность распознавания значений цветовых канонов и смыслов. В качестве примера хроматических моделей можно навести те, что были построены с использованием соответствующей теоретической базы и методологии.

Как видим, основной составляющей являются данные, их структура и процедура обработки. Развивая мысль, можно дополнить, что информационная модель является схемой, в которой описана суть определённого объекта, а также все необходимые для его исследования процедуры. Для более полного описания характеристик используют переменные. Они замещают атрибут цели, которая прорабатывается. И здесь имеет значительную важность структура информационной модели.

Давайте приведём пример. Описание веника и инструкция по его использованию является информационной моделью для уборщика. Но это не всё. Описание и технологический процесс изготовления веника, изложений в соответствующей документации, является информационной моделью и алгоритмом, по которому его делает производитель. Как видите, отражаются наиболее важные свойства объекта. В действительности, конечно, информационная модель – это лишь приближенное описание. В результате можно сказать, что эти данные, с помощью которых осуществляется познание реальности, являются относительно истинными.

Общая классификация

Какие информационные модели существуют? Классификация сформирована на основе самого определения:

1. Зависимо от количества значений переменных они делятся на динамические и статистические.
2. По способу описания бывают знаковыми, натурными, формализованными.
3. Зависимо от особенностей конструирования переменных делятся на графовые, графические, идеографические, текстовые, алгоритмические, табличные.

Виды информационных моделей

Исследованию поддаётся как физический, так и идеальный объект анализа. Это приводит к тому, что существование одинаковых информационных моделей, к которым можно подойти с тем же самых набором инструментариев, нет. Поэтому приходится использовать отдельные подходы и что-то особенное, что позволит изучить или исследовать предметную область. На основании таких суждений принято выделять три виды информационных моделей:

1. Математические. Благодаря им изучают явления и процессы, что являются представленными в виде наиболее общих математических закономерностей или абстрактных объектов, которых достаточно, чтобы выразить законы природы или внутренние свойства наблюдаемого. Также применяются для подтверждения правила логических рассуждений.
2. Компьютерные. Используется для описания совокупности переменных, что представлены абстрактными типами данных и поданы в соответствии с выдвигаемыми требованиями среды обработки ЭОМ.
3. Материальные. Так называют предметное отражение объекта, сохраняющее геометрические и физические свойства (глобус, игрушки, манекены). Также к материальным моделям относят химические опыты.

Типы информационных моделей

Поскольку они являются совокупностью информации, то часто характеризуют состояние и свойства объекта, явления, процесса и их взаимодействие с окружающим их миром. Зависимо от того, как они представлены и выражены, выделяют два типы информационных моделей:

1. Вербальные. Они создаются как результат умственной деятельности человека и представляются в словесной форме или при помощи жестикуляции.
2. Знаковые. Для их выражения используются рисунки, схемы, графики, формулы.

Что необходимо для их создания?

Информация, причём как можно более точная. Чем больше предоставленные данные отвечают реальным показателем, тем эффективней применяется модель на практике. Чтобы разработать модель, сначала проводится сбор всей возможной информации. Она отсеивается и остаётся та, что предоставляет наибольшую ценность для исследователя. Проводится анализ предоставляющей интерес информации, на основании которого она структурируется. И зависимо от целей исследователь из отдельных блоков данных строит необходимую модель. Потом проводится поиск ошибок и ликвидация противоречий. Когда этот шаг закончен, то разработка информационной модели тоже считается завершённой.

Где применяются информационные модели?

Везде. Только такое обозначение не всегда применяется на практике из-за его излишней научности. Инструкции для компьютеров, телевизоров, телефонов, использованных бутылей воды, автомобильных аккумуляторов – вот лишь отдельные примеры. Информационной моделью является и технология производства комбайнов, тракторов, самолётов, грузовиков, прицепов, строений. Как видите, для неё есть применение и в быту, и в промышленности. Но сам термин «информационная модель» больше применяется в последней сфере из-за того, что здесь протекают более сложные процессы с участием большого количества людей.

Пример создания

Давайте попробуем детально проанализировать, что такое информационная модель. Это не так сложно, как может показаться. В качестве примера возьмём клавиатуру. Можно определить два направления относительно пользователя: описание и вопросы настройки. Во-первых, производительно пишет в аннотации, какой это хороший продукт, что он может, как с ним удобно работать. Анализирует передовые технологии, применённые при её создании, экологические преимущества и прочие подобные вещи. Главное – понравиться. Но лгать всё же не надо, поскольку это будет иметь нежелательные последствия.

Во-вторых, прорабатываются вопросы настройки. Можно ответить на них с помощью картинок на листке-вкладыше, где будет изображено, куда вставить разъём клавиатуры в компьютер. Также может прилагаться небольшой ремонтный комплект, инструкция по его использованию, особенности построение устройства, как его следует разбирать в случае возникновения определённых проблем – и ряд других вопросов, которые можно только продумать и дать ответ пользователям на них.

Особенности

Чем больше данных, тем описание информационной модели будет сложнее. Это две стороны медали: следует выбирать между точностью и функциональностью. Чтобы не перегибать палку или избежать слабой проработки вопроса следует заранее очертить задачи для проработки и глубину их разбора. Следует позаботиться обо всех имеющихся моментах, поскольку любая проблема, допущенная на этом этапе, в будущем только добавит работы и необходимость затраты денежных средств на устранение конфликта.

Изучение аспектов информационного моделирования

С научной точки зрения этим вопросом занимается кибернетика. Поэтому, если у вас есть желание углубить свои познания в этой области, запаситесь несколькими недавно вышедшими книгами и внимательно изучите их. Хотя можно и по-другому осведомиться, что такое простейшие информационные модели. Информатика может дать необходимый базис, но для получения всей полноты знаний нужна именно кибернетика. В её рамках можно будет ознакомиться не только с детализированными принципами моделирования, но и узнать про существующие разработки, а также возможности их применения.

Заключение

Информационная модель – это важный и полезный инструмент, если правильно его использоваться. При создании сложных систем (например, программного обеспечения) он позволяет проработать основные технические вопросы и устранить возможные не состыковки. В рамках статьи были размещены знания про то, какие информационные модели есть, как они создаются и другая полезная информация, что пригодится на практике.

Источник

Моделирование данных: зачем нужно и как реализовать

Моделирование данных ощутимо упрощает взаимодействие между разработчиками, аналитиками и маркетологами, как и сам процесс создания отчетов. Поэтому я перевела статью IBM Cloud Education о ценности моделирования и от себя добавила инфо о способах трансформации данных для моделирования.

Моделирование данных

Узнайте, как моделирование данных использует абстракцию для представления и лучшего понимания природы данных в информационной системе предприятия.

Что такое моделирование данных

Моделирование данных — это создание визуального представления о всей информационной системе либо ее части. Цель в том, чтобы проиллюстрировать типы данных, которые используются и хранятся в системе, отношения между этими типами данных, способы группировки и организации данных, их форматы и атрибуты.

Модели данных строятся на основе бизнес-потребностей. Правила и требования к модели данных определяются заранее на основе обратной связи с бизнесом, поэтому их можно включить в разработку новой системы или адаптировать к существующей.

Данные можно моделировать на различных уровнях абстракции. Процесс начинается со сбора бизнес-требований от заинтересованных сторон и конечных пользователей. Эти бизнес-правила затем преобразуются в структуры данных. Модель данных можно сравнить с дорожной картой, планом архитектора или любой формальной схемой, которая способствует более глубокому пониманию того, что разрабатывается.

Моделирование данных использует стандартизированные схемы и формальные методы. Это обеспечивает последовательный и предсказуемый способ управления данными в организации или за ее пределами.

В идеале модели данных — это живые документы, которые развиваются вместе с потребностями бизнеса. Они играют важную роль в поддержке бизнес-процессов и планировании ИТ-архитектуры и стратегии. Моделями данных можно делиться с поставщиками, партнерами и коллегами.

Преимущества моделирования данных

Моделирование упрощает просмотр и понимание взаимосвязей между данными для разработчиков, архитекторов данных, бизнес-аналитиков и других заинтересованных лиц. Кроме того, моделирование данных помогает:

Уменьшить количество ошибок при разработке программного обеспечения и баз данных.

Унифицировать документацию на предприятии.

Повысить производительность приложений и баз данных.

Упростить отображение данных по всей организации.

Улучшить взаимодействие между разработчиками и командами бизнес-аналитики.

Упростить и ускорить процесс проектирования базы данных на концептуальном, логическом и физическом уровнях.

Типы моделей данных

Разработка баз данных и информационных систем начинается с высокого уровня абстракции и с каждым шагом становится все точнее и конкретнее. В зависимости от степени абстракции модели данных можно разделить на три категории. Процесс начинается с концептуальной модели, переходит к логической модели и завершается физической моделью.

Концептуальные модели данных. Также они называются моделями предметной области и описывают общую картину: что будет содержать система, как она будет организована и какие бизнес-правила будут задействованы. Концептуальные модели обычно создаются в процессе сбора исходных требований к проекту. Как правило, они включают классы сущностей (вещи, которые бизнесу важно представить в модели данных), их характеристики и ограничения, отношения между сущностями, требования к безопасности и целостности данных. Любые обозначения обычно просты.

Логические модели данных уже не так абстрактны и предоставляют более подробную информацию о концепциях и взаимосвязях в рассматриваемой области. Они содержат атрибуты данных и показывают отношения между сущностями. Логические модели данных не определяют никаких технических требований к системе. Этот этап часто пропускается в agile или DevOps-практиках. Логические модели данных могут быть полезны для проектов, ориентированных на данные по своей природе. Например, для проектирования хранилища данных или разработки системы отчетности.

Физические модели данных представляют схему того, как данные будут храниться в базе. По сути, это наименее абстрактные из всех моделей. Они предлагают окончательный дизайн, который может быть реализован как реляционная база данных, включающая ассоциативные таблицы, которые иллюстрируют отношения между сущностями, а также первичные и внешние ключи для связи данных.

Процесс моделирования данных

Моделирование данных начинается с договоренности о том, какие символы используются для представления данных, как размещаются модели и как передаются бизнес-требования. Это формализованный рабочий процесс, включающий ряд задач, которые должны выполняться итеративно. Сам процесс обычно выглядят так:

Определите сущности. На этом этапе идентифицируем объекты, события или концепции, представленные в наборе данных, который необходимо смоделировать. Каждая сущность должна быть целостной и логически отделенной от всех остальных.

Определите ключевые свойства каждой сущности. Каждый тип сущности можно отличить от всех остальных, поскольку он имеет одно или несколько уникальных свойств, называемых атрибутами. Например, сущность «клиент» может обладать такими атрибутами, как имя, фамилия, номер телефона и т.д. Сущность «адрес» может включать название и номер улицы, город, страну и почтовый индекс.

Определите связи между сущностями. Самый ранний черновик модели данных будет определять характер отношений, которые каждая сущность имеет с другими. В приведенном выше примере каждый клиент «живет по» адресу. Если бы эта модель была расширена за счет включения сущности «заказы», ​​каждый заказ также был бы отправлен на адрес. Эти отношения обычно документируются с помощью унифицированного языка моделирования (UML).

Полностью сопоставьте атрибуты с сущностями. Это гарантирует, что модель отражает то, как бизнес будет использовать данные. Широко используются несколько формальных шаблонов (паттернов) моделирования данных. Объектно-ориентированные разработчики часто применяют шаблоны для анализа или шаблоны проектирования, в то время как заинтересованные стороны из других областей бизнеса могут обратиться к другим паттернам.

Назначьте ключи по мере необходимости и определите степень нормализации. Нормализация — это метод организации моделей данных, в которых числовые идентификаторы (ключи) назначаются группам данных для установления связей между ними без повторения данных. Например, если каждому клиенту назначен ключ, этот ключ можно связать как с его адресом, так и с историей заказов, без необходимости повторять эту информацию в таблице с именами клиентов. Нормализация помогает уменьшить объем дискового пространства, необходимого для базы данных, но может сказываться на производительности запросов.

Завершите и проверьте модель данных. Моделирование данных — это итеративный процесс, который следует повторять и совершенствовать под потребности бизнеса.

Типы моделирования данных

Моделирование данных развивалось вместе с системами управления базами данных (СУБД), при этом типы моделей усложнялись по мере роста потребностей предприятий в хранении данных.

Иерархические модели данных представляют отношения «один ко многим» в древовидном формате. В модели этого типа каждая запись имеет единственный корень или родительский элемент, который сопоставляется с одной или несколькими дочерними таблицами. Эта модель была реализована в IBM Information Management System (IMS) ​​в 1966 году и быстро нашла широкое применение, особенно в банковской сфере. Хотя этот подход менее эффективен, чем недавно разработанные модели баз данных, он все еще используется в системах расширяемого языка разметки (XML) и географических информационных системах (ГИС).

Реляционные модели данных были предложены исследователем IBM Э. Ф. Коддом в 1970 году. Они до сих пор встречаются во многих реляционных базах данных, обычно используемых в корпоративных вычислениях. Реляционное моделирование не требует детального понимания физических свойств используемого хранилища данных. В нем сегменты данных объединяются с помощью таблиц, что упрощает базу данных.

Реляционные базы данных часто используют язык структурированных запросов (SQL) для управления данными. Эти базы подходят для поддержания целостности данных и минимизации избыточности. Они часто используются в кассовых системах, а также для других типов обработки транзакций.

В ER-моделях данных используют диаграммы для представления взаимосвязей между сущностями в базе данных. ER-модель представляет собой формальную конструкцию, которая не предписывает никаких графических средств её визуализации. В качестве стандартной графической нотации, с помощью которой можно визуализировать ER-модель, была предложена диаграмма «сущность-связь» (Entity-Relationship diagram). Однако для визуализации ER-моделей могут использоваться и другие графические нотации, либо визуализация может вообще не применяться (например, только текстовое описание).

Объектно-ориентированные модели данных получили распространение как объектно-ориентированное программирование и стали популярными в середине 1990-х годов. Вовлеченные «объекты» — это абстракции сущностей реального мира. Объекты сгруппированы в иерархии классов и имеют связанные черты. Объектно-ориентированные базы данных могут включать таблицы, но могут также поддерживать более сложные связи. Этот подход часто используется в мультимедийных и гипертекстовых базах данных.

Размерные модели данных разработал Ральф Кимбалл для быстрого поиска данных в хранилище. Реляционные и ER-модели делают упор на эффективное хранение и уменьшают избыточность данных, а размерные модели упорядочивает данные таким образом, чтобы легче было извлекать информацию и создавать отчеты. Это моделирование обычно используется в системах OLAP.

Две популярные размерные модели данных — это схемы «звезда» и «снежинка». В схеме «звезда» данные организованы в факты (измеримые элементы) и измерения (справочная информация), где каждый факт окружен связанными с ним измерениями в виде звездочки. Схема «снежинка» напоминает схему «звезда», но включает дополнительные слои связанных измерений, что усложняет схему ветвления.

Инструменты для моделирования данных

Сегодня широко используются многочисленные коммерческие и CASE-решения с открытым исходным кодом, в том числе различные инструменты моделирования данных, построения диаграмм и визуализации. Вот несколько примеров:

erwin Data Modeler — это инструмент моделирования данных, основанный на языке IDEF1X, который теперь поддерживает и другие нотации, включая нотацию для размерного моделирования.

Enterprise Architect — это инструмент визуального моделирования и проектирования, который поддерживает моделирование корпоративных информационных систем и архитектур, программных приложений и баз данных. Он основан на объектно-ориентированных языках и стандартах.

ER/Studio — это программа для проектирования баз данных, совместимая с некоторыми из самых популярных СУБД. Она поддерживает как реляционное, так и размерное моделирование данных.

Бесплатные инструменты моделирования данных включают решения с открытым исходным кодом, такие как Open ModelSphere.

Для того, чтобы преобразовать данные в структуру, которая соответствует требованиям модели, можно использовать встроенный механизм регулярных запросов, которые выполняются в Google BigQuery, Scheduled Queries и AppScript. Их легко можно освоить, потому что это привычный SQL, но проводить отладку в Scheduled Queries практически нереально. Особенно, если это какой-то сложный запрос или каскад запросов.

Есть специализированные инструменты для управления SQL-запросами, например, dbt и Dataform.

dbt (data build tool) — это фреймворк с открытым исходным кодом для выполнения, тестирования и документирования SQL-запросов, который позволяет привнести элемент программной инженерии в процесс анализа данных. Он помогает оптимизировать работу с SQL-запросами: использовать макросы и шаблоны JINJA, чтобы не повторять в сотый раз одни и те же фрагменты кода.

Главная проблема, которую решают специализированные инструменты — это уменьшение времени, необходимого на поддержку и обновление. Это достигается за счет удобства отладки.

Источник