Олап системы это
OLAP-системы
OLAP (OnLine Analytical Processing) – это название не конкретного продукта, а целой технологии оперативной аналитической обработки, предполагающей анализ данных и получение отчетов. Пользователю предоставляется многомерная таблица, автоматически суммирующая данные в различных разрезах и позволяющая оперативно управлять вычислениями и формой отчета.
Хотя в некоторых изданиях аналитическую обработку называют и онлайновой, и интерактивной, однако прилагательное «оперативная» как нельзя более точно отражает смысл технологии OLAP. Разработка руководителем решений по управлению попадает в разряд областей наиболее ложно поддающихся автоматизации. Однако сегодня имеется возможность оказать помощь управленцу в разработке решений и, самое главное, значительно ускорить сам процесс разработки решений, их отбора и принятия.
Системы поддержки принятия решений обычно обладают средствами предоставления пользователю агрегатных данных для различных выборок из исходного набора в удобном для восприятия и анализа виде. Как правило, такие агрегатные функции образуют многомерный набор данных, нередко называемый гиперкубом или метакубом, оси которого содержат параметры, а ячейки – зависящие от них агрегатные данные – причем храниться такие данные могут и в реляционных таблицах, но в данном случае речь идет о логической организации данных, а не о физической реализации их хранения.
Вдоль каждой оси данные могут быть организованы в виде иерархии, представляющей различные уровни их детализации.
По измерениям в многомерной модели откладывают факторы, влияющие на деятельность предприятия (например: время, продукты, филиалы компании и т.п.). Полученный OLAP-куб затем наполняется показателями деятельности предприятия (цены, продажи, план, прибыли, бытки и т.п.). Необходимо отметить, что в отличие от геометрического куба грани ОLAP-куба не обязательно должны иметь один размер. Наполнение это может вестись как реальными данными оперативных систем, так и прогнозируемыми на основе исторических данных. Измерения гиперкуба могут носить сложный характер, быть иерархическими, между ними могут быть установлены отношения. В процессе анализа пользователь может менять точку зрения на данные (так называемая операция смены логического взгляда), тем самым, просматривая данные в различных разрезах и разрешая конкретные задачи. Над кубами могут выполняться различные операции, включая прогнозирование и условное планирование (анализ типа “что, если”).
Благодаря такой модели данных пользователи могут формулировать сложные запросы, генерировать отчеты, получать подмножества данных. Оперативная аналитическая обработка позволяет значительно упростить и ускорить процесс подготовки и принятия решений руководящим персоналом. Оперативная аналитическая обработка служит цели превращения данных в информацию. Она принципиально отличается от традиционного процесса поддержки принятия решений, основанного, чаще всего, на рассмотрении структурированных отчетов.
OLAP-технология относится к виду интеллектуального анализа и предполагает 12 принципов:
1. Концептуальное многомерное представление. Пользователь-аналитик видит мир предприятия многомерным по своей природе, соответственно и OLAP-модель должна быть многомерной в своей основе.
2. Прозрачность. Архитектура OLAP-системы должна быть открытой, позволяя пользователю, где бы он ни находился, связываться при помощи аналитического инструмента – клиента – с сервером.
3. Доступность. Пользователь-аналитик OLAP должен иметь возможность выполнять анализ, базирующийся на общей концептуальной схеме, содержащей данные всего предприятия в реляционной БД, также как и данные из старых наследуемых БД, на общих методах доступа и на общей аналитической модели. OLAP-система должна выполнять доступ только к действительно требующимся данным, а не применять общий принцип «кухонной воронки», который влечет ненужный ввод.
4. Постоянная производительность при разработке отчетов. При увеличении числа измерений или объема базы данных пользователь-аналитик не должен чувствовать существенного снижения производительности.
5. Клиент-серверная архитектура. Большинство данных, которые сегодня требуется подвергать оперативной аналитической обработке, содержатся на мэйнфреймах с доступом на пользовательские рабочие станции через ЛВС. Это означает, что OLAP-продукты должны быть способны работать в среде клиент-сервер.
6. Общая многомерность. Каждое измерение должно применяться безотносительно своей структуры и операционных способностей. Базовые структуры данных, формулы и форматы отчетов не должны смещаться в сторону какого-либо одного измерения.
7. Динамическое управление разреженными матрицами. Физическая схема OLAP-инструмента должна полностью адаптироваться к специфической аналитической модели для оптимального управления разреженными матрицами. Разреженность (измеряется в процентном отношении пустых ячеек ко всем возможным) – это одна из характеристик распространения данных.
8. Многопользовательская поддержка. OLAP-инструмент должен предоставлять возможности совместного доступа запроса и дополнения нескольких пользователей-аналитиков при условии сохранения целостности и безопасности.
9. Неограниченные перекрестные операции. Различные операции вследствие их иерархической природы могут представлять зависимые отношения в OLAP-модели, т. е. являются перекрестными. Их выполнение не должно требовать от пользователя-аналитика вновь определять эти вычисления и операции.
10. Интуитивная манипуляция данными. Взгляд пользователя- аналитика на измерения, определенный в аналитической модели, должен содержать всю необходимую информацию, чтобы выполнять действия с OLAP-моделью, т.е. они не должны требовать использования системы меню или иных множественных операций с пользовательским интерфейсом.
11. Гибкие возможности получения отчетов. Средства формирования отчетов должны представлять собой синтезируемые данные или информацию, следующую из модели данных в ее любой возможной ориентации. Это означает, что строки, столбцы или страницы отчета должны отображать несколько измерений OLAP-модели одновременно с возможностью показать любое подмножество элементов (значений), содержащихся в измерении, причем в любом порядке.
12. Неограниченная размерность и число уровней агрегации. Исследование о возможном числе необходимых измерений, требующихся в аналитической модели, показало, что одновременно пользователем- аналитиком может использоваться до 19 измерений. Отсюда вытекает рекомендация о числе измерений, поддерживаемой OLAP-системой. Более того, каждое из общих измерений не должно быть ограничено по числу определяемых пользователем-аналитиком уровней агрегации.
В качестве специализированных OLAP-систем, предлагаемых в настоящее время на рынке, можно указать CalliGraph, Business Intelligence.
Для решения простых задач анализа данных возможно использовать бюджетное решение – офисные приложения Excel и Access компании Microsoft, которые содержат элементарные средства OLAP-технологии, позволяющие создавать сводные таблицы и строить на их основе различные отчеты.
OLAP системы
Применение OLAP системы позволяет автоматизировать стратегический уровень управления организацией. OLAP (Online Analytical Processing – аналитическая обработка данных в реальном времени) представляет собой мощную технологию обработки и исследования данных. Системы, построенные на основе технологии OLAP, предоставляют практически безграничные возможности по составлению отчетов, выполнению сложных аналитических расчетов, построению прогнозов и сценариев, разработке множества вариантов планов.
Полноценные OLAP системы появились в начале 90-х годов, как результат развития информационных систем поддержки принятия решений. Они предназначены для преобразования различных, часто разрозненных, данных, в полезную информацию. OLAP системы могут организовать данные в соответствии с некоторым набором критериев. При этом не обязательно, чтобы критерии имели четкие характеристики.
05.12.2019 В раздел «Аккредитация» добавлена информация по управлению рисками и возможностями в лаборатории.
01.10.2019 В раздел «Аккредитация» добавлена информация по комплекту СМК строительной лаборатории.
29.05.2019 В раздел «Аккредитация» добавлена информация по управлению закупками в лаборатории.
Свое применение OLAP системы нашли во многих вопросах стратегического управления организацией: управление эффективностью бизнеса, стратегическое планирование, бюджетирование, прогнозирование развития, подготовка финансовой отчетности, анализ работы, имитационное моделирование внешней и внутренней среды организации, хранение данных и отчетности.
Структура OLAP системы
В основе работы OLAP системы лежит обработка многомерных массивов данных . Многомерные массивы устроены так, что каждый элемент массива имеет множество связей с другими элементами. Чтобы сформировать многомерный массив, OLAP система должна получить исходные данные из других систем (например, ERP или CRM системы), или через внешний ввод. Пользователь OLAP системы получает необходимые данные в структурированном виде в соответствии со своим запросом. Исходя из указанного порядка действий, можно представить структуру OLAP системы.
В общем виде, структура OLAP системы состоит из следующих элементов:
- база данных. База данных является источником информации для работы OLAP системы. Вид базы данных зависит от вида OLAP системы и алгоритмов работы OLAP сервера. Как правило, используются реляционные базы данных, многомерные базы данных, хранилища данных и т.п.
- OLAP сервер. Он обеспечивает управление многомерной структурой данных и взаимосвязь между базой данных и пользователями OLAP системы.
- пользовательские приложения. Этот элемент структуры OLAP системы осуществляет управление запросами пользователей и формирует результаты обращения к базе данных (отчеты, графики, таблицы и пр.)
В зависимости от способа организации, обработки и хранения данных, OLAP системы могут быть реализованы на локальных компьютерах пользователей или с использованием выделенных серверов.
Существует три основных способа хранения и обработки данных:
- локально. Данные размещаются на компьютерах пользователей. Обработка, анализ и управление данными выполняется на локальных рабочих местах. Такая структура OLAP системы имеет существенные недостатки, связанные со скоростью обработки данных, защищенностью данных и ограниченным применением многомерного анализа.
- реляционные базы данных. Эти базы данных используются при совместной работе OLAP системы с CRM системой или ERP системой. Данные хранятся на сервере этих систем в виде реляционных баз данных или хранилищ данных. OLAP сервер обращается к этим базам данных для формирования необходимых многомерных структур и проведения анализа.
- многомерные базы данных. В этом случае данные организованы в виде специального хранилища данных на выделенном сервере. Все операции с данными осуществляются на этом сервере, который преобразует исходные данные в многомерные структуры. Такие структуры называют OLAP кубом . Источниками данных для формирования OLAP куба являются реляционные базы данных и/или клиентские файлы. Сервер данных осуществляет предварительную подготовку и обработку данных. OLAP сервер работает с OLAP кубом не имея непосредственного доступа к источникам данных (реляционным базам данных, клиентским файлам и др.).
Виды OLAP систем
В зависимости от метода хранения и обработки данных, все OLAP системы могут быть разделены на три основных вида.
К этим видам OLAP систем относятся:
1. ROLAP (Relational OLAP – реляционные OLAP системы) – этот вид OLAP системы работает с реляционными базами данных. Обращение к данным осуществляется напрямую в реляционную базу данных. Данные хранятся в виде реляционных таблиц. Пользователи имеют возможность осуществлять многомерный анализ как в традиционных OLAP системах. Это достигается за счет применения инструментов SQL и специальных запросов.
Одним из преимуществ ROLAP является возможность более эффективно осуществлять обработку большого объема данных. Другим преимуществом ROLAP является возможность эффективной обработки как числовых, так и текстовых данных.
К недостаткам ROLAP относится низкая производительность (по сравнению с традиционными OLAP системами), т.к. обработку данных осуществляет сервер OLAP. Другим недостатком является ограничение функциональности из-за применения SQL.
2. MOLAP (Multidimensional OLAP – многомерные OLAP системы). Этот вид OLAP систем относится к традиционным системам. Отличие традиционной OLAP системы, от других систем, заключается в предварительной подготовке и оптимизации данных. Эти системы, как правило, используют выделенный сервер, на котором осуществляется предварительная обработка данных. Данные формируются в многомерные массивы – OLAP кубы.
MOLAP системы являются самыми эффективными при обработке данных, т.к. они позволяют легко реорганизовать и структурировать данные под различные запросы пользователей. Аналитические инструменты MOLAP позволяют выполнять сложные расчеты. Другим преимуществом MOLAP является возможность быстрого формирования запросов и получения результатов. Это обеспечивается за счет предварительного формирования OLAP кубов.
К недостаткам MOLAP системы относится ограничение объемов обрабатываемых данных и избыточность данных, т.к. для формирования многомерных кубов, по различным аспектам, данные приходится дублировать.
3. HOLAP (Hybrid OLAP – гибридные OLAP системы). Гибридные OLAP системы представляют собой объединение систем ROLAP и MOLAP . В гибридных системах постарались объединить преимущества двух систем: использование многомерных баз данных и управление реляционными базами данных. HOLAP системы позволяют хранить большое количество данных в реляционных таблицах, а обрабатываемые данные размещаются в предварительно построенных многомерных OLAP кубах. Преимущества этого вида систем заключаются в масштабируемости данных, быстрой обработке данных и гибком доступе к источникам данных.
Существуют и другие виды OLAP систем, но они в большей степени являются маркетинговым ходом производителей, чем самостоятельным видом OLAP системы.
К таким видам относятся:
- WOLAP (Web OLAP). Вид OLAP системы с поддержкой web интерфейса. В этих системах OLAP есть возможность обращаться к базам данных через web интерфейс.
- DOLAP (Desktop OLAP). Этот вид OLAP системы дает возможность пользователям загрузить на локальное рабочее место базу данных и работать с ней локально.
- MobileOLAP. Это функция OLAP систем, которая позволяет работать с базой данных удаленно, с использованием мобильных устройств.
- SOLAP (Spatial OLAP). Этот вид OLAP систем предназначен для обработки пространственных данных. Он появился как результат интеграции географических информационных систем и OLAP системы. Эти системы позволяют обрабатывать данные не только в буквенно-цифровом формате, но и в виде визуальных объектов и векторов.
Преимущества OLAP системы
Применение OLAP системы дает организации возможности по прогнозированию и анализу различных ситуаций, связанных с текущей деятельностью и перспективами развития. Эти системы можно рассматривать как дополнение к системам автоматизации уровня предприятия. Все преимущества OLAP систем напрямую зависят от точности, достоверности и объема исходных данных.
Основными преимуществами OLAP системы являются:
- согласованность исходной информации и результатов анализа. При наличии OLAP системы всегда есть возможность проследить источник информации и определить логическую связь между полученными результатами и исходными данными. Снижается субъективность результатов анализа.
- проведение многовариантного анализа. Применение OLAP системы позволяет получить множество сценариев развития событий на основе набора исходных данных. За счет инструментов анализа можно смоделировать ситуации по принципу «что будет, если».
- управление детализацией. Детальность представления результатов может изменяться в зависимости от потребности пользователей. При этом нет необходимости осуществлять сложные настройки системы и повторять вычисления. Отчет может содержать именно ту информацию, которая необходима для принятия решений.
- выявление скрытых зависимостей. За счет построения многомерных связей появляется возможность выявить и определить скрытые зависимости в различных процессах или ситуациях, которые влияют на производственную деятельность.
- создание единой платформы. За счет применения OLAP системы появляется возможность создать единую платформу для всех процессов прогнозирования и анализа на предприятии. В частности, данные OLAP системы, являются основой для построения прогнозов бюджета, прогноза продаж, прогноза закупок, плана стратегического развития и пр.
О базах данных просто. Различия OLAP и OLTP
Небольшой вброс умных слов в канал, которые помогут, если вы начинающий ITшник.
Классифицировать базы данных (БД) можно по многим критериям. В данной статье поговорим о разделении баз на OLAP и OLTP.
OLTP (англ. Online Transaction Processing) или реляционные БД — это базы данных, которые используются везде и повсеместно. Их основная цель — ввод/редактирование/удаление данных в режиме онлайн. Примеры использования: мессенджеры, социальные сети, 1С: Бухгалтерия и т.д.
OLAP (англ. Online Analytical Processing) или многомерные БД — это базы данных, которые служат непосредственно для проведения быстрого анализа больших объемов данных. Обычно такие БД используются на больших предприятиях для построения аналитической отчетности за большой промежуток времени (месяц, квартал, год). Такая информация в основном используется для анализа прошедшего периода и планирования будущего. Основные пользователи аналитических данных — руководители.
Теперь разберемся, в чем принципиальное отличие этих БД.
OLAP выбирает данные быстрее, чем OLTP
Есть такое понятие, как нормализация — оно подразумевает хранение информации максимально просто и не избыточно. Максимально просто: не хранить в одном столбце ФИО, а сделать 3 отдельных. Не избыточно: фамилия клиента должна храниться только в справочнике клиентов, и ее не нужно добавлять в сделанные клиентом заказы.
Денормализация — процесс противоположный нормализации.
OLTP придерживаются принципов нормализации, OLAP — денормализации.
Простой пример этих моделей БД на заказах клиентов в магазине.
В базах данных OLAP в центре находится таблица фактов, в которой находятся все показатели (сумма, кол-во) и ссылки на справочники.
А в OLTP одна таблица цепляется за другую без наличия общего связующего звена.
Практический пример , почему для аналитики лучше использовать OLAP.
Допустим, мы хотим найти клиентов, которые совершили больше всего покупок (в денежном эквиваленте), чтобы дать им скидку на будущие покупки.
Если использовать OLTP систему, то нужно использовать справочники:
Клиент — Заказ — Заказанный товар — Товар — Цена на товар
Если воспользоваться OLAP, то понадобится только:
Таблица фактов — Клиент — Цена на товар.
Количество используемых таблиц меньше, производительность лучше, скорость выше.
В OLAP делать insert гораздо сложнее, чем в OLTP
На примере описанном выше попробуем разобраться, как добавить новый заказ в OLAP и OLTP.
В OLTP нужно заполнить 2 таблицы Заказ и Заказанный товар. Для этого необходимо:
1. найти или добавить нового клиента, который сделал заказ, в таблице Клиент
2. найти сотрудника, который составил заказ в таблице Сотрудник
3. добавить запись в таблицу Заказ
4. найти артикул товара в таблице Товаров
5. добавить запись в таблицу Заказанный товар
Итого в запросе базы OLTP будет использоваться 5 таблиц.
В OLAP нужно заполнить только одну таблицу Фактов, но для этого нужно выбрать значения ИД всех справочников:
1. найти или добавить нового клиента в таблице Клиент
2. найти сотрудника в таблице Сотрудник
3. добавить заказ в таблицу Заказ
4. найти товар в таблице Товар
5. найти цену на товар, актуальную на дату составления заказа, в таблице Цена на товар
6. найти склад, на котором хранится товар, в таблице Склад
7. вставить запись в таблицу Фактов.
Итого в запросе базы OLAP будет использоваться 7 таблиц.
Это далеко не самый сложный пример сравнения. Здесь мы рассматривали пример OLAP схемы звезда . Более сложная схема снежинка еще более затрудняет ввод данных и еще больше ускоряет и упрощает выборка данных из таблиц.
Если будет интересно, в следующих статьях расскажу что это за схемы и с чем их лучше есть.
Олап системы это
А.Н.Андреев, Рязанский государственный радиотехнический университет
Введение
Целью работы является классификация расширений OLAP-систем вида xOLAP (eXtensible OLAP). Данный подход к классификации подчеркивает, с одной стороны, единство OLAP-систем на основе извлечения данных из многомерных построений, с другой стороны, расширяющийся спектр их разнообразных функциональных особенностей [1]. Данная классификация позволит ориентироваться в существующих моделях OLAP, а также помогать при выборе OLAP-системы.
Прежде чем переходить к классификации OLAP-систем, рассмотрим само понятие OLAP, а также обсудим, какие системы попадают в этот класс.
Термин OLAP введён в 1993 г. Э. Коддом (Edgar Codd) [2]. Цель OLAP-систем – облегчение решения задач анализа больших объемов данных. Кодд сформулировал 12 признаков OLAP-данных. В дальнейшем Найджел Пендс (Nigel Pendse) переформулировал 12 правил Кодда в более ёмком тесте FASMI (Fast Shared Multidimensional Information) – Быстрый анализ разделяемой многомерной информации [3]. Большинство существующих OLAP-систем удовлетворяет всем этим признакам.
Рассмотрим подробнее различные модели OLAP, относящиеся к xOLAP, а также отметим их некоторых представителей. Оговоримся, что некоторые ранее известные поставщики продуктов с OLAP-функциональностью на данный момент не существуют, либо поглощены другими компаниями, либо изменили наименование своего продукта. Включение таких продуктов в рассматриваемый материал отражает вехи истории развития систем класса OLAP.
ROLAP, Relational OLAP – реляционный OLAP
Когда человек, принимающий решение, запрашивает значение меры для определенного набора элементов измерения, ROLAP-система проверяет, указывают ли эти элементы на агрегат или на значение самого нижнего уровня иерархии (листовое значение). Если указан агрегат, то значение выбирается из реляционной таблицы. Если выбрано листовое значение, то значение берется из витрины данных.
Благодаря реляционным таблицам, архитектура ROLAP позволяет хранить большие объемы данных. Поскольку в архитектуре ROLAP листовые значения берутся непосредственно из витрины данных, то возвращаемые ROLAP-системой листовые значения всегда будут соответствовать актуальному на данный момент положению дел. Другими словами, ROLAP-системы лишены запаздывания в части листовых данных.
Достоинства этого класса систем:
- возможность использования ROLAP с хранилищами данных и различными OLTP-системами;
- возможность манипулирования большими объемами данных; объем данных могут ограничивать только лежащие в основе ROLAP системы реляционных баз данных, подход ROLAP сам по себе не ограничивает объем данных;
- безопасность и администрирование обеспечивается реляционными СУБД.
Недостатки:
- получение агрегатов и листовых данных происходит медленнее, чем, например, в MOLAP и HOLAP (см. ниже);
- функциональность систем ограничивается возможностями SQL, так как аналитические запросы пользователя транслируются в SQL-операторы выборки;
- сложно пересчитывать агрегированные значения при изменениях начальных данных;
- сложно поддерживать таблицы агрегатов.
Представители: Пионером ROLAP был продукт Metaphor компании Metaphor Computer Systems, появившийся в 80-х годах. Также выделим DSS Suite фирмы MicroStrategy, MetaCube фирмы IBM Informix, Platinum Beacon от Platinum, Brio, Business Objects, DecisionSuite компании Information Advantage. На современном этапе развития ROLAP отметим Mondrian, JasperAnalysis, MicroStrategy 9, Tableau Software, Cognos Powerplay, Microsoft Analysis Services.
MOLAP, Multidimensional OLAP – многомерный OLAP
Для загрузки MOLAP-системы требуется дополнительное время на копирование в многомерную базу всех листовых данных. Поэтому возникают ситуации, когда листовые данные MOLAP-системы оказываются рассинхронизированными с данными в витрине данных. Таким образом, MOLAP-системы вносят запаздывание в данные нижнего уровня иерархии.
Архитектура MOLAP требует большего объема дискового пространства из-за хранения в многомерной базе копий листовых данных. Но, несмотря на это, объем дополнительного пространства обычно не слишком велик, поскольку данные в MOLAP хранятся исключительно эффективно. Достоинства MOLAP-систем:
- все данные хранятся в многомерных структурах, что существенно повышает скорость обработки запросов;
- доступны расширенные библиотеки для сложных функций оперативного анализа;
- обработка разреженных данных выполняется лучше, чем в ROLAP.
Недостатки:
- данные куба «оторваны» от базовой таблицы; необходимы специальные инструменты для формирования кубов и их пересчёта в случае изменения базовых значений;
- сложно изменять измерения без повторной агрегации.
Представители: Cognos Powerplay, Oracle OLAP Option, Oracle Essbase, Microsoft Analysis Services, TM1, Palo, IdeaSoft O3.
HOLAP, Hybrid OLAP – гибридный OLAP
В HOLAP-системах структура куба и предварительно обработанные агрегаты хранятся в многомерной базе данных. Это позволяет обеспечить быстрое извлечение агрегатов из структур MOLAP. Значения нижнего уровня иерархии в HOLAP остаются в реляционной витрине данных, которая служит источником данных для куба.
HOLAP не требует копирования листовых данных из витрины, хотя это и ведет к увеличению времени доступа при обращении к листовым данным. Данные в витрине доступны аналитику сразу после обновления. Таким образом, HOLAP-системы не вносят запаздывания в работу с данными нижнего уровня иерархии. По сути, HOLAP жертвует скоростью доступа к листовым данным ради устранения запаздывания при работе с ними и ускорения загрузки данных. В связи с этим HOLAP проигрывает по скорости MOLAP.
К достоинствам подхода можно отнести комбинирование технологии ROLAP для разреженных данных и MOLAP для плотных областей, а к недостаткам – необходимость поддерживания MOLAP и ROLAP.
Представители: Microsoft Analysis Services, MicroStrategy, IBM DB2 OLAP Server, Sagent Holos.
DROLAP, A Dense-Region Based Approach to OLAP – OLAP, основанный на плотных областях
Основой DROLAP системы является использование плотных областей (dense regions) в кубах данных. Для этого используется алгоритм EDEM (Efficient Dense Region Mining). Также подход DROLAP лучше управляет не только дисковым пространством, но и кластеризованными многомерными данными [10].
Представители: Модель DROLAP создавалась в рамках исследовательского проекта; коммерческая реализация отсутствует.
OOLAP, Object-relational OLAP – объектно-реляционный OLAP
RTOLAP, R-ROLAP или Real-time ROLAP – ROLAP реального времени
RTOLAP отличается от ROLAP, в основном, тем, что для хранения агрегатов не создаются дополнительные реляционные таблицы, а агрегаты рассчитываются в момент запроса.
Только явно введенные данные сохраняются в многомерном кубе. При выполнении запроса пользователя сервер выбирает данные либо рассчитывает значения. Все вычисления выполняются по требованию, а все данные находятся в основной памяти [1].
Достоинства подхода RTOLAP:
- не существует угрозы «взрыва» данных, так как в кубе не сохраняются предварительно вычисленные значения;
- вычисления по требованию позволяют не перегружать основную память RAM.
Недостатки:
- ограниченность хранения и обработки куба данных объемом основной памяти;
- снижение скорости обработки из-за вычислений по требованию.
Представители: Applix TM1, Palo, Acinta.
In-memory OLAP
В подходе In-memory OLAP используются преимущества основной памяти. Обеспечивается некоторая промежуточная система баз данных, которая обрабатывает запросы. Эта промежуточная база данных хранится в памяти компьютера, что позволяет избежать задержек из-за обращений к диску [1].
Представители: In-memory ROLAP MicroStrategy 9. In-memory MOLAP Cognos TM1. Также выделяют Palo, Tibco Spotfire, QlikView.
DOLAP, Desktop OLAP – настольный OLAP
Достоинства подхода DOLAP:
- дружественный (user friendly) подход для манипулирования данными в локальном режиме;
- высокая скорость обработки запросов;
- низкая стоимость;
- удобный инструмент для пользователей, которые не могут постоянно поддерживать соединение с хранилищем данных;
- наиболее простое развертывание продуктов из всех подходов к организации OLAP.
Недостатки:
- ограниченная функциональность;
- ограничение на объем данных.
Представители: Cognos PowerPlay, Brio, Crystal Decisions, Hummingbird.
Application OLAP – прикладной OLAP
Представители: Приложение Comshare, которое дополняет продукт Comshare MPC функциональными возможностями OLAP.
WOLAP, Web-based OLAP – OLAP ориентированный на Web
При использовании таких систем значительно облегчается задача установки, конфигурирования и развертывания. Web-приложение выполняется на сервере, и поэтому на клиентской машине нужны только браузер и подключение к Intranet/Internet. Подобная стратегия развертывания особенно удобна для администраторов хранилищ данных, которым часто приходится работать с широким контингентом удаленных пользователей, что очень не просто при использовании традиционной клиент/серверной архитектуры [12].
К достоинствам подхода WOLAP можно отнести следующее:
- обучение OLAP сводится к минимуму за счет использования хорошо знакомых Internet-функций и методов навигации;
- обеспечивавется поддержка OLAP, независимая от платформы;
- развертывание программного обеспечения обходится крайне дешево.
Реализация решений WOLAP основывается на технологиях HTML, Java, ActiveX, а также их комбинациях.
Представители: MicroStrategy 7i, Business Objects WebIntelligence, Cognos PowerPlay Web Edition, Aperio от Influence Software.
Развитие прикладных информационных систем, появление новых типов данных заставляют поставщиков разрабатывать новые подходы к оперативной аналитической обработке данных. Рассмотрим тематические модели OLAP.
SOLAP, Spatial OLAP – пространственный OLAP
Представители: JMap Spatial OLAP, GeoMondrian.
SeOLAP, Semantic OLAP – семантический OLAP
Семантический OLAP нацелен на решение таких проблем. как семантическое управление для предотвращения «взрыва данных», преодоление «семантических разрывов OLAP» и т.д. Модель SeOLAP подходит для семантического управления данными, а также аналитической обработки данных Semantic Web (Семантический веб).
Mobile OLAP – OLAP для мобильных устройств
Представители: CubeView.
Рассматривая интерфейсы OLAP, вводят понятие Java OLAP или Java OLAP (JOLAP) API.
JOLAP – Java OLAP
Заключение
Такая классификация полезна пользователям, желающим получить представление о существующих моделях OLAP, а также о представителях той или иной модели.
Литература
1. Миронов А.А., Мордвинов В.А., Скуратов А.К. Семантико-энтропийное управление OLAP и модели интеграции xOLAP в SemanticNET (ONTONET). Информатизация образования и науки №2, 2009. С. 21-30.
3. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Методы и модели анализа данных: OLAP и Data Mining. – СПб.: БХВ-Петербург, 2004. – 336 с.
5. Celko Joe. Analytics and OLAP in SQL. Morgan Kaufmann, 2006. 208 p.
6. Ларсон Б. Разработка бизнес-аналитики в Microsoft SQL Server 2005. – СПб.: Питер, 2008. – 684 с.
8. Adrienne H. Slaughter. OLAP. 2004. – P. 23.
9. Nigel Pendse. The OLAP Survey 6 – Summary. November 2006. – P. 23.
10. David Wai-Lok Cheung, Bo Zhou, Ben Kao, Kan Hu, Sau Dan Lee. DROLAP — A Dense-Region Based Approach to On-Line Analytical Processing. Lecture Notes in Computer Science 1677, Springer, 1999. PP. 761-770.
12. Rob Mattison. Web Warehousing and Knowledge Management. Mcgraw-Hill, 1999. – 576 p.
14. S. Bimonte, A. Tchounikine, M. Miquel. Towards a Spatial Multidimensional Model. DOLAP, 2005. PP. 39-46.
15. Andreas S. Maniatis. The case for Mobile OLAP. EDBT Workshops, 2004. PP. 405-414.
Применение OLAP — систем
На данное время разработан довольно много аналитических систем, сконструированных с использованием OLAP-технологии (Нурегіоn OLAP, Elite OLAP, Oracle Express и много других). Рынок программных OLAP-продуктов постоянно расширяется. Современные системы оперативной аналитической обработки дают пользователям возможность решать ключевые задачи управления бизнесом-процессом, в частности прикладные программы Нурегіоn OLAP разрешают выполнять анализ прибыльности; анализ направлений развития продукции; анализ продажи; анализ положения на рынке; анализ ассортимента продуктов; анализ риска; анализ конкурентоспособности; складывания отчетов из производительности; моделирования сценария; анализ бюджета и прогнозов и т.п.
Следует отметить, что в соответствии с современными взглядами на создание информационных систем OLAP-системы должны базироваться на специальной базе данных — ХД.
В OLAP реализуется сложный интеллектуальный анализ данных. Возможность использования хорошо зарекомендовавших себя методов математической статистики, нейронных сетей, машинного обучения, визуализации данных, индукции правил, нечеткой логики, генетических алгоритмов и др. для решения задач подобного рода открыло новые возможности перед аналитиками, исследователями, а также теми, кто принимает решения — менеджерами и руководителями компаний. Сложность и разнообразие методов обработки данных требуют создания специализированных средств конечного пользователя для решения типовых задач анализа информации в конкретных областях. Поскольку эти средства используются в составе сложных многофункциональных систем поддержки принятия решений, они должны легко интегрироваться в подобные системы. Другими словами, вся эта сложная математика заботливо скрыта от конечного пользователя дружественным интерфейсом.
В OLAP-системах основное внимание уделено гибкости доступа и манипулирования информацией. На сегодняшний день большинство разработок в этой области относится к финансовой сфере, хотя возможно применение таких систем в различных областях деятельности человека.
Одним из первых пользователей технологии интеллектуального анализа данных стало федеральное правительство США. Оно применяет с 1996 года специализированное программное обеспечение, для выявления случаев уклонения от уплаты налогов и для обработки материалов перехвата информационного обмена других государств.
По оценкам специалистов, очень перспективно применение подобных систем и для решения задач защиты информации. Например, анализ подлинности электронных платежей, выявление случаев неоправданной «активности» легальных пользователей в сети до совершения ими нарушений, анализ действенности принятой политики безопасности и т.д.
OLAP в отличие от прочих способов автоматизации бизнес-деятельности дает возможность получить пользователю «на выходе» не готовое четко структурированное решение, выдаваемое после включения ранее настроенного мастера обработки форм, а своеобразный материал для творческой оценки существующей ситуации. Поэтому сфера применения OLAP-анализа обычно ограничивается менеджерским составом предприятий разных размеров, которому приходится часто заниматься тактическими и стратегическими задачами вроде анализа ключевых показателей деятельности и сценариев развития, маркетинговым и финансово-экономическим анализом групп товаров или услуг, а также долгосрочным прогнозированием работы предприятия или его подразделений.
Для этого пользователь OLAP-систем получает в руки мощный и главное очень гибкий инструмент создания различных отчетов по выбираемым им же разрезам и направлениям. При этом методики OLAP куда совершеннее привычных электронных таблиц, ведь помимо простых функций создания таблиц, графиков и диаграмм, OLAP-системы дают возможность получить обобщенные данные по самостоятельно выбранным критериям, моментально углубится в детали выбранных направлений, отфильтровать, сортировать или отбросить ненужные цифры или показатели.
Если менеджеру продаж компании требуется получить сезонные сводки динамики продаж выбранной категории товаров, система предложит ему всевозможные данные о продажах за месяц, квартал, год, а также найдет и проанализирует их зависимость от означенных факторов, скажем, времени проведения маркетинговых акций.
Кроме того, базируясь на одной лишь статистике продаж, OLAP-система может выявить эффективность работы разных подразделений компании, в том числе и в разрезе географической иерархии их взаимодействия. При этом параметры, характеризующие успешность подразделений, выбираются менеджером самостоятельно и в ряде случаев могут стать инструментом мотивации успешного персонала.
Ниже перечислены наиболее важные сферы применения OLAP-технологий.
Сферы применения OLAP-технологий:
Продажи
Ключевой вопрос отдела сбыта любого предприятия: «Какое количество изделий продано?», «На какую сумму реализовано?» расширяются по мере усложнения бизнеса и накопления исторических данных до некоторого множества факторов, или разрезов: регион поставок, .в прошлом месяце, квартале, по сравнению с нынешним,. через канал сбыта А, по сравнению с каналом Б и т.д. Ответы на подобные вопросы необходимы для принятия управленческих решений: об изменении ассортимента, цен, закрытии и открытии филиалов, расторжении и подписании договоров с дилерами, проведения или прекращения рекламных кампаний и т.д.
Закупки
Задача обратно противоположная анализу продаж. Многие предприятия закупают комплектующие и материалы у поставщиков. Торговые предприятия закупают товары для перепродажи. Возможных задач при анализе закупок множество, от планирования денежных средств на основе прошлого опыта, до контроля размеров поставок различных поставщиков.
Маркетинг
Под маркетинговым анализом имеется ввиду только область анализа покупателей или клиентов-потребителей услуг. Например, для розничной торговли задачей анализа является правильное позиционирование товара, выявление групп покупателей для целевой рекламы, оптимизация ассортимента. Например, если выясняется, что телефонами темно-серого цвета стоимостью более $500 пользуются исключительно мужчины старше 25 лет, то стоит изобразить в рекламе таких телефонов вместо девушек одного преуспевающего бизнесмена. Это очень грубый пример, но известно, что маркетинговый анализ находится на грани между сложной наукой и малообъяснимым искусством. Поэтому задача OLAP в данном случае — дать пользователю инструмент быстрого получения ответов на вопросы, интуитивно возникающие по ходу анализа данных.
Движение денежных средств
Могут анализироваться денежные обороты безналичных и наличных средств в разрезе бизнес-операций, контрагентов, валют и времени с целью оптимизации потоков, обеспечения ликвидности, и т.д. Состав измерений сильно зависит от особенностей бизнеса, отрасли и т.д.
Бюджет
Одна из самых перспективных областей применения OLAP-технологий — ни одна современная система бюджетирования не считается завершенной без наличия в ее составе OLAP-инструментария для анализа бюджета. Большинство бюджетных отчетов легко строятся на основе OLAP-систем. При этом отчеты отвечают на очень широкую гамму вопросов: анализ структуры расходов и доходов, сравнение расходов по определенным статьям у разных подразделений, анализ динамики и тенденций расходов на определенные статьи, анализ себестоимости и прибыли.
Финансовая отчетность
Технологично построенная система отчетности есть ни что иное, как набор именованных показателей со значениями на дату, которые требуется сгруппировать и просуммировать в различных разрезах для получения конкретных отчетов. Когда это так, то отображение и печать отчетов наиболее просто и дешево реализуются в OLAP-системах. Некоторые страны уже перешли на такую технологию сбора данных. В некоторых отечественных контролирующих органах существуют планы перехода от ГОСТ-овских стандартов отчетов с многоэтажными шапками и алгоритмами типа «Итого, исключая строку 234 и включая строку 598 из отчета №987» к системе к сбору показателей и выпуску отчетов по OLAP-технологии.
Результаты социологических опросов
Возможно, что в этой области существуют тонкие нюансы, которые следует знать при решении конкретных задач, но в первом приближении кажется, что OLAP исключительно хорошо подходит для представления и анализа результатов социологических опросов.
Объемы производства
Это еще один пример статистического анализа. Таким образом, можно анализировать объемы выращенного картофеля, выплавленной стали, сваренного пива и пр.
Потребление расходных материалов
Например, имеется завод, состоящий из десятков цехов, в которых расходуются охлаждающие, промывочные жидкости, масла, ветошь, наждачная бумага — сотни наименований расходных материалов. Для точного планирования, оптимизации издержек требуется тщательный анализ фактического потребления расходных материалов.
Заработная плата
Анализ расходов на зарплату, сравнение расходов по специальностям, филиалам, людям, динамика фонда ЗП.
Текучесть кадров на предприятии
Анализ текучести кадров в отделе, цехе, филиале по предприятию в целом в разрезе профессий, уровня образования, пола, возраста, времени.
Пассажирские перевозки
Анализ количества проданных билетов и сумм в разрезе сезонов, направлений, видов вагонов (классов), типов поездов (самолетов).
Грузовые перевозки
Анализ объемов перевозок, платы в разрезе сезонов, направлений, видов вагонов, грузов, грузоотправителей, грузополучателей, станций отправления, станций получения.
Простои транспорта (вагонов, самолетов, пароходов, грузовиков)
Анализ времени простоя (полученных штрафов) в разрезе причин (ремонт, отказ от погрузки-разгрузки), клиентов, исполнителей, железнодорожных станций (вокзалов, гаражей, аэропортов), типов грузов.
Заболеваемость персонала (учащихся, трудящихся)
Измерения -категории сотрудников (граждан), регион, отдел, профессия, возраст, дата. Факт -количество дней в году, в течение которых люди были не-трудоспособны.
Выбор недвижимости (офисов, складов, квартир)
Измерения -обычные для этого рынка. Город, Район, Количество комнат, Расстояние до метро, Этаж, Тип дома, Дата и т.д. Фактов три -средняя цена, максимальная цена, минимальная цена. Манипулируя измерениями, покупатель может определиться со своими возможностями, а продавец проанализировать зависимости цен, динамику цен и назначить правильную цену.
Урожайности агрокультур
Измерения — Сорт, Регион, Почва, Удобрение, Средняя температура воздуха, уровень осадков, Год, другие факторы, влияющие на урожайность. Факт -количество центнеров с гектара. Анализ позволит выявить лучшие сорта для данного региона, лучшие удобрения для данной почвы и прочие зависимости.
Источники:
http://studopedia.ru/12_214151_OLAP-sistemi.html
http://www.kpms.ru/Automatization/OLAP_system.htm
http://zen.yandex.ru/media/id/5aef49c279885e47d5eb6199/5bf5557e5184cc00a99028ff
http://citforum.ru/consulting/BI/xolap_classification/
http://itstan.ru/it-i-is/primenenie-olap-sistem.html