Навигация:  Корпоративная Аналитика > Установка системы >

OLAP Выгрузка Схемы

ПредыдущаяВернуться к началу главыСледующая

OLAP Выгрузка Схемы - обработка, с помощью которой в XML файл выгружается структура метаданных из . В сформированном файле, помимо описания базы данных , также содержатся параметры OLTP-сервера (в который затем будут загружаться данные) и OLAP-сервера (в котором будет формироваться гиперкуб). В обработке может быть настроен автоматический запуск генератора пакетов DTSX для последующей загрузки данных в базу OLAP и формирования гиперкуба.

Перед настройкой обработки рекомендуется ознакомиться с принципом работы ИНТАЛЕВ: Корпоративная Аналитика.

Форма обработки содержит пять вкладок, на которых настраиваются основные параметры для выгрузки данных и формирования XML-файла.

 

Форма обработки OLAP. Выгрузка Схемы. Вкладка Режимы выгрузки

Форма обработки OLAP. Выгрузка Схемы. Вкладка Режимы выгрузки

 

oРежимы выгрузки
oКуб показателей - в данной области вкладки Режимы выгрузки производится выбор и настройка кубов данных на основе показателей управленческой отчетности, если их нужно формировать в результате выгрузки.
Формировать куб показателей управленческой отчетности - если установить данный флажок, то будет формироваться многомерный куб данных по значениям показателей управленческой отчетности. Флажок виден только при использовании бизнес-версии системы ИНТАЛЕВ: Корпоративный менеджмент.
Использовать режим совместимости с Standard Edition SQL - в случае, когда установлена версия Enterprise Edition SQL, данный флажок позволяет дополнительно выгружать данные в режиме совместимости с версией Standard Edition SQL (актуально для ИНТАЛЕВ: Корпоративная Аналитика версии 6.1). Если флажок установлен, то версия Enterprise будет работать как версия Standard.

 

Куб данных, выгруженный для версии Enterprise Edition, работает значительно быстрее, но преимуществом выгрузки в режиме Standard Edition является возможность детализации с точностью до дней (детализация Неделя - День). Поэтому целесообразно использовать режим совместимости с версией Standard Edition SQL, и, когда необходимо уточнять информацию по дням, работать с выгрузкой для версии Standard, а, когда же более важным является быстродействие и глубокая детализация данных не нужна, то использовать выгрузку в режиме Enterprise Edition.

 

Ограничить расчет показателями в группе - в данном поле можно выбрать группу показателей из справочника Показатели, и тогда расчет значений и формирование куба показателей будут производиться только по этой группе, не занимая времени для расчета всех остальных показателей, если они не нужны. При использовании данной возможности нужно иметь в виду, что в формулах расчета не должны использоваться показатели из других групп.
oКубы проводок по управленческим планам счетов
Формировать управленческие кубы - данный флажок используется, если при работе в конструкторе управленческой отчетности применяется построение отчета на сервере базы OLAP (то есть используется атрибут OLAP на форме конструктора отчетов). Если установить данный флажок, то будет формироваться многомерный куб данных по проводкам управленческих планов счетов. Этот куб данных содержит обороты по счетам и рассчитанные остатки в разрезе счетов и аналитик. Если работа ведется только в системе Excel, то не рекомендуется устанавливать этот флажок, так как построение куба для конструктора управленческой отчетности в этом случае только замедлит работу системы, рассчитывая остатки.

 

Хотя бы один из флажков Формировать куб показателей управленческой отчетности или Формировать управленческие кубы должен быть установлен, то есть должен формироваться минимум один из предложенных кубов.

 

oРежим - в данной области необходимо установить режим выгрузки данных из . От выбранного режима зависят дальнейшие действия по настройке и непосредственный механизм действия обработки OLAP Выгрузка Схемы. Существует два режима выгрузки данных:
Полная выгрузка базы - если атрибут установлен, то при запуске обработки произведется полная выгрузка базы в XML файл, то есть будет выгружена вся структура метаданных из . Этот вариант обеспечивает целостность выгруженных данных, хоть и является более затратным по времени, чем выгрузка только изменений.
Выгрузка изменений - если же установлен данный атрибут, то в XML файл будут выгружаться только изменения, произведенные в базе, а данные, не подвергшиеся изменению, выгружены не будут. Этот вариант является более быстрым, чем полная выгрузка базы, однако, менее надежным.

Ввиду существенных различий в назначении и применении режима полной выгрузки и режима выгрузки изменений, рассмотрим каждый из них подробно.

 

1. Полная выгрузка базы

 

Для полной выгрузки базы необходимо установить атрибут Полная выгрузка базы:

 

Обработка OLAP Выгрузка Схемы. Вкладка Режимы выгрузки

Обработка OLAP Выгрузка Схемы. Вкладка Режимы выгрузки

 

Дальнейший процесс настройки полной выгрузки и внешний вид обработки описаны ниже:

 

oБазы - на данной вкладке настраивается информационная база , из которой будет производиться выгрузка, а также параметры базы обработки выгруженных данных (SQL-хранилища).

 

Обработка OLAP Выгрузка Схемы. Вкладка Базы

Обработка OLAP Выгрузка Схемы. Вкладка Базы

 

Строка соединения с текущей базой - описывает подключение к SQL базе ИНТАЛЕВ: Корпоративные Финансы для чтения данных. При нажатии кнопки выбора открывается форма Свойства связи с данными. На вкладке Поставщик данных необходимо выбрать Microsoft OLE DB Provider for SQL Server.

 

Свойства связи с данными. Вкладка Поставщик данных

Свойства связи с данными. Вкладка Поставщик данных

 

На вкладке Подключение в поле Выберите или введите имя сервера указывается сервер, на котором расположена база . Также настраивается способ аутентификации пользователя на сервере. Об этом подробно написано ниже.

 

Свойства связи с данными. Вкладка Подключение

Свойства связи с данными. Вкладка Подключение

 

SQL-сервер позволяет 2 вида аутентификации:
1. Windows Authentication mode.
2. SQL Server and Windows Authentication mode. Второй режим называется смешанным режимом аутентификации и позволяет использование SQL логинов.
Режим аутентификации в свойствах сервера на вкладке Security.

 

В случае использования смешанного режима аутентификации, при заполнении параметра Строка соединения с текущей базой 1С на вкладке Дополнительно активен флажок Разрешить сохранение пароля. В случае, если этот флажок не устанавливать, то в сформированную строку подключения к SQL базе ИНТАЛЕВ: Корпоративные Финансы не попадет пароль, и попытка соединиться с источником (во время выгрузки) завершится ошибкой. Поэтому при использовании смешанного режима аутентификации (SQL Server and Windows Authentication mode) настоятельно рекомендуется устанавливать флаг Разрешить сохранение пароля.

В случае же использования Windows логина при Windows Authentication mode или SQL Server and Windows Authentication mode пароль не нужен.

В поле Выберите базу данных на сервере определяется выгружаемая база.

 

oПараметры SQL хранилища для OLAP - это группа параметров, связанная с промежуточной SQL базой хранилища данных.
Сервер - описывает подключение к SQL базе модуля ИНТАЛЕВ: Корпоративные Финансы для чтения данных. При нажатии кнопки выбора открывается форма Свойства связи с данными. На вкладке Поставщик данных необходимо выбрать Microsoft OLE DB Provider for SQL Server.
Провайдер - автоматически заполняется значением SQLOLEDB.1 при указании строки соединения. Это значение необходимо оставить.
База - в данном поле указывается наименование SQL базы хранилища данных.
Начальный размер базы - в поле в мегабайтах указывается предполагаемый размер базы хранилища данных. Если этого количества памяти не хватит, то база будет увеличиваться автоматически до необходимого размера по частям, равным 10% от указанного начального размера базы. Это занимает определенное время при выгрузке данных, поэтому с целью повышения скорости работы рекомендуется указывать как можно более точный начальный размер базы. По умолчанию предлагается значение 100 Мб.

Также указывается способ аутентификации пользователя для SQL базы хранилища данных:

Пользователь - в поле вводится имя пользователя для аутентификации.
Пароль - в поле указывается пароль пользователя для аутентификации.
Интегрированная безопасность SQL - установка данного атрибута предполагает, что пользователь, от имени которого ведется работа в операционной системе в данный момент времени, имеет права администратора на SQL-сервере.
oПараметры OLAP (Analysis Services) - область содержит параметры для настройки OLAP-сервера, в котором будет создаваться куб.
Сервер - в поле настраивается сервер Analysis Services, на котором будет создана (или обновлена) база данных OLAP. Он должен находится на одном компьютере с SQL-сервером хранилища данных (вместе они формируют так называемый аналитический сервер).
База - в данном поле задается название создаваемой (или обновляемой) базы OLAP Analysis сервера. Имя базы нужно указывать без служебных символов (в том числе точек). В противном случае возникнет ошибка, и данные не будут выгружены.
oГенератор пакетов Integration Service - на вкладке настраиваются параметры запуска генератора пакетов DTSX (Integration Services).

 

Форма обработки OLAP Выгрузка Схемы. Вкладка Генератор пакетов Integration Services

Форма обработки OLAP Выгрузка Схемы. Вкладка Генератор пакетов Integration Services

 

Запустить генератор локально - если атрибут установлен, то генератор пакетов будет запущен на данном компьютере локально. Для реализации этой возможности необходимо, чтобы на компьютере, на котором будет производиться запуск генератора, был установлен SQL 2005. Cформированные генератором пакеты будут сразу же запускаться на выполнение службой MS Integration Services (должна быть установлена на компьютере), то есть будут созданы базы OLAP.
Запустить генератор на сервере хранилища через агента - если атрибут установлен, то выгрузка данных будет осуществляться на сервере хранилища SQL, а XML файл будет формироваться на сервере . Это реализовано с помощью механизма агент SQL-сервер. Такой механизм освобождает от необходимости установки на сервер SQL.

Для того чтобы можно было запускать генератор на сервере хранилища через агента, ему нужно предварительно инициализировать задание. Это реализуется нажатием кнопки:

Инициализировать агента - при нажатии кнопки будет запущен механизм инициализации заданий агента. Это означает, что агенту будет назначено задание для выполнения полной выгрузки базы в XML файл. Выгрузка данных будет осуществляться на сервере хранилища SQL, тогда как XML файл будет сформирован на сервере .

 

Следующие атрибуты обработки зависят от способа запуска генератора пакетов. Рассмотрим оба случая:

1. Случай локального запуска генератора:

Каталог с файлом генератора Cf2Olap.exe - в этом поле нужно указать каталог на локальном компьютере, в котором размещен файл запуска генератора пакетов - Cf2Olap.exe (этот атрибут указывается для того, чтобы после формирования XML файла обработка сразу же вызывала на выполнение генератор пакетов). По умолчанию, при использовании MS SQL Server 2005 файл запуска генератора пакетов размещается по пути C:\Program Files(x86)\ИНТАЛЕВ\Корпоративная аналитика, а при использовании MS SQL Server 2008 - C:\Program Files(x86)\ИНТАЛЕВ\Корпоративная аналитика\SQL2008.
Каталог для передачи в генератор из 1С xml описания куба - путь к локальному каталогу, в который будет помещен XML файл, формируемый обработкой.

 

Обработка OLAP Выгрузка Схемы. Генератор пакетов Integration Services(случай запуска на локальном компьютере)

Обработка OLAP Выгрузка Схемы. Генератор пакетов Integration Services(случай запуска на локальном компьютере)

 

2. Случай запуска генератора на сервере хранилища через агента:

Локальный каталог сервера с файлом генератора Cf2Olap.exe - в поле указывается локальный каталог сервера, в котором размещен файл запуска генератора пакетов - Cf2Olap.exe (этот атрибут указывается для того, чтобы после формирования XML файла на сервере обработка сразу же вызывала на выполнение генератор пакетов). По умолчанию, при использовании MS SQL Server 2005 файл запуска генератора пакетов размещается по пути C:\Program Files(x86)\ИНТАЛЕВ\Корпоративная аналитика, а при использовании MS SQL Server 2008 - C:\Program Files(x86)\ИНТАЛЕВ\Корпоративная аналитика\SQL2008.
Локальный каталог на сервере для выгрузки XML описания куба - путь к каталогу на сервере, в который будет выгружен XML файл с сервера .
Каталог загрузки в генератор XML описания куба, доступный с сервера - путь к каталогу, доступному с сервера, в который будет помещен XML файл, формируемый обработкой.

Также при запуске генератора на сервере хранилища через агента в нижней части вкладки Генератор пакетов Intergration Services выводятся информационные сообщения о состоянии задания на определенное время, времени его предыдущего выполнения и результате завершения. Чтобы посмотреть информацию о состоянии задания в текущий момент времени, достаточно нажать кнопку с пиктограммой . Тогда информация о состоянии задания будет обновлена.

 

Обработка OLAP Выгрузка Схемы. Генератор пакетов Integration Services(случай запуска на сервере хранилища через агента)

Обработка OLAP Выгрузка Схемы. Генератор пакетов Integration Services(случай запуска на сервере хранилища через агента)

 

oПользовательский MDX - на вкладке реализована возможность дополнительно настраивать выгрузку данных, полученных путем определенных расчетов и выражений.

В частности, очень часто необходимо выгружать данные не только по конкретным сценариям, но и разности данных по этим сценариям (например, для сценариев План и Факт). Настроить такую возможность очень просто - это реализуется следующим образом: для начала нужно нажать кнопку Добавить разность сценариев. При нажатии кнопки пользователю будет поочередно предложено выбрать сценарии, составляющие выражение разности. После того, как был совершен выбор, автоматически будут сформированы и добавлены в поле слева выражения на языке MDX.

 

Обработка OLAP Выгрузка Схемы. Пользовательский MDX

Обработка OLAP Выгрузка Схемы. Пользовательский MDX

 

Назначение языка MDX (Multidimensional Expressions) — предоставить в распоряжение разработчиков средство для более простого и эффективного доступа к многомерным структурам данных. В Microsoft Analysis Services язык MDX используется для формирования запросов и описания алгоритмов получения вычисляемых значений. Этот язык можно сравнить с языком SQL. Но если SQL используется для извлечения реляционных данных, то MDX служит для извлечения многомерных данных.

 

При запуске обработки эти выражения будут добавлены в программный код для формирования куба показателей OLAP, и результаты этих выражений будут выгружены в многомерный куб данных наравне с остальными данными.

Для того чтобы увидеть эти данные в Обозревателе куба OLAP либо в системе MS Excel, необходимо провести предварительную настройку.

1.В случае работы в Обозревателе куба OLAP, нужно зайти в контекстное меню (правой кнопкой мыши), выбрать пункт Commands and Options и убедиться в том, что установлен флаг Calculated items (он установлен по умолчанию). Если этот флажок не установлен, его необходимо установить.

 

Commands and Options. Report

Commands and Options. Report

 

В этом случае выгруженные результаты вычисляемых выражений будут отображены в Обозревателе:

 

Отображение результатов выражений в Обозревателе куба OLAP

Отображение результатов выражений в Обозревателе куба OLAP

 

В случае необходимости, можно убрать отображение результатов вычисляемых выражений с помощью настройки фильтров отображения (для этого достаточно убрать флаги напротив этих полей в настройке фильтров).

 

2.В случае работы в системе MS Excel, необходимо зайти в контекстное меню (правой кнопкой мыши), выбрать пункт Параметры сводной таблицы и установить флаг Показывать вычисленные компоненты с сервера OLAP (по умолчанию этот флаг не установлен!). После этого результаты выражений будут отображены в таблице Excel:

 

Настройка и отображение результатов выражений в MS Excel 2007

Настройка и отображение результатов выражений в MS Excel 2007

 

В случае работы с системой MS Excel 2007, при настройке фильтров отображения нет возможности "спрятать" результаты вычисляемых выражений (флаги этих полей установлены и являются недоступными для изменения).

 

Стоит заметить, что при помощи вкладки Пользовательский MDX можно настраивать выгрузку не только разности данных по сценариям, но и других вычисляемых данных. Обладая определенными знаниями языка MDX, можно вручную вводить в поле выражений необходимые выражения по вычислению нужных данных, и они также будут выгружены в куб.

 

2. Выгрузка изменений

 

Идеология выгрузки изменений описана в статье Режим выгрузки изменений.

 

Подготовка к выгрузке изменений

Для того, чтобы система могла выполнять выгрузку изменений, необходимо выполнить несколько подготовительных шагов.

1.Включение регистрации изменений. Чтобы иметь возможность пользоваться выгрузкой изменений, нужно предварительно включить их регистрацию. Для этого следует:
Открыть Меню: Операции >> План обмена >> Инкрементальное обновление OLAP;
Нажать кнопку Включить регистрацию изменений.

 

Форма Инкрементальное обновление OLAP. Включение регистрации изменений

Форма Инкрементальное обновление OLAP. Включение регистрации изменений

 

2.Запуск координатора распределенных транзакций - выгрузка изменений производится с помощью службы под названием Координатор распределенных транзакций. Поэтому на данном этапе необходимо открыть службы SQL-сервера, на котором размещено хранилище, и запустить службу координатора распределенных транзакций. Рекомендуется также изменить тип запуска данной службы на Авто.

 

Координатор распределенных транзакций

Координатор распределенных транзакций

 

3.Выполнение полной выгрузки

После того как была включена регистрация изменений, обязательно должна быть произведена полная выгрузка базы. О том, как производить полную выгрузку, читайте в предыдущем разделе этой статьи.

 

Описание обработки и процесса выгрузки изменений

В случае выгрузки изменений внешний вид обработки OLAP Выгрузка Схемы слегка отличается от того, что мы имеем при полной выгрузке. Поэтому приводим полное описание интерфейса.

Итак, для того чтобы провести выгрузку изменений, на вкладке Режимы выгрузки нужно установить атрибут Выгрузка изменений. К этому моменту должны быть выполнены все этапы подготовки к выгрузке, указанные выше.

 

Обработка OLAP ВыгрузкаСхемы. Вкладка Режимы выгрузки (случай выгрузки изменений)

Обработка OLAP ВыгрузкаСхемы. Вкладка Режимы выгрузки (случай выгрузки изменений)

 

При установке атрибута Выгрузка изменений, в окне обработки появляется вкладка:

oНастройка выгрузки изменений - на этой вкладке производится настройка параметров выгрузки изменений.

 

Обработка OLAP ВыгрузкаСхемы. Вкладка Настройка выгрузки изменений (случай локального запуска пакета обновления)

Обработка OLAP ВыгрузкаСхемы. Вкладка Настройка выгрузки изменений (случай локального запуска пакета обновления)

 

oМетод запуска
Запустить пакет обновления локально - если атрибут установлен, то пакет обновления будет запущен на данном компьютере локально. Для реализации этой возможности необходимо, чтобы на компьютере, на котором будет производиться запуск пакета обновления, был установлен SQL Server 2005. Cформированные пакеты будут сразу же запускаться на выполнение службой MS Integration Services (должна быть установлена на компьютере), то есть будут обновлены базы OLAP.
Запустить пакет обновления на сервере хранилища через агента - если атрибут установлен, то выгрузка изменений будет осуществляться на сервере хранилища SQL, а XML файл будет обновляться на сервере . Это реализовано с помощью механизма агент SQL сервер. Такой механизм освобождает от необходимости установки на сервер SQL.

Для того чтобы можно было запускать пакет обновления на сервере хранилища через агента, ему нужно предварительно инициализировать задание. Это реализуется нажатием кнопки:

Инициализировать агента - при нажатии кнопки будет запущен механизм инициализации заданий агента. Это означает, что агенту будет назначено задание для выполнения выгрузки изменений базы в XML файл. Выгрузка изменений будет осуществляться на сервере хранилища SQL, тогда как XML файл будет сформирован на сервере .

 

Если план обмена инкрементальной выгрузки включался, а потом отключался, то необходимо заново выполнить инициализацию агента.

 

oПараметры SQL хранилища для OLAP - это группа параметров, связанная с промежуточной SQL базой хранилища данных.
Сервер - описывает подключение к SQL базе модуля ИНТАЛЕВ: Корпоративные Финансы для чтения данных. Здесь отображается имя сервера, использующегося при выполнении полной выгрузки базы после включения регистрации изменений.
База - в данном поле отображается наименование SQL базы хранилища данных.
Локальный путь размещения пакета обновления - в данном поле указывается локальный путь на компьютере к каталогу, в котором находится пакет обновления (сам пакет формируется во время полной выгрузки базы). Этот путь совпадает с путем к каталогу, в котором формируется .xml файл при полной выгрузке данных. В случае запуска пакета обновления не локально, а на сервере хранилища через агента, указывается не локальный путь размещения пакета обновления, а путь на сервере.

Кроме того, в случае запуска пакета на сервере через агента, в окне обработки выгрузки также отображаются информационные сообщения о состоянии задания на определенное время, времени его предыдущего выполнения и результате завершения. Чтобы посмотреть информацию о состоянии задания в текущий момент времени, достаточно нажать кнопку с пиктограммой . Тогда информация о состоянии задания будет обновлена.

 

Обработка OLAP ВыгрузкаСхемы. Настройка выгрузки изменений, случай запуска пакета обновления на сервере хранилища через агента

Обработка OLAP ВыгрузкаСхемы. Настройка выгрузки изменений, случай запуска пакета обновления на сервере хранилища через агента

 

Регулярный запуск

Пользователи -приложения в процессе работы постоянно изменяют данные информационной базы. Для того чтобы полученная при помощи OLAP отчетность была всегда актуальной, нужно регулярно производить синхронизацию данных между базами 1C и OLAP.

Выгрузка данных из 1C и их загрузка в OLAP занимает не более часа. Однако процедуру выгрузки/загрузки рекомендуется производить в промежуток времени, когда система не используется (например, ночью). Это связано с тем, что данные на сервере OLTP обновляются полностью, то есть OLAP база обновляется целиком, и в это время получение отчетности становится невозможным.

Запускать обработку OLAP Выгрузка Схемы на выполнение можно вручную либо автоматически. Для ручного запуска нужно в меню 1С выбрать пункт Файл >> Открыть, выбрать обработку и нажать кнопку Выполнить.

Более удобным является автоматический запуск обработки. Настроив OLAP Выгрузка Схемы в виде макроса, можно вызывать ее при помощи программ-планировщиков типа Мастера планирования заданий Windows (Windows Task Sheduler) автоматически раз в определенный промежуток времени.

Чтобы добавить обработку в макросы системы ИНТАЛЕВ: Корпоративные Финансы, нужно зайти в Конфигуратор. Спозиционировавшись на группе Обработки, необходимо нажать правую клавишу мыши и выбрать пункт Вставить внешнюю обработку.

 

Добавление обработки в макросы

Добавление обработки в макросы

 

Далее выбрать обработку, сохранить и обновить конфигурацию. В режиме Предприятие нужно обновить список макросов кнопкой Заполнить, после чего появиться макрос Система. Выгрузка данных в  OLAP.

 

Справочник макросов

Справочник макросов

 

После этого указываются параметры выполнения макроса (та же самая настройка параметров обработки).

 

Для регулярной инкрементальной выгрузки (выгрузки изменений) необходимо настроить отдельный макрос с параметрами для выгрузки изменений. Периодическое выполнение этого макроса настраивается аналогично изложенным выше рекомендациям.

 

См. также:

Режим выгрузки изменений
Принцип работы режима агента
Cf2Olap.exe