Базы данных и системы управления базами данных (СУБД). Автоматизированные статистические регистры.

Органами государственной статистики разработана система хранения и обработки на основе баз статистических данных.

Базы данных формируются и используются в процессе обработки статистической информации. В соответствии с этим базы данных можно классифицировать по их роли в процессе обработки на следующие группы функционально-ориентированных баз данных:

- базы данных, содержащие метаданные, используемые для обработки информации;

- оперативные базы данных, на основе которых проводится текущая обработка данных, т.е. ввод данных с бланков статистической отчетности или после загрузки данных из файлов, переданных объектами наблюдения в электронном виде, обработка данных текущего периода и выпуск регламентных таблиц;

- корпоративное хранилище статистических данных, центральная база данных длительного хранения, включающая в себя основополагающие показатели по всем видам деятельности. Технология создания хранилищ данных (Data Warehouse) применяется для эффективного хранения и использования интегрированных данных для решения аналитических задач;

- отраслевые (тематические) базы данных длительного хранения по отдельным темам или видам деятельности. Они являются подмножествами корпоративного хранилища данных, по отдельным темам содержат более широкий, по сравнению с центральной базой данных, состав показателей, больший набор разрезов данных, что необходимо для аналитическиой работы экономистов;

- базы данных готовых документов – документографические базы для распространения данных.

База метаданных. Статистические метаданные являются данными, характеризующими различные качественные аспекты статистических данных. Они описывают процессы получения и обработки статистической информации.

Формально метаданные делятся на два вида:

- неформализованные метаданные (описания);

- формализованные метаданные (классификации).

Метаданные будут включать описание (официальные термины) следующих типов объектов:

- область обследования;

- предмет обследования;

- ответственный персонал;

- круг объектов;

- показатели;

- классификации;

- процессы преобразования данных;

- статистические продукты.

База метаданных будет содержать наименования и определения всех типов объектов, которыми оперирует система статистики, а также описание методологии получения статистических продуктов. Описание процесса сбора информации также будет присутствовать в метаданных, как в области описания кодировки данных, так и в описании методологии сбора данных и их обработки.

Формализованные метаданные (классификации) являются неотъемлемой частью системы обработки статистических данных. Они описывают процесс получения информации и виды ее агрегации.

Формирование взаимосвязанных статистических баз данных для анализа и представления результатов обработки должно базироваться на использовании единого фонда нормативно-справочной информации (НСИ).

Развитие фонда НСИ должно проводиться по следующим направлениям:

- интеграция общегосударственных классификаторов в единую систему НСИ;

- совершенствование статистического регистра;

- создание каталога статистических показателей.

Нормативно-справочная информация ЕСИС должна базироваться на общегосударственных классификаторах технико-экономической и социальной информации. Для их ведения должна быть разработана система автоматизированного ведения.

В настоящее время в республике действует 17 общегосударственных классификаторов. Основными из них являются классификаторы, идентифицирующие статистические единицы и используемые при кодировании значений классификационных признаков статистических единиц, такие как:

ОКРБ 002-99 «Формы собственности»;

ОКРБ 003-94 «Система обозначений объектов административно-территориального деления и населенных пунктов";

ОКРБ 004-2001 «Органы государственной власти и управления»;

ОКРБ 018-99 «Юридические лица и индивидуальные предприниматели»;

ОКРБ 019-99 «Организационно-правовые формы юридических лиц и индивидуальных предпринимателей».

Общегосударственные классификаторы Республики Беларусь гармонизированы с международными классификациями в соответствии с установленными международными организациями правилами и рекомендациями.

Кодирование объектов классификации, для которых общегосударственные классификаторы Республики Беларусь не разработаны, должно осуществляться с использованием бывших общесоюзных классификаторов.

Применение локальных классификаторов не допускается.

Оперативные базы данных. Оперативные базы данных формируются по каждой работе, предусмотренной производственным планом статистических работ.

Оперативные базы данных являются входными базами микроданных и, как правило, содержат информацию по объектам статистического наблюдения за текущий и предыдущий периоды. Оперативные базы данных относятся к фактографическим базам, у которых единицей хранения является статистический показатель. Эти базы формируются и ведутся на всех уровнях обработки.

Отраслевые базы данных. Отраслевые (тематические) базы данных строятся как базы данных длительного хранения, объединяющие информацию по темам.

Отраслевые базы данных будут строиться на единых методологических и технологических принципах с использованием единого фонда НСИ.

Реализация отраслевых баз данных предполагает согласование и минимизацию одинаковой информации, хранящейся в оперативных базах данных.

Развитие отраслевых баз данных планируется за счет совершенствования системы показателей, характеризующих различные аспекты деятельности объектов наблюдения.

Для разработки статистического продукта необходима или агрегация первичных данных, или распространение данных выборки на всю популяцию, или специальный расчет, или другие, методологически определенные действия. Получив выходные данные по определенным алгоритмам, мы создаем выходные базы данных. Эти базы называются базами макроданных.

В отличие от оперативных баз данных отраслевые базы данных содержат как микроданные по объектам наблюдения, так и макроданные, полученные после формирования сводных (агрегированных) данных.

Базы макроданных позволяют более оперативно получать нужную агрегированную информацию, необходимую для аналитической работы экономистов.

Ведение отраслевых баз данных предполагается на областном и республиканском уровнях. Базы данных в центральном узле и областях будут синхронизироваться методом репликации данных.

Корпоративное хранилище статистических данных. Эффективное хранение и использование интегрированных данных для решения аналитических задач в информационной системе статистики организуется на основе создания хранилищ данных (Data Warehouse).

Корпоративное хранилище статистических данных или центральная база данных представляет собой интегрированный ресурс, предназначенный для хранения основополагающих показателей по всем видам деятельности за ряд лет.

Технология хранилищ данных позволит объединять информацию различных баз данных и эффективно использовать ее для анализа.

Создание хранилища данных предполагает реализацию возможности для пользователей проведения анализа данных из различных сфер статистики на протяжении определенного количества лет. Для ускорения процесса принятия решений данная технология должна снабжаться мощным аналитическим инструментом, так называемым – OLAP (Online Analytical Processing). Такой инструмент отвечает следующим требованиям:

- отвечает на запрос в считанные секунды;

- поддерживает мультиопределенные структуры;

- обеспечивает аналитические характеристики;

- легок в использовании;

- обеспечивает раздельное использование ресурсов.

- Oracle обладает таким инструментом – Oracle OLAP Services.

Хранилище данных должно содержать стабильные статистические данные. Его обновление будет производиться путем добавления новых данных к существующим.

Корпоративное хранилище статистических данных должно обеспечивать:

- накопление и хранение динамических рядов статистических показателей;

- подготовку в оперативном режиме сводных информационо-аналитических материалов;

- формирование сборников, бюллетеней и экспресс-информаций;

- формирование оперативных нерегламентных справок для органов власти;

- обеспечение доступа специалистов центрального аппарата Министерства к информации областных управлений;

- анализ данных и проведение дополнительных расчетов;

- формирование фрагментов базы данных для выпуска компакт-дисков и размещения на Интернет-сервере;

- подготовку таблиц для пополнения информационного фонда баз готовых документов (БГД) Министерства статистики и анализа Республики Беларусь.

База данных готовых документов. БГД предназначена для хранения и распространения готовых статистических материалов: таблиц, графиков, аналитических и методических материалов. БГД ориентирована как на статистиков-профессионалов, так и на широкий круг пользователей, по роду своей деятельности испытывающих потребность в статистических данных. Интерфейс программных средств БГД интуитивно понятен и удобен, позволяет начать работать с системой без специальной подготовки.

БГД обеспечивает хранение документов в разных форматах, имеет развитые средства поиска документов по атрибутам, словам, содержащимся в заголовках или текстах документов.

Важная особенность программных средств БГД – широкие возможности доступа к базам данных. Пользователи могут хранить базу данных на персональном компьютере или пользоваться базой, установленной в локальной сети, получать ее на компакт-дисках, иметь доступ к ней по выделенным или по телефонным каналам связи и через Интернет. Каждый вид доступа обеспечивают соответствующие программные модули, работающие с базами данных одинаковой структуры и имеющие практически одинаковый интерфейс и функциональность.

Системы управления базами данных строятся по стандартному принципу и включают стандартные набор элементов:

– диспетчерские системы;

– общая библиотека;

– средства переработки данных;

– первичная обработка данных;

– управление вводом, выводом;

– сервисные процедуры;

– актуализация данных.

Структура СУБД может быть представлена так: взять из конспекта и сделать ксерокопию.

Статистический регистр – это программно-технологический комплекс, обеспечивающий учет, обработку, анализ, накопление и хранение информации о субъектах учета (статистических единицах).

Основными задачами статистического регистра являются:

- формирование Генеральной совокупности объектов статистического наблюдения для организации и проведения статистических наблюдений, в том числе с использованием несплошных методов наблюдений;

- создание статистических субрегистров и баз данных для проведения различных структурных статистических наблюдений;

- создание нормативно-справочной информации для системы электронной обработки статистических данных;

- определение для каждого предприятия и организации состава форм государственной статистической отчетности;

- однозначная идентификация хозяйствующих субъектов и их основных характеристик в соответствии с группировками общегосударственных классификаторов для использования при заполнении постоянных реквизитов форм государственной статистической отчетности;

Субъектами учета в статистическом регистре являются:

- коммерческие и некоммерческие организации с правом юридического лица;

- обособленные подразделения коммерческих и некоммерческих организаций без права юридического лица, но имеющие самостоятельный баланс;

- обособленные подразделения коммерческих и некоммерческих организаций без права юридического лица, не имеющие самостоятельного баланса.

В РБ регистр статистической информации называется РЕСТАТ. Он создавался в два этапа.

Первый этап (1 полугодие 1996-1997 гг.) включал:

– подготовку системы документов;

– техническое обеспечение;

– программное обеспечение;

– информационное обеспечение;

– технологическое обеспечение;

– осуществление организационных мероприятий.

Второй этап (1998 1полугодие 1999):

– доработка интрументально-методологических материалов;

– включение системы функционирования РЕСТАТА в глобальную сеть Минстата;

– включение информации по дополнительным реквизитам субъектов учета в базу Рестата;

– создание баз данных отраслевых стат показателей;

– сдача в промышленную эксплуатацию.

Примерный перечень реквизитов субъектов Рестата:

1) идентификатор юридического лица (код по ОКПО);

2) наименование;

3) почтовый адрес;

4) адрес (юридический и фактический);

5) телефон;

6) код территории по СОАТО;

7) код основного вида деятельности о ОКЭД;

8) коды дополнительных видов деятельности;

9) код органа управления;

10) код формы собственности;

11) демографические показатели (дата регистрации, дата прекращения существования, дата начала и окончания деятельности, дата образования филиала, дата ликвидации филиала, дата слияния предприятий);

12) идентификатор налогоплательщика (УНН);

13) экономические показатели: среднесписочная численность работников, доход от реализации продукта, остаточная стоимость основных фондов на конец года;

14) идентификатор предприятия, которому подчинена местная единица и т.д.

Прикладное программное обеспечениеРестата должно обеспечивать выполнение следующих функций (создание, ведение):

1. проектирование структуры статистических регистров;

2. перенос данных КЭОИ по состоянию на указанную дату на новое программное обеспечение;

3. автоматизированное сравнение данных с отраслевым разделом ЕГРПО;

4. ввод и корректировка данных;

5. поиск ответов по идентификатору, по наименованию, по классификационным признакам;

6. фильтрация данных по произвольным логическим условиям;

7. формирование отраслевых разделов;

8. формирование выборочных совокупностей по заданным критериям.

Системное ПО Рестата включает:

– сетевая операционная система;

– электронная пота;

– ПО ЕГРПО;

– Windows NT, СУБД ORACLE, Delphi, Visial C++.

Пинципы потсоения и структура РЕСТАТА.

Рестат – система логически взаимосвязанных баз данных, содержащих информацию о правовых единицах, предприятиях и местных единицах. Двухуровневая распределенная система:

1) республиканский уровень состоит из центрального статистического регистра, отраслевых статистических баз данных. Последние включают отраслевые статистические регистры и базы данных отраслевых статистических показателей.

2) областной уровень состоит из территориально-отраслевых регистров; базы данных отраслевых показателей.

Источниками информации РЕСТАТА служат ЕГРПО и данные государственной статистической отчетности.

Система классификации (как и в базовом источнике информации ЕГРПО): ОКПО, СОАТО, СООУ, ОКЭД, ОКФС, ведомственный классификатор типов юридических лиц и субъектов хозяйствования без образования юридического лица.

Для группировки совокупности участников экономической деятельности используются следующие характеристики:

– основной вид экономической деятельности;

– размер предприятия;

– правовой статус;

– форма собственности;

– местонахождение.