Организация проектирования технологического процесса обработки статистической информации.

Тема 6

АВТОМАТИЗАЦИЯ СТАТИСТИЧЕСКИХ РАБОТ

1. Организация проектирования технологического процесса обработки статистической информации.

2. Элементы современных информационных технологий. Перспективы развития информационных технологий статистических работ.

Организация проектирования технологического процесса обработки статистической информации.

Для изучения процесса проектирования технологического процесса обработки статистической информации необходимо остановиться и разобрать следующие понятия:

– технологический процесс автоматизированной обработки информации;

– проектирование технологического процесса обработки информации.

Технологический процесс автоматизированной обработки статистической информации представляет собой совокупность операций, выполняемых в определенной последовательности, – от сбора исходной информации до получения результатной информации. Под операцией в данном случае понимается комплекс действий, выполняемых над информацией на одном рабочем месте. Технологические операции являются основным элементом технологического процесса.

Разработка технологического процесса должна обеспечить максимальную автоматизацию процессов обработки информации при использовании различных технологических средств и высокую достоверность получения результатной информации при минимальных трудовых и стоимостных затратах.

Состав операций и последовательность их выполнения зависят от характера решаемых статистических задач и имеющегося комплекса технических средств на каждом уровне обработки (районном, областном и общегосударственном). Характер задач, в основном, определяется объемами обрабатываемой информации, периодичностью решения, а также сложностью алгоритмов ее преобразования. Решение задачи на каждом уровне обработки может выполняться разными способами с применением различных вычислительных средств и методов контроля.

При определении состава операций технологического процесса создается возможность выбора наиболее рационального способа обработки информации.

Построение технологического процесса обработки статистической информации базируется на единстве методологии обработки статистических данных и единой вычислительной системе органов статистики РБ. Это дает возможность применения типовых проектных решений.

В технологическом процессе обработки статистической информации при решении задач прослеживаются три основных этапа: первичный, основной и заключительный. На первичном этапе осуществляется сбор первичных отчетов, подготовка информации на магнитных носителях. Основной этап обеспечивает непосредственную обработку информации. На заключительном этапе осуществляют выпуск и передачу результатов обработки потребителю.

Операции первичного этапа, связанны со сбором статистических отчетов, а также подготовкой исходной информации на магнитных носителях, ее контролем и корректировкой. На данном этапе осуществляется ввод информации в ЭВМ, автоматический контроль, распечатка протокола ввод, анализ протокола. От качества выполнения этих операций во многом зависит эффективность и достоверность непосредственной автоматизированной обработки.

Передача информации на различные уровни системы государственной статистики РБ осуществляется электронной почтой статистики (ЭПС).

Операции основного этапа обеспечивают обработку и получение результатной информации в соответствии с заданным алгоритмом решения статистической задачи. На данном этапе также извлекаются необходимые показатели из базы данных за прошлые периоды, извлекаются показатели из нормативно-справочной базы данных.

Автоматизированная обработка статистической информации может осуществляться с применением отдельных типов ЭВМ или ЭВМ входящих в состав локальной вычислительной сети (ЛВС).

В итоге обработки получается результатная информация, которая может быть представлена в виде сводных отчетов, а также зафиксирована на различных магнитных носителях.

На заключительном этапе выполняются контроль и выпуск статистических материалов с целью проверки качества получения сводных счетов. Далее осуществляется размножение результатной информации и ее рассылка потребителям по электронной почте.

Результатная информация, в зависимости от вида, в котором получена, а также от степени применения для последующей обработки, хранится в архивах на магнитных носителях.

Содержание любого технологического процесса зависит во многом от того, какие режимы обработки информации приняты в данной системе или подсистеме.

Современные организационные формы технологии машинной обработки статистической информации с помощью ЭВМ основываются на применении двух основных режимов: пакетного и диалогового. Пакетный режим предусматривает выполнение машинных программ, оформленных в виде пакета заданий для вычислительной машины под управлением ее операционной системы.

Диалоговый режим предусматривает интерактивную связь пользователя с вычислительной машиной через терминал, с которого возможен ввод команд, воздействующих на порядок работы программ обработки статистической информации.

Сущность пакетного режима состоит в последовательном выполнении имеющейся совокупности программ обработки данных. При этом достигается уменьшение вмешательства операторов в процесс решения задач, так как средства операционной системы (ОС) организуют ввод данных, вызов необходимых программных модулей, приведение требуемых внешних устройств в рабочее состояние, осуществление процесса обработки и управления им. Основная цель пакетного режима – обеспечение своевременного решения задач согласно установленным графикам и максимальной загрузки вычислительной системы.

Выполнение задания в режиме пакетной обработки характеризуется типовой очередностью процедур обработки данных, включающих: логическое преобразование исходных информационных массивов и создание рабочего массива; упорядочение рабочего массива; вычислительная обработка данных по заданному алгоритму; формирование выходного массива; контроль результатов решения задачи; выдача результатов обработки.

Особенностью реализации пакетного режима обработки статистической информации является то, что ее результаты, как правило, выводятся путем печати требуемых статистических таблиц на печатающем устройстве или массивов информации на магнитных носителях. Первые обычно содержат результаты статистической отчетности для органов управления одноименного уровня, а вторые – сведения для вышестоящего уровня органов государственной статистики. В последнем случае формируются обычно магнитные носители, содержащие совокупность данных, которые могут также вводиться в базы данных вышестоящего уровня.

Главное достоинство диалогового режима состоит в активном участии человека в ходе выполнения процедур обработки статистической информации. При этом экономист-статистик имеет в своем распоряжении терминал, с помощью которого он подключен к ПЭВМ или локальной вычислительной сети. В основе диалогового режима лежит работа пользователя с программами обработки статистической информации на основе меню.

Меню представляет собой совокупность шагов, отображаемых обычно на дисплее компьютера. Выбирая тот или иной из этих шагов, пользователь задает порядок работы программы.

В большинстве случаев при диалоговом режиме результаты обработки статистической информации выводятся пользователю на экран терминала или дисплее персональной машины. Диалог ведется в двух режимах: текстовом или графическом. При текстовом режиме на экране отображаются алфавитно-цифровые символы, позволяющие строить меню, тексты и статистические таблицы. Графический режим используется при отображении графической информации (статистические диаграммы и графики всех видов).

Текстовый режим, в силу своей универсальности и меньшего объема требуемой памяти вычислительной машины, получил наибольшее распространение в статистике. Объем информации, выводимой на экран, ограничивается максимальным числом символов в строке и количеством строк на дисплее. Графический режим требует специального графического дисплея и характеризуется разрешающей способностью экрана, т.е. максимально возможным количеством отображаемых точек по горизонтали и вертикали.

Существует два приема формирования диалога: глобальный и локальный. При глобальном диалоге с помощью меню задается последовательность подпрограмм, характеризующих функциональные возможности программного комплекса при обработке статистической информации. Локальный диалог формирует конкретный алгоритм обработки статистической информации по запросу пользователя.

В соответствии с этим подходом формируется “главное меню”, каждый элемент которого определяет переход к меню локального диалога. Указанные меню обычно строятся в текстовом режиме.

Самое простое меню основано на выдаче со стороны пользователя номера нужного режима обработки, например: 1 – входной контроль, 2 – исправление обнаруженных ошибок, 3 – получение выходной таблицы. Такое меню однозначно и не требует дополнительной информации, а нужная подпрограмма активизируется в зависимости от цифры, которую введет пользователь.

Более сложное меню основано на введении одномерного или двухмерного набора ключевых слов, задающих режимы обработки, при этом пользователь перемещает курсор "влево-вправо" или "вверх-вниз", а активизация требуемого режима осуществляется после нажатия клавиши "ввод".

При реализации диалогового режима активно используется варьирование цветом, мерцанием символов, слов или строк, широко применяются средства подсказки, обучения пользователя, проверки его работы.

Подсказка представляет собой совокупность инструкционных материалов по работе пользователя, сведений о типах и структурах входных и выходных данных, алгоритмах обработки статистической информации. Например, описание конкретных процедур арифметического и логического контроля данных статистической отчетности.

Средства обучения обычно содержат контрольный пример, иллюстрирующий работу программного комплекса. Средства проверки работы системы включают полный список сообщений об ошибках, обнаруживаемых программным комплексом.

Диалоговый режим широко используется работниками статистических органов при подготовке аналитических записок по конкретным статистическим разработкам на основе данных статистической отчетности. Эта работа осуществляется статистиками при получении различных расчетных таблиц на основе баз статистических данных.

При формировании статистического бюллетеня целесообразно совмещение процедур аналитической работы, связанной с расчетом итоговых таблиц, получением на их основе графиков и диаграмм, с подготовкой текстовой информации, содержащей статистический комментарий к табличным и графическим материалам, выводы и оценки статистических органов по результатам разработки стат отчетности за соответствующий период. Эта работа эффективно автоматизируется с помощью программных средств. Для аналитической работы, например, может быть использован пакет EXCEL, а для формирования текстовой информации – пакет WORD.

Так как на отдельных операциях технологического процесса обработки информации могут быть использованы различные средства вычислительной техники и в различных сочетаниях, в практике существует множество вариантов технологических процессов. Эффективность проектирования автоматизированной обработки статистической информации требует их стандартизации.

Под стандартизацией технологии автоматизированной обработки информации понимается разработка комплекса детализированных и максимально унифицированных схем технологических процессов, в которых строго установлены состав и последовательность выполнения операций. Ориентация на стандартные технологические процессы приводит к улучшению качества проектирования, облегчению и ускорению внедрения проектов автоматизированной обработки данных.

Основными документами, регламентирующими технологический процесс обработки статистической информации на вычислительных установках государственной статистической системы, являются технологические и инструкционные карты.

Технологическая карта представляет собой набор последовательно выполняемых операций технологического процесса по каждой статистической задаче.

На каждую операцию технологического процесса разрабатывается инструкционная карта, в которой указываются сведения об исходной информации, о конечных результатах и о порядке выполнения конкретной работы.

Под проектированием технологического процесса обработки информации понимается детальная разработка организации и технологии получения статистической информации на базе статистических и экономико-математических методов. При проектировании согласно ГОСТу выделяются следующие основные этапы:

1) исследование объекта автоматизации и обоснование необходимости ее применения к этому объекту;

2) изучение информационной системы объекта и разработка технического задания на проведение автоматизации;

3) разработка технологического проекта.

4) разработка рабочего проекта.

При изучении информационной системы объекта применяют метод документальной инвентаризации. На каждую форму статистического отчета заводится специальная карточка, в которой указывается:

– вид отчета;

– наименование;

– способ передачи;

– отчетный период;

– сроки представления;

– сроки обработки;

– сроки хранения.

На основании составленных карточек разрабатывается информационная модель в матричной форме или в графической форме. На основании информационного обследования разрабатывается техническое задание и пишется экономическое обоснование необходимости автоматизации данного участка работ. После утверждения обоснования приступают к разработке технологического проекта.

Техническое задание разрабатывается в целом на систему и на отдельные функциональные подсистемы (привести пример тех задания). В техническом задании определяется функции и задачи системы, структура автоматизированной системы, состав функциональных подсистем, указываются требования к взаимодействию данной автоматизированной системы с другими системами, а также приводится ожидаемая экономическая эффективность от проведения автоматизации.

На основании технического задания разрабатывается технологический проект, в котором приводятся окончательные решения по общесистемным вопросам, уточняется перечень задач, описываются постановки задач, решаются вопросы по всем обеспечивающим подсистемам. Важнейшей составной частью технического проекта являются постановки задач по всем функциональным подсистемам. По ГОСТу в постановку задач входят:

– характеристика комплекса задач;

– содержание выходной информации;

– содержание входной информации;

– описание алгоритма решения задачи;

– контрольный пример.

Кроме того, в постановке описываются:

– используемые классификаторы, справочники и коды;

– принципы организации информационной базы;

– комплекс используемых технических средств;

– описание программного обеспечения.

После утверждения технологического проекта приступают к разработке рабочего проекта. Рабочий проект – это рабочая документация, которая включает разработку технологического процесса по обработке форм отчетности, различного рода инструкции (для оператора), описание привязки программного обеспечения по отдельным операциям этого процесса. После завершения рабочего проекта начинается ввод системы в эксплуатацию, который предполагает следующие действия:

– обучение персонала;

– проведение опытной эксплуатации;

– выявление недостатков проекта;

– устранение недостатков, прием системы в промышленную эксплуатацию.

Наибольшая эффективность в функционировании технологических процессов автоматизированной обработки информации достигается в том случае, когда все его этапы выполняются на одном уровне. Поэтому рассмотрим принципиальную схему технологии обработки информации для районного (регионального) уровня, представленную на рис. 1.

Рис. 1. Принципиальная схема технологического процесса обработки информации на районном (региональном) уровне.

Первичный этап начинается со сбора первичных отчетов (опер. 1) экономистами соответствующих отделов информационного обеспечения от источников информации (предприятий и организаций).

По мере поступления отчетов на соответствующий уровень системы государственной статистики РБ, исходная информация с них вводится в ЭВМ, контролируется и независимо от результатов контроля записывается на магнитные носители (опер. 2). При этом осуществляется проверка полноты и качества заполнения отчетов предприятиями и организациями с помощью различных методов контроля (арифметического, логического и синтаксического) а также полноты записи информации с них на магнитные носители.

Арифметический контроль заключается в проверке баланса данных в строках и графах первичного отчета. При логическом контроле проверяются допустимые отклонения от наиболее вероятных данных. С помощью синтаксического контроля проверяется структура заполнения документа различными данными.

Если при контроле обнаружилось нарушение, производится печать протокола ошибок (опер. 3), в котором указывается характер нарушений, конкретная ошибка и ее местонахождение в массиве информации.

На основании этого протокола делается запрос к источникам информации (опер. 4) и по его результатам осуществляется корректировка информации на магнитных носителях.

Только после внесения всех изменений и положительного контроля полноты записи информации на магнитные носители приступают к выполнению операций основного этапа – формированию и обработке сводной отчетности (опер. 5).

Она заключается в укрупнении исходных данных по разрезам обработки, формировании таблицы сводного отчета, а также выполнении различных вычислительных и логических операций по получению результатных данных.

Далее осуществляется непосредственная печать сводных отчетов (опер. 6) в виде рабочих таблиц без шапок и заголовков, или в полностью оформленном виде, в зависимости от дальнейшего их использования.

На заключительном этапе технологического процесса обработки информации экономистами осуществляется контроль и выпуск сводных отчетов (опер. 7) на предмет полноты вхождения исходных данных в заданный разрез обработки и качества их печати. Учитывая характер ошибки, сводные отчеты формируются или перепечатываются заново.

Затем осуществляется размножение сводных отчетов (опер. 8) с помощью различных копировально-множительных средств плосколистового или ротаторного типа, в зависимости от заказанного тиража различными потребителями.

Наконец, результатная информация в виде сводных отчетов передается или рассылается местным органам управления и вышестоящим уровням системы государственной статистики РБ (опер. 9) с помощью электронной почты статистики.

Дальнейшее совершенствование электронной обработки статистической информации связано с организацией системной технологии. Системная технология заключается в том, что электронная обработка на различных уровнях рассматривается как часть единого технологического процесса, являясь логическим завершением технологии предыдущего уровня с использованием одной и той же информационной базы. При системной технологии должна осуществляться подготовка данных на магнитных носителях на районном уровне системы. Для передачи информации с одного уровня на другой должна использоваться электронная почта статистики.

В процессе реализации системной технологии выделяются операции (процедуры) обработки информации, которые могут быть стандартными для всех уровней системы государственной статистики РБ.

Внедрение системной технологии позволит повысить достоверность и сократить сроки разработки статистической отчетности, а также высвободить время специалистов, занимавшихся ранее сбором и подготовкой данных на областном и общегосударственном уровне.