Методи аналізу інтелектуальних даних

Інтелектуальний аналіз данихспрямований на пошук і встановлення прихованих закономірностей і правил у великих наборах даних. Термін «аналіз даних» (Data Mining – пер. на рос. «добыча данных») не має чіткого перекладу на українську або російську мови, тому часто використовується або англомовна версія або термін «інтелектуальний аналіз даних», підкреслюючи таким чином його відмінність від звичайного аналізу даних з використанням математичної статистики.

Особливістю даного виду аналізу є те, що з’являється можливість проведення аналізу великих масивів різнорідної інформації, де застосування методів математичної статистики є обмеженим. Більш придатними вони виявляються для перевірки раніше сформованих гіпотез, а не пошуку нових закономірностей.

Технологія Data Mining дозволяє за допомогою комп’ютера і відповідних програмних продуктів за порівняно невеликий час опрацювати значні масиви даних і відшукати закономірності і незвичайні шаблони. Типи закономірностей даних, що застосовуються:

· Асоціація – має місце там, де декілька подій пов’язані один з одним (наприклад, дослідження, проведені у супермаркеті, можуть показати, що 75% покупців при купівлі чіпсів також беруть «кока-колу», а при наявності знижки за такий комплект «колу» купують у 85% випадків. Отже, висновок про дійовість такого роду знижки, менеджерам досить легко оцінити);

· Послідовність – існування ланцюжка пов’язаних у часі подій (наприклад, після купівлі будинку на протязі місяця у 45% випадків власниками купується плита, а на протязі двох тижнів, 70% новоселів купують холодильник);

· Класифікація – виявлення ознак, що характеризують групу, до якої належить той або інший об’єкт. Це відбувається на основі аналізу попередньо класифікованих об’єктів і формулювання певного набору правил;

· Кластеризація – відрізняється від класифікації тим, що самі групи раніше не є заданими. Саме за допомогою кластеризації засоби Data Mining самостійно виділяють різні однорідні групи даних.

· Прогнозування – можливості передбачення поведінки системи в майбутньому. Основою для різних систем прогнозування слугує історична інформація, що зберігається в базах даних у вигляді часових рядів. Якщо вдається побудувати математичну модель і знайти шаблони, які адекватно відображають цю динаміку, є вірогідність того, що з їх допомогою можливо уявити поведінку системи в майбутньому.

Серед предметно-орієнтованих аналітичних систем, призначених для аналізу інтелектуальних даних виділяються наступні класи[1]:

1. Статистичні пакети (найбільш розповсюдженими є наступні: SAS, SPSS, STATGRAPICS, STATISTICA та інші).

1. Нейронні сіті – клас систем, архітектура яких намагається імітувати побудову нервової тканини із нейронів.

2. Система розсудів на основі аналогічних випадків – вибір правильного рішення здійснюється в процесі пошуку аналогів поточної ситуації і обирає ту відповідь або варіант дій, який був правильним у аналогічній ситуації.

3. Дерево рішень – створення ієрархічної системи класифікуючи правил типу «якщо…, то…», що має вигляд дерева. Один із найбільш поширених, зрозумілих і наглядних підходів у системах Data Mining. Широко застосовується як інструмент прийняття управлінських рішень при розв’язку великої кількості управлінських задач.

4. Еволюційне програмування – спеціальні системи, у яких гіпотеза про характер залежності цільової змінної формується у вигляді програм на внутрішній мові програмування. Система має можливість відслідковувати декілька паралельних ліній програм, які конкуруючи між собою дозволяють знайти необхідну залежність.

5. Алгоритми обмеженого перебору – дозволяють обчислювати частоту комбінацій простих логічних подій у підгрупах даних.

Data Mining має широку сферу застосування. Наведені приклади застосування даного інструменту у різних галузях дозволяють зрозуміти його корисність і призначення для вирішення конкретних задач.