Hadoop-рішення для захисту даних великих обсягів

Abstract

Досліджено одну з проблем даних великого обсягу – забезпечення захисту в процесі накопичення та обробки. Розглядається випадок застосування технології Hadoop в її останній модифікації Apache Hadoop 3.3.0. Пропонується рішення з посиленням захисту оброблюваних даних й підключенням інструментів Apache Knox Gateway, Apache Ranger та Apache Atlas. Передбачена можливість застосування даних, отриманих в результаті роботи локальних баз, електронних архівів, систем управління базами та даних окремих користувачів. Особливостями рішення є також застосування приватної хмари й криптографічних алгоритмів. Наведено приклад реалізації захищеного рішення до розв’язання задачі глибинного аналізу на прикладі паралельної версії задачі пошуку асоціативних правил при роботи з неструктурованими даними великих обсягів.