Организация планирования по принципу «кратчайшая задача первая» для Hadoop MapReduce

Abstract

Работа посвящена вопросам организации планирования при анализе большого количества данных с использованием каркаса параллельной обработки MapReduce. На основе анализа существующих алгоритмов планирования для реализации в рамках многопроцессорной системы предложен вариант, основанный на принципе «кратчайшая задача - первая». Показано, что данный принцип обеспечивает время реакции системы, близкое к оптимальному. Полученные экспериментально результаты, основанные на реальных рабочих нагрузках, генерируемых с помощью стандартного тестового пакета, фиксируют значительное снижение времени реакции системы по отношению к широко используемому стандартному планировщику Hadoop и показывают, что предложенный алгоритм в значительной степени устойчив к ошибкам оценки размера заданий.