Для усиления компоненты машинного обучения «голубой гигант» передаст в свободное пользование свою технологию SystemML. Саму систему Apache Spark специалисты IBM провозглашают операционной системой для аналитики.

IBM ещё со времён Луиса Герстнера развернулась от производства высокотехнологичных закрытых решений к сервисам. В конце концов продукт (включая и «железо») всегда будет выгоднее делать там, где концентрируется дешёвая рабочая сила. Сейчас это Восточная и Юго-Восточная Азия. А любой сколько-либо ценный софт с достаточно широким кругом пользователей сегодня воспроизводится и улучшается энтузиастами-программистами под той или иной открытой лицензией. С другой стороны, зарабатывать на сервисах можно глобально, обучая инженеров-внедренцев или предоставляя лицензии.

Сервис Apache Spark (sparc.apache.org) ставит целью превзойти популярную технологию MapReduce по скорости в десятки раз. На сайте демонстрируется 100-кратное превосходство над MapReduce  при вычислении логистической регрессии на кластерах с использованием только оперативной памяти, и 10-кратное при  использовании жестких  дисков. В проекте участвует более 400 разработчиков из 50 компаний.

Кроме того, IBM намерена обучить ещё тысячи специалистов из компаний-клиентов разрабатывать решения для обработки Big Data, с прицелом на данные, поступающие от m2m (т.е. измеренные в реальном времени миллионами устройств, наподобие счётчиков горячей и холодной воды) на платформе Apache Spark. При этом компания будет взаимодействовать с Databrics – коммерческой структурой, уже внедряющей Apache Spark.