Business Intelligence

Квадрат Гартнера 2014

0

2014 Gartner Magic Quadrant for Business Intelligence and Analytics large

Для сравнения напомню квадрат Гартнера в 2013 году

2013 BI MQ

Мало что поменялось, единственное, что по способности внедрить задуманное вышли в лидеры Tableu и QlikView, опередив Microsoft, все остальное практически не изменно в квадрате лидеров. Ряд нишевых игроков подтянулись, что подстегивает других развивать свои продукты.

Если честно, я давно достаточно скептически и насторожено отношусь к рейтингам. В этом рейтинге достаточно много учитывается факторов непродуктовых, что не всегда «по способности» оценивает продукты.

Удачи вам, смотрите на рейтинги, однако лучше выбирайте глазами и руками.

Teradata Forum 2013 (Терадата форум)

0

Лучше поздно, чем никогда, вновь удалось побывать на самом интересном на мой взгляд форуме в России от компании Teradata. Компания не только не опустила планку, но даже на мой взгляд ее немного подняла. Приглашенные спикеры как всегда добавили интереса. И наконец кейсы Big Data начались наполняться каким-то смыслом.

Мне больше всего понравилось выступления представителя компании LinkedIn, который рассказал как они на основе анкет создают сервисы как для самих пользователей, так и для B2B-клиентов. На мой взгляд это универсальный алгоритм монетизации BigData. Вероятно, они шли от обратного, т.е. сначала накапливали множество анкет, а потом уже делали интересные сервисы и каждый такой сервис представлен в соц. сети в виде виджета. Удивительно, как можно много сделать интересных сервисов, используя анкетные данные и связи.

Это кладезь информации для исследователей.

Интересны были также выступления российских телеком. компаний, конечно они достаточно сдержанно в отличие от своих коллег по рынку делятся информацией, но все же было на что посмотреть.

Особенно привлек кейс компании МТС, которая начала борьбу с мобильным спамом и в итоге во что это сейчас вылилось. Понятно, что основная задача компании заработать, в итоге не чистые на руки контрагенты теперь уже просто отправляют (а многие и просто подставляют) с федеральных номеров, другие просто используют контент, который за спам не примешь, подставляя различные слова. И на мой взгляд, это конечно не приведет к снижению спама, спам по прежнему продолжит расти, другое дело, что алгоритмы обхода будут модернизироваться.

Жалко, что компания Мегафон не было, а им есть чем поделиться, особенно исследования, которые они начали делать на основе перемещения пользователей своей базы. Тут и сплетение понятия «умный город» и алгоритмы Big Data (можно найти в поисковике про урбанистический форум и интервью Романа Постникова).

Все-таки стоит признать, что кейсов BigData (и здесь не про большие массивы данных, а именно про алгоритмы и использование данных) в 2013 году на порядок выросло. И интерес компаний к этим кейсам продолжает расти, от чего несомненно должны выиграть все и простые пользователи и бизнес.

Удачи вам!

PS В последнее время к сожалению все меньше времени остается на записи, одна я постараюсь и дальше вас радовать новыми мыслями.

 

Монетизация данных

0

Давно хотел поговорить о таком понятии, как монетизация данных или Data monetization. Объем данных в компаниях как правило увеличиваются, стоимость систем хранения данных за 1Гб снижается, но затраты на накопление данных растут. И если данные не использовать в коммерческих целях (т.е. не пытаться их использовать, чтобы на них заработать), то по сути это деньги на ветер.

Кроме этого появляются программно-аппаратные комплексы, которые могут обрабатывать не только структурированные внутренние данные, но и внешние неструктурированные данные сети Интернет, например. Стоимость таких комплексов как правило очень велика. Как правило упоминается Big Data.

Но хотел бы подчеркнуть, что использовать BigData и не монетизировать данные, это просто пустая трата трудоресурсов и денег.  Это на самом деле очень большая проблема, в мире до сих пор достаточно мало кейсов, при которых накопление новых объемов данных прямо пропорционально эффективности. Как правило, такие кейсы придумывают вендоры, чтобы продать новые комплексы. И не всегда они легко реализуемы.

В России уже тоже достаточно много компаний, которые такие комплексы имеют, но по прежнему компании встречаются все с теми же проблемами. Как вернуть потраченные деньги во всю эту инфраструктуру.

Я слышал несколько очень потенциально интересных кейсов, которые могут быть решены на этих комплексах. Но могу точно сказать, что окупаемость их гораздо больше 3-5 лет.

Сейчас все идут по принципу, чем больше данных, тем лучше, объемы хранилищ разрастаются до 200-400 терабайт, у некоторых мировых компаний, они составляют 10-ки петабайт.

Потом нанимаются специалисты-аналитики и вокруг данных создается инфраструктура, которая думает, что делать со всем этим массивом и как получить хоть какую-то ценность от этих данных. Иногда, не спорю, это оправдано, но иногда, просто пустая трата времени.

Я бы предложил строить хранилища по другому принципу. Есть заказчик, он доказывает эффективность именно этого набора данных путем использования семплированной небольшой порции данных. Есть эффект, пожалуйста, храним и используем на регулярной основе. Нет эффекта от накопления или нет заказчика, в топку детальную информацию, храним только агрегаты, они занимают меньше времени, и если вдруг однажды необходимость их использования появится, то для тестирования идей иногда достаточно и агрегатов, если не достаточно, смотри пункт 1, маленькая выборка и вперед по циклу.

Это подход конечно может потребовать постоянного перестроения архитектуры. но на мой взгляд он не требует разрастания штата на содержания всего ненужного массива.

В конечном итоге ведет именно к эффективному использованию ресурсов.

Накапливайте данные с умом.

Если кому-то интересны реальные отраслевые кейсы и вы не знаете с чего начать, пишите на cases@fsecrets.ru, помогу чем смогу.

Удачи Вам!

Русские идут (Прогноз или Prognoz)

0

Недавно познакомился с очень интересным решением от компании Прогноз. Решение разработано в Перми и история компании очень напоминает историю компании SAS. Решение российского разработчика очень интересно, потому что аккумулируют в себя действительно многие модные фичи. Компания уделяет большое внимание визуалу и функциям управления. Имеет очень симпатичный мобильный клиент. Конечно, буду справедлив и воздержусь о том, чтобы называть эту платформу BI-платформой. Скорее я бы сравнивал его с многими решениями, построенными на базе OLAP. В этом классе решений я бы их особо выделил.

Компания ставит себе действительно амбициозные задачи по превращению себя в глобального мегавендора, и стоит отметить, что попасть в квадрат Гартнера наверное дорогого стоит. Да и спецы Гартнера пока скорее относят эту платформу к нишевым решениям.

Очень хочется надеяться, что компания не затеряется на фоне лидеров.  Посмотрим на динамику в следующем году.

С точки зрения ценовой политики у них все хорошо. Мегавендоры значительно дороже и менее гибки в тарифной политике. В прогнозе как раз есть большое пространство для маневра и оптимизации затрат.

Кроме этого, я бы выделил русскую техподдержку 24 на 7. Для России, это действительно очень круто, потому как многие трабл тикеты мегавендорами отрабатываются не очень оперативно.

Ну для затравки статья рекламного содержания. Пока без моих комментариев. После детального изучения платформы отпишусь по плюсам и минусам. Минусы, как в любом решении, тоже есть, но не хочется быть голословным. Но я бы не сказал, что супер критичные. Все зависит от непосредственного кейса. Для некоторых кейсов, решение будет близким к идеальному. 

PS Если вам интересно, могу рассказать подробнее. Кроме этого, помогу получить скидку на решение и подобрать модули для оптимизации ваших затрат. Пишите на cases@fsecrets.ru.

 

Вот как они себя описывают (по материалам cnews.ru)

Prognoz Platform: ставка на простоту и функциональность

Prognoz Platform: ставка на простоту и функциональность

Сегодня одним из основных требований, предъявляемых пользователями к BI-системам, является простота в использовании. Топ-менеджменту нужны мощные, но при этом интуитивно понятные инструменты, позволяющие в режиме реального времени обработать необходимый объем информации и представить результаты в удобном для анализа виде. Этой тенденции рынка полностью соответствует программная платформа Prognoz Platform от компании «Прогноз»: ее основные инструменты, включая модули продвинутой аналитики, просты в освоении и удобны в использовании.

Инструмент для эффективного решения управленческих задач

Prognoz Platform – это BI-платформа, предназначенная для создания бизнес-приложений «под ключ», сочетающая дружественный интерфейс и высокую производительность на любых объемах данных. В продукте реализован принцип Self-Service BI («бизнес-аналитика для самообслуживания»), позволяющий конечным пользователям самостоятельно настраивать приложения без привлечения IT-специалистов. Аналитические системы, созданные на базе Prognoz Platform – это гибкие и функциональные решения, которые позволяют осуществлять всесторонний анализ накопленной информации, а также строить модели с учетом множества факторов, что значительно повышает качество прогнозных оценок.

Одна из ключевых особенностей Prognoz Platform – это универсальность. Так, платформа предоставляет инструменты, доступные как в традиционных пользовательских приложениях (настольное и веб-приложение), так и на мобильных устройствах, а также в «облачной» архитектуре. В состав Prognoz Platform входят как традиционные BI-инструменты для сбора и анализа данных, построения отчетов и статистического анализа, так и продвинутые инструменты моделирования и прогнозирования. Платформа является универсальным инструментом и по спектру отраслей, в которых используются решения на ее основе: сегодня аналитические системы на базе Prognoz Platform востребованы в корпоративном, финансовом и государственном секторах.


Средства платформы обеспечивают сбор, верификацию и консолидацию больших объемов данных из разнородных источников, а также позволяют проводить на их основе комплексный мониторинг и анализ ключевых показателей, настраивать модели и выполнять прогнозные расчеты. Из наиболее актуальных задач, которые сегодня решаются с помощью Prognoz Platform в бизнесе, можно назвать управление рисками, формирование отчетности, планирование и бюджетирование, в том числе калькулирование фактической себестоимости по местам возникновения затрат.

Помимо пользовательских инструментов, Prognoz Platform предлагает богатые функциональные возможности для разработчиков, в том числе блоки технологического уровня. Это средства разработки и интеграционные компоненты: конструктор хранилища данных, модуль ведения НСИ, ETL, среда разработки приложений (SDK), компоненты деловой графики, средства интеграции с социальными сетями. С их помощью можно гибко настраивать репозитории метаданных, загружать данные из внешних источников, работать с нормативно-справочной информацией. Базовый уровень инфраструктуры Prognoz Platform включает модуль администрирования и информационной безопасности, сервер приложений и web-сервисы.


Единство метаданных, модульная архитектура и современные средства интеграции делают Prognoz Platform исключительно гибким и адаптивным продуктом, который можно быстро и безболезненно встраивать в существующую IT-инфраструктуру в самых разных конфигурациях, впоследствии наращивая функционал по мере необходимости. При этом лицензионная политика компании «Прогноз» позволяет клиенту выбирать только те функциональные блоки, которые требуются ему на конкретном этапе реализации BI-проекта, тем самым значительно сокращая стоимость и сроки внедрения.

Продвинутые функциональные возможности

В Prognoz Platform реализована интеграция различных функций, что соответствует одной из ключевых тенденций, которые отмечают аналитики Gartner: в рамках единой платформы и единых источников данных обеспечивается доступ и к предсказательной, и к описательной аналитике.

Платформа включает расширенный инструментарий моделирования и построения сценарных («Что будет, если…?») и целевых («Что необходимо для…?») прогнозов. В ее составе присутствуют конструктор аналитических панелей, средства оперативного анализа (OLAP) и анализа временных рядов, конструктор карт ключевых показателей (scorecards).  Для визуализации данных применяются современные средства визуализации, включая интерактивные 3D-карты, пузырьковые диаграммы и другие современные инструменты.


В Prognoz Platform реализованы самые последние технологические достижения сферы бизнес-аналитики, включая  Data Mining (интеллектуальный анализ данных), Collaborative Decision Making (интегрированные инструменты совместного принятия решений). Высокая производительность продукта обеспечивается технологиями In-Memory (обработка данных в оперативной памяти устройства) и Search-Based BI (построение запросов в текстовом виде).

Prognoz Platform «бесшовно» интегрируется с приложениями Microsoft Office: можно не только экспортировать результаты аналитической работы в Excel и Word, но и напрямую работать из Excel с хранилищем данных, используя аналитические возможности платформы. Поддерживается интеграция с портальными решениями (MS SharePoint, SAP Netweaver, IBM WebSphere) и геоинформационными сервисами (Google Maps, Microsoft Bing, OpenStreetMap).

Мобильные приложения на базе PROGNOZ Platform поддерживают динамическое отображение данных в самых разных разрезах и видах, а также работу с ними как в онлайн-, так и в офлайн-режиме. Через нативный клиент для iOS доступны инструменты OLAP, аналитические панели и средства анализа временных рядов.

Преимущества и уникальные возможности Prognoz Platform:

  • расширенные возможности визуализации, анализа, отчетности, моделирования и прогнозирования через веб-интерфейс и в режиме облачных вычислений;
  • использование продвинутых средств предсказательной аналитики и целевого прогнозирования, эффективное решение задач «что будет, если…?» и «что необходимо для…?»;
  • использование общих метаданных во всех интегрируемых компонентах, что позволяет легко импортировать, обрабатывать и публиковать большие объемы данных;
  • интегрированная среда разработки, которая обеспечивает возможность быстрого создания кастомизированных приложений;
  • гибкие средства управления безопасностью и администрирования.


В 2012 г. Prognoz Platform стала первой российской разработкой, включенной агентством Gartner в «Магический квадрант платформ бизнес-аналитики». В 2013 г. «Прогноз» повторил и упрочил свой успех в международном рейтинге, переместившись на координатной плоскости Gartner к самой верхней границе нишевых игроков и приблизившись к уровню претендентов на лидирующие позиции.

Удачи Вам!

Плюсы и минусы BI с преднастроенной моделью данных

0

В последнее время на рынке стало появляться множество нишевых решений с преднастроенной моделью данных, которые призваны решать конкретные задачи бизнеса.

Плюс в данном случае очевиден, бизнес получает инструмент, который решает конкретную задачу, которая как правило без автоматизации делается на регулярной основе и занимает достаточно длительное время.

А какие же минусы:

1. Нужно под эту модель данных подготовить источники данных, если их нет, значит часть функционала не будет работать или результат работы будет неудовлетворительный.

2. Нужно быть уверенным в качестве данных и их методологии. Вы четко должны понимать, что штуки это действительно штуки, а не метры, квадраты кубические, килограммы или что-то еще. Иногда в биллинговых системах IT специалисты упрощают систему хранения данных, и в штуках начинают хранить и каналокилометры и минуты и каналы и бог знает что еще, т.е. некие единицы тарификации, т.е. в зависимости от того, что тарифицируется, те объекты учета и считаются.

3. Нужно четко понимать алгоритм обработки информации, чтобы на выходе получать то, что ожидаешь, а не некий результат, который даже не понятно как интерпретировать. Как-то будучи на презентации одного решения, на вопрос, а какой алгоритм все же применяется, мне ответили, не важно, ведь алгоритм разработал доктор математических наук, значит он не может ошибаться. Несомненно, над алгоритмами работают очень уважаемые специалисты, но работать с системой приходится бизнесу и не всегда результат можно применить на практике, так как любой алгоритм призван к упрощению любого автоматизируемого процесса, в противном случае получается сложнейшая многофакторная модель, которая с уменьшением числа анализируемых наблюдений начинает давать просто огромные ошибки. Конечно же их использование ставится под сомнение.

4. Доработка модели данных под некие особенности бизнеса несет в себе скрытые риски, ведь инсталляция любого обновления будет занимать больше времени или вообще ставится под сомнение из-за того, что справочник таблиц мог поменяться либо набор измерений расширен и в этом случае каждый раз адаптация под эти особенности нового обновления несет в себе временные и финансовые риски. Кроме этого, есть риск отказа от технической поддержки производителя из-за того, что были внесены изменения в модель данных.

По опыту могу сказать, когда внедрялась телекомовская модель в одном из крупнейших операторов, пришлось столкнуться с множеством нюансов, на деле оказалось, что после внедрения модели можно использовать не более 5% функционала, в то же время создание панелей под эти 5% функционала занимают гораздо меньше времени.

Конечно, это вовсе не значит, что нужно полностью отказаться от преднастроенных моделей данных, но нужно понимать все риски при внедрении таких решений и учитывать их особенности.

Удачи вам!

 

Вверх