Data Mining

Data sharing и его преимущества для бизнеса

0

Data sharing еще один тренд — дословно «обмен данными»  — этой такой подход в научном сообществе, который позволяет делиться своими данными с другими исследователями.

А что если бы можно было использовать данные, доступные в одном бизнесе в другом и наоборот. Какой нескончаемый потенциал этих данных, насколько знания о клиентах можно было бы повысить и сделать таргетированные предложения более точечными.

Я считаю, что этот тренд уже реализуется многими успешными корпорациями, например, телекомы идут в банковскую сферу, розница двигается в сторону банковских переводов, почта двигается в сторону e-commerce и логистики. Есть масса других примеров.

На мой взгляд такие знания о клиентах дают большие преимущества, здесь как раз 1+1 = 3 реализуется в полной мере.

Но есть и негативные моменты.

Много говорится о приватности пользователей, хотят ли клиенты, чтобы о них столько знали? К сожалению правда такова, что используя приложения, используя соц. сети и сервисы геолокации мы уже позволяем знать о себе очень много и отказываемся от приватности.

Не всегда эта информация идет нам на пользу. Например, потенциальные работодатели могут отказаться от многообещающего сотрудника по причине его нестандартных политических взглядов. Кроме этого, многие сотрудники потеряли работу только потому что на страницах соц. сетей выразили мнение, которое отражает их индивидуальную точку зрения, которая может противоречить мнению «большинства».

Что дальше?

Сеть Интернет содержит в себе множество информации о клиентах и с развитием инструментов text mining вероятно появятся целые открытые библиотеки, которые будут содержать информацию о пользователях и их предпочтениях. Возможно, такие данные в скором времени можно будет получить бесплатно или за деньги.

А с развитием тренда IoT (Интернета вещей), не удивлюсь, что в скором времени о всех пользователей микроволновок будет известно, что человек ел на обед или ужин, какой запас яиц у него остался в холодильнике, а в супермаркете людям будут напоминать, что у вас заканчивается сливочное масло, не хотите ли купить его по спец. цене.

Ждем с нетерпением появления новых инструментов, которая позволят улучшить нашу жизнь!

Удачи вам!

Экономим на моделировании с KNIME

0

Сегодня хотел бы познакомить читателей с одним из инструментов для Data mining.

Все уже наверное, кто так или иначе знаком с Data mining слышали про R, возможно, что многие уже успели даже поработать. Несмотря на богатое многообразие поддерживаемых методов, все-таки среда разработки достаточно специфическая, особенно для людей, далеких от программирования.

Речь пойдет про KNIME (http://www.knime.com) — это open sourse платформа для data driven инноваций (в том числе и методами data mining), которая в отличие от R, обладая достаточно богатым функционалом, имеет еще графический интерфейс.

Я бы сказал, что интерфейс этот ничем не уступает тому же SPSS.

И самое главное преимущество, это все полностью бесплатно. Конечно, если вы хотите поддержку, серверное решение, то придется немного заплатить, но все равно это деньги не соизмеримо меньшие, чем аналогичное решение у других вендоров.

Дистрибутив можно скачать с официального сайта. Там же есть раздел с демо-примерами, видеолекциями. Достаточно просто устанавливается. Честно скажу, глубоко не копался, но на первый взгляд все достаточно красиво, функционал достаточно богатый, который можно и расширять. Из минусов, это наверное отсутствие русского меню и документации. Но если с английским проблем нет, то я считаю, что это прекрасная альтернатива выкинуть дорогой пакет и использовать это решение.

Удачи вам!

Почему не работает предиктивная аналитика?

0

Построили модель? Модель показывает хорошее качество на цифрах, почему же результаты тестовых кампаний не впечатляют или выигрыш по сравнению с обычными методами оказывается нулевым?

Во-первых, вы должны понимать цель проводимых мероприятий и ее нужно формулировать достаточно четко, не размыто, вида «снизить отток», а вполне конкретно, «уменьшение показателей оттока в целевой группе с 500 до 450 через 2 месяца после начала мероприятий».

Во-вторых, нужно понимать, какие каналы коммуникации вы используете и какова их эффективность. Также важно понимать, сможете вы влиять на эффективность канала или нет.

В-третьих, если в процесс вовлечен персонал, достаточно ли он мотивирован для того, чтобы использовать новый инструмент. Одно дело если вы  пытаетесь модель встроить в достаточно отлаженный бизнес-процесс и все четко понимают, что является результатом на каждом шаге и как потом результаты отражаются на благосостоянии персонала. Другое дело, если вы запускаете какой-либо сложный процесс, которому еще предстоит научиться, тут придется достаточно хорошо поработать над выстраиванием процесса и мотивацией персонала. К сожалению, никто в бизнесе давно не работает просто за идею, все так или иначе привыкли за любое неудобное движение ожидать, что оно будет оплачено, и чем больше таких движений, тем больше ожидание сотрудников.

В четвертых, на сколько релевантен офер (или УТП — уникальное торговое предложение) для такой ситуации.

И только после этого необходимо приступать к тестированию кампаний и измерению ее реальных результатов, которая при прочих идеальных условиях даст правильную оценку качества модели на тестовой кампании.

Т.е. можно сказать, что успех целевого маркетинга зависит от качества модели на 5%, иногда конечно и эти 5% достаточно огромная величина, чтобы инвестировать в предиктивную аналитику. Все остальное зависит от множества других факторов, на которые вы можете влиять и не можете.

У нас был интересный кейс, связанный с удержанием абонентов. Идея заключалась в выделении склонных к оттоку групп абонентов и коммуникация на предмет продления отношений за счет уникального для таких групп льготного условия. Было построено дерево решений и на его основе подготовлен скрипт для внедрения на канале. При этом поработали над мотивацией операторов кол-центра, привязали их вознаграждение к результатам. Одним из первых, предлагалось перейти абонентам но текущие тарифные планы, которые доступны были им для переключения на них. Результат поразил, 70% абонентов из группы согласились на переход и продолжают пользоваться услугами. 20% абонентов согласились на льготные условия и остались, лишь 10% отказались воспользоваться предложением и изъявили желание расторгнуть договорные отношения. Т.е. результат кампаний можно признать не высоким, так как согласились-то всего 20%, однако если смотреть в целом на ситуацию, 90% абонентов остались. Т.е. с одной стороны цель по снижению оттока была достигнута, однако, можно сказать, что это не являлось следствием выигрыша модели.

Удачи вам, работайте по всем направлениям выстраивания бизнес-процесса, а не занимайтесь подгонкой модели под свои процессы.

 

Teradata Forum 2013 (Терадата форум)

0

Лучше поздно, чем никогда, вновь удалось побывать на самом интересном на мой взгляд форуме в России от компании Teradata. Компания не только не опустила планку, но даже на мой взгляд ее немного подняла. Приглашенные спикеры как всегда добавили интереса. И наконец кейсы Big Data начались наполняться каким-то смыслом.

Мне больше всего понравилось выступления представителя компании LinkedIn, который рассказал как они на основе анкет создают сервисы как для самих пользователей, так и для B2B-клиентов. На мой взгляд это универсальный алгоритм монетизации BigData. Вероятно, они шли от обратного, т.е. сначала накапливали множество анкет, а потом уже делали интересные сервисы и каждый такой сервис представлен в соц. сети в виде виджета. Удивительно, как можно много сделать интересных сервисов, используя анкетные данные и связи.

Это кладезь информации для исследователей.

Интересны были также выступления российских телеком. компаний, конечно они достаточно сдержанно в отличие от своих коллег по рынку делятся информацией, но все же было на что посмотреть.

Особенно привлек кейс компании МТС, которая начала борьбу с мобильным спамом и в итоге во что это сейчас вылилось. Понятно, что основная задача компании заработать, в итоге не чистые на руки контрагенты теперь уже просто отправляют (а многие и просто подставляют) с федеральных номеров, другие просто используют контент, который за спам не примешь, подставляя различные слова. И на мой взгляд, это конечно не приведет к снижению спама, спам по прежнему продолжит расти, другое дело, что алгоритмы обхода будут модернизироваться.

Жалко, что компания Мегафон не было, а им есть чем поделиться, особенно исследования, которые они начали делать на основе перемещения пользователей своей базы. Тут и сплетение понятия «умный город» и алгоритмы Big Data (можно найти в поисковике про урбанистический форум и интервью Романа Постникова).

Все-таки стоит признать, что кейсов BigData (и здесь не про большие массивы данных, а именно про алгоритмы и использование данных) в 2013 году на порядок выросло. И интерес компаний к этим кейсам продолжает расти, от чего несомненно должны выиграть все и простые пользователи и бизнес.

Удачи вам!

PS В последнее время к сожалению все меньше времени остается на записи, одна я постараюсь и дальше вас радовать новыми мыслями.

 

Русские идут (Прогноз или Prognoz)

0

Недавно познакомился с очень интересным решением от компании Прогноз. Решение разработано в Перми и история компании очень напоминает историю компании SAS. Решение российского разработчика очень интересно, потому что аккумулируют в себя действительно многие модные фичи. Компания уделяет большое внимание визуалу и функциям управления. Имеет очень симпатичный мобильный клиент. Конечно, буду справедлив и воздержусь о том, чтобы называть эту платформу BI-платформой. Скорее я бы сравнивал его с многими решениями, построенными на базе OLAP. В этом классе решений я бы их особо выделил.

Компания ставит себе действительно амбициозные задачи по превращению себя в глобального мегавендора, и стоит отметить, что попасть в квадрат Гартнера наверное дорогого стоит. Да и спецы Гартнера пока скорее относят эту платформу к нишевым решениям.

Очень хочется надеяться, что компания не затеряется на фоне лидеров.  Посмотрим на динамику в следующем году.

С точки зрения ценовой политики у них все хорошо. Мегавендоры значительно дороже и менее гибки в тарифной политике. В прогнозе как раз есть большое пространство для маневра и оптимизации затрат.

Кроме этого, я бы выделил русскую техподдержку 24 на 7. Для России, это действительно очень круто, потому как многие трабл тикеты мегавендорами отрабатываются не очень оперативно.

Ну для затравки статья рекламного содержания. Пока без моих комментариев. После детального изучения платформы отпишусь по плюсам и минусам. Минусы, как в любом решении, тоже есть, но не хочется быть голословным. Но я бы не сказал, что супер критичные. Все зависит от непосредственного кейса. Для некоторых кейсов, решение будет близким к идеальному. 

PS Если вам интересно, могу рассказать подробнее. Кроме этого, помогу получить скидку на решение и подобрать модули для оптимизации ваших затрат. Пишите на cases@fsecrets.ru.

 

Вот как они себя описывают (по материалам cnews.ru)

Prognoz Platform: ставка на простоту и функциональность

Prognoz Platform: ставка на простоту и функциональность

Сегодня одним из основных требований, предъявляемых пользователями к BI-системам, является простота в использовании. Топ-менеджменту нужны мощные, но при этом интуитивно понятные инструменты, позволяющие в режиме реального времени обработать необходимый объем информации и представить результаты в удобном для анализа виде. Этой тенденции рынка полностью соответствует программная платформа Prognoz Platform от компании «Прогноз»: ее основные инструменты, включая модули продвинутой аналитики, просты в освоении и удобны в использовании.

Инструмент для эффективного решения управленческих задач

Prognoz Platform – это BI-платформа, предназначенная для создания бизнес-приложений «под ключ», сочетающая дружественный интерфейс и высокую производительность на любых объемах данных. В продукте реализован принцип Self-Service BI («бизнес-аналитика для самообслуживания»), позволяющий конечным пользователям самостоятельно настраивать приложения без привлечения IT-специалистов. Аналитические системы, созданные на базе Prognoz Platform – это гибкие и функциональные решения, которые позволяют осуществлять всесторонний анализ накопленной информации, а также строить модели с учетом множества факторов, что значительно повышает качество прогнозных оценок.

Одна из ключевых особенностей Prognoz Platform – это универсальность. Так, платформа предоставляет инструменты, доступные как в традиционных пользовательских приложениях (настольное и веб-приложение), так и на мобильных устройствах, а также в «облачной» архитектуре. В состав Prognoz Platform входят как традиционные BI-инструменты для сбора и анализа данных, построения отчетов и статистического анализа, так и продвинутые инструменты моделирования и прогнозирования. Платформа является универсальным инструментом и по спектру отраслей, в которых используются решения на ее основе: сегодня аналитические системы на базе Prognoz Platform востребованы в корпоративном, финансовом и государственном секторах.


Средства платформы обеспечивают сбор, верификацию и консолидацию больших объемов данных из разнородных источников, а также позволяют проводить на их основе комплексный мониторинг и анализ ключевых показателей, настраивать модели и выполнять прогнозные расчеты. Из наиболее актуальных задач, которые сегодня решаются с помощью Prognoz Platform в бизнесе, можно назвать управление рисками, формирование отчетности, планирование и бюджетирование, в том числе калькулирование фактической себестоимости по местам возникновения затрат.

Помимо пользовательских инструментов, Prognoz Platform предлагает богатые функциональные возможности для разработчиков, в том числе блоки технологического уровня. Это средства разработки и интеграционные компоненты: конструктор хранилища данных, модуль ведения НСИ, ETL, среда разработки приложений (SDK), компоненты деловой графики, средства интеграции с социальными сетями. С их помощью можно гибко настраивать репозитории метаданных, загружать данные из внешних источников, работать с нормативно-справочной информацией. Базовый уровень инфраструктуры Prognoz Platform включает модуль администрирования и информационной безопасности, сервер приложений и web-сервисы.


Единство метаданных, модульная архитектура и современные средства интеграции делают Prognoz Platform исключительно гибким и адаптивным продуктом, который можно быстро и безболезненно встраивать в существующую IT-инфраструктуру в самых разных конфигурациях, впоследствии наращивая функционал по мере необходимости. При этом лицензионная политика компании «Прогноз» позволяет клиенту выбирать только те функциональные блоки, которые требуются ему на конкретном этапе реализации BI-проекта, тем самым значительно сокращая стоимость и сроки внедрения.

Продвинутые функциональные возможности

В Prognoz Platform реализована интеграция различных функций, что соответствует одной из ключевых тенденций, которые отмечают аналитики Gartner: в рамках единой платформы и единых источников данных обеспечивается доступ и к предсказательной, и к описательной аналитике.

Платформа включает расширенный инструментарий моделирования и построения сценарных («Что будет, если…?») и целевых («Что необходимо для…?») прогнозов. В ее составе присутствуют конструктор аналитических панелей, средства оперативного анализа (OLAP) и анализа временных рядов, конструктор карт ключевых показателей (scorecards).  Для визуализации данных применяются современные средства визуализации, включая интерактивные 3D-карты, пузырьковые диаграммы и другие современные инструменты.


В Prognoz Platform реализованы самые последние технологические достижения сферы бизнес-аналитики, включая  Data Mining (интеллектуальный анализ данных), Collaborative Decision Making (интегрированные инструменты совместного принятия решений). Высокая производительность продукта обеспечивается технологиями In-Memory (обработка данных в оперативной памяти устройства) и Search-Based BI (построение запросов в текстовом виде).

Prognoz Platform «бесшовно» интегрируется с приложениями Microsoft Office: можно не только экспортировать результаты аналитической работы в Excel и Word, но и напрямую работать из Excel с хранилищем данных, используя аналитические возможности платформы. Поддерживается интеграция с портальными решениями (MS SharePoint, SAP Netweaver, IBM WebSphere) и геоинформационными сервисами (Google Maps, Microsoft Bing, OpenStreetMap).

Мобильные приложения на базе PROGNOZ Platform поддерживают динамическое отображение данных в самых разных разрезах и видах, а также работу с ними как в онлайн-, так и в офлайн-режиме. Через нативный клиент для iOS доступны инструменты OLAP, аналитические панели и средства анализа временных рядов.

Преимущества и уникальные возможности Prognoz Platform:

  • расширенные возможности визуализации, анализа, отчетности, моделирования и прогнозирования через веб-интерфейс и в режиме облачных вычислений;
  • использование продвинутых средств предсказательной аналитики и целевого прогнозирования, эффективное решение задач «что будет, если…?» и «что необходимо для…?»;
  • использование общих метаданных во всех интегрируемых компонентах, что позволяет легко импортировать, обрабатывать и публиковать большие объемы данных;
  • интегрированная среда разработки, которая обеспечивает возможность быстрого создания кастомизированных приложений;
  • гибкие средства управления безопасностью и администрирования.


В 2012 г. Prognoz Platform стала первой российской разработкой, включенной агентством Gartner в «Магический квадрант платформ бизнес-аналитики». В 2013 г. «Прогноз» повторил и упрочил свой успех в международном рейтинге, переместившись на координатной плоскости Gartner к самой верхней границе нишевых игроков и приблизившись к уровню претендентов на лидирующие позиции.

Удачи Вам!

Вверх