Тренды

Используем DPI по максимуму

0

Пост, скорее посвящен операторам связи, но на самом деле может быть полезен многим компаниям.

Сегодня хотелось бы поговорить о DPI и его возможностях, которые открываются перед операторами.

Уверен, что на сегодня потенциал DPI не исчерпал своих возможностей и на 1%.

Может я не прав, но на сегодня самые распространенные услуги на базе DPI:

1. Это реализация блокировок сайтов, занесенных в реестр Роскомнадзора.

2. Услуги класса «Родительский контроль».

Есть еще реализации, которые, как правило, больше к ограничениям абонентов относятся, нежели к дополнительным возможностям. Например, блокировка нежелательного контента в образовательных учреждениях — это пример B2B сервиса, но реализованного на площадке оператора.

Некоторые научились использовать аналитику для предотвращения оттока — ведь по статистике, риск посещения сайта конкурента в 5 раз чаще приводит к оттоку, чем звонок на службу технической поддержки.

Немногие используют аналитику DPI для кросс-продаж и Upsell, хотя это открывает удивительные возможности как по продаже собственных услуг, так и продаже услуг партнеров.

На основе DPI можно выделять конечных пользователей домохозяйств по профилю потребления услуг и переходить к персональной коммуникации.

Раньше были инсталляции, которые позволяли монетизировать абонентскую базу по рекламной модели, но после небезызвестных событий и разъяснения Роскомнадзора, что все данные должны оставаться в периметре оператора, это значительно усложнило реализацию, хотя и дало возможность операторам самим запускать такие сервисы на собственных площадках. И возможности эти довольно обширны.

Также данные c DPI позволяют значительно оптимизировать сетевые ресурсы. Если посмотреть на открытые данные операторов связи в инвестиции по модернизации сетей передачи данных, которые составляют больше 200 млрд в год, а также на кривую роста трафика сети передачи данных, то можно понять какие обширные возможности еще не реализованы и на сколько огромен рынок. Понятно, что все операторы научились оптимизировать затраты на апстримы, делая прямые пиринговые стыки с крупнейшими генерящими трафик площадками. Но при этом оптимизацию зоновой инфраструктуры упускают из виду. А вот и зря! Если вы проанализируете трафик DPI по видам и посмотрите на участки сети, то вы увидите, что на вашей сети достаточно большой объем «паразитирующего» трафика, который выжирает трубу, но не приносит вам ни копейки. Более того, если сегментировать базу, то четко будет видно кто из абонентов такую нагрузку создает. Когда я проделывал такое упражнение в одном из операторов, то был сильно удивлен статистикой, ведь всего 5% абонентов генерировали больше 80% трафика. Я конечно ожидал Правила Паретто, но был удивлен полученным результатом. Если распределить затраты на эксплуатацию сети на всю базу, получалось, что эти 5% абонентов давали такой убыток, что проще было этих абонентов подарить конкуренту. Однако объем базы был достаточно большой и выручку не хотелось терять, поэтому мы научились работать с такими абонентами и оптимизировать нагрузку за счет различных профилей на виды трафика, минимизируя полосы для «паразитного» трафика, выделяя в отдельные WLAN-ы отдельные виды трафика. Для платного трафика наоборот уровень SLA был увеличен, что давало прирост платного трафика в единицу времени. Применение этого подхода позволило увеличить трафик и выручку, ведь за единицу времени пользователь смог скачивать больше информации, получая лучший сервис, а время сессии не уменьшилось, а увеличилось, ведь пользоваться услугой стало комфортнее.

Data-продукты на основе DPI, на мой взгляд, заслуживают большого внимания, ведь потенциал этого рынка не исчерпан. И открывают широкие возможности перед операторами по монетизации растущего трафика передачи данных. Например, HR-аналитика и проактивное удержание сотрудников. Выделение сотрудников, которые посещают площадки поиска работы или наоборот праздно проводят время — достаточно актуальные сервисы.

Это и сервисы заботы о пожилых родственниках, ведь иногда родители стесняются рассказать детям, что со здоровьем не все в порядке.

Это сервисы заботы о детях, родительский контроль не всегда убережет от пагубного влияния соц. сетей.

Защита от несанкционированного доступа, ведь при аномальном поведении трафика сразу заметны такие атаки. И их возможно ограничить.

Продажа приоритетного доступа на площадку — на основе приоритета трафика.

Исследовательские Data-продукты. Ни одно исследование и опрос аудитории не справиться с результатами реальной статистики потребления услуг. И тут возможности не ограничены, такие продукты нужны и полит технологам и маркетологам, и продуктологам и PR службам. Сейчас эту нишу плотно держат поисковики, но поисковики кроме факта захода на какую-либо площадку вообще ничего не видят, если отсутствует их собственный движок, который собирает статистику, операторы знают об абонентах почти все.

Улучшение скоринговой модели для банков. Уж кто как не оператор связи знает о своих пользователях все. Тут и предотвращение мошенничества и удержание клиентов, которые захотят сменить банк. И много других бизнес-кейсов.

Возможности не ограничены, достаточно включить немного фантазии, а покупатели на такие продукты найдутся всегда. Мир IoT откроет еще больше возможностей для реализации Data-продуктов.

Используя DPI можно значительно увеличить отношение Revenue/Traffic.

Эффективных вам решений!

Machine learning сменил Big Data

2

Интересная статейка. Когда это должно было произойти.

Все-таки не зря я говорил, что это маркетинг вендоров. Успешных кейсов по Big Data не так много. На смену теперь пришли алгоритмы machine Learning. А вот визуальная классификация алгоритмов.

 

Machine Learning

Удачи Вам!

PSPP — бесплатная замена SPSS Statistics

1

Обнаружил интересный проект, по мнению авторов которого, они считают свое решение полноценной заменой SPSS Statistics, информацию можно найти по адресу https://www.gnu.org/software/pspp/. Там же можно найти и скачать дистрибутив и документацию.

Как пишут авторы есть всего несколько отличий: ваши лицензии никогда не закончатся, нет никаких ограничений по количеству строк и столбцов, система поддерживает больше миллиона значений и переменных, вся функциональность содержится в базовом пакете, не нужно искать никаких расширений, как это сделано в SPSS. Все эти ограничения конечно же положительные.

Небольшое добавление: если у вас windows придется немного повозится чтобы поставить cygwin.

Ну что же, нужно протестировать и составить свое впечатление. Мое убеждение о том, что инструмент сейчас обесценивается, только растет. В тренде именно отраслевые бизнес-решения.

Удачи вам и не спешите платить за инструмент, пусть даже вам его продает команда лучших маркетологов!

Что компаниям нужно от Data Scientist

0

Многие компании на рынке, вероятно после участия их IT в конференциях или начитавшись зарубежной литературы/прессы начали подбирать себе персонал, имеющий соответствующий опыт на позицию Data Scientist (Data — аналитик). Самое смешное, что сейчас многие просто меняют название вакансий аналитиков, добавляют в требования в Python и R, все, получается Data Scientist.

Не знаю, конечно, какую они цель преследуют и какие конкретно задачи решают, но после детального изучения таких вакансий заметил одну интересную особенность.

  • Практически в 95% случаев требуется знание Python и R, иногда требуется знание SQL. Как будто другой инструментарий компании попросту игнорируют или не хотят использовать. Причем иногда это именно обязательные требования. Мне очень странно это видеть, понятно, что это все Open-source инструменты (бесплатные), достаточно скачать интерпретаторы, но ведь очевидно, что поддерживать это хозяйство достаточно затратно с точки зрения персонала, документации кода и т.д.  Ок, я не против, но мне как-то режет это слух. Т.е. если человек использует какой-то другой пакет статистики он уже не Data scientist, open-source решений с визуальным интерфейсом полно, скорость обработки возрастает в разы, поддержка и передача функционала много проще, но главное требование умение писать код.  
  • Практически все требуют опыт от года. Хорошее требование, ничего не скажешь, но учитывая что в России практического использования все-таки не так много, переход на Open-source идет слабовато. Маленькие компании, которые могли бы этим заниматься особо этим и не занимаются, а большие достаточно состоятельные, чтобы использовать коммерческие решения, остаются только IT компании. Их не так много, соответственно есть дефицит.
  • Мало кто в требованиях пишет наличие отраслевого опыта. Предполагается, что любой Data Scientist придет и сразу врубиться в специфику бизнеса. Спешу расстроить, в некоторых компаниях вход нового сотрудника идет от полугода, соответственно чего он там настроит не понятно. И как будет интерпретировать модели. Мне достаточно часто приходилось видеть проблемы аналитиков, которые имеют маленький опыт и не учитывают множество факторов. Чаще всего проблемы возникают при интерпретации и проверках «от дурака», когда модель выдает совершенно немыслимый результат на фактических данных. Например, может получиться абсолютно нереальная величина, например, по длительности разговоров. Т.е .прогнозируемая величина может оказаться выше максимально возможной длительности в сутках. Я таких примеров могу привести множество. И хотя я сторонник универсальности аналитиков, я все же понимаю в этом случае, что опыт работы аналитиком достаточный, чтобы не делать элементарные ляпы в виде таких примеров. 
  • Самый на мой взгляд важный момент в этой профессии — интерпретация полученного в результате моделирования результата и умение обосновать и защитить полученный результат — я видел в описании лишь одной вакансии и то на английском языке. На мой взгляд, это должно быть самым главным требованием. Если «ученый данных» что-то там смоделировал, но даже на русском языке не может сформулировать, как этот результат может быть использован, то грош цена таким результатам.
Недавно в одной статейке на английском языке читал, что компании должны вкладывать в понятие Data Scientest и там конечно требования достаточно огромны, начиная от знания математического аппарата, умения программировать, знания Hadoop, R, Python, заканчивая знаниями отраслевой специфики, умением интерпретировать полученные результаты, умением защищать полученные результаты и презентовать их руководителям на «человеческом» языке. А если потенциальный претендент не обладает хотя бы одним навыком, то он не может называть себя Data Scientest. 
Если сравнить требования вакансий и требования, описанные в этой статье, то ни одна их этих вакансий вообще не соответствует этим требованиям, некоторые соответствуют процентов на 50%.
А если еще и посмотреть на реальность внутри компаний, на поверку окажется что для решения 95% задач абсолютно не требуются искомые в вакансии компетенции, то можно прийти к неутешительному выводу, что нам еще далековато до «ученых данных». Вероятно такие есть в университетах, может даже в IT-компаниях. Но уверен в реальности и не все они соответствуют требованиям, таких единицы.
Что самое интересное, что для компетентных специалистов и вакансий таких-то нет, т.е. либо задачки слабоваты либо уровень оплаты.
Вот и остается им участвовать в конкурсах Kaggle.
Надеюсь когда-нибудь дорастем.
Удачи вам!

BDaaS — Big Data as a Service

0

Недавно услышал новый термин и сразу резануло ухо. Опять новомодное слово. Скоро все что сдается в аренду будет иметь приставку aaS — As a Service — как сервис. С одной стороны я согласен, что стоимость владения некой инфраструктурой действительно можно оптимизировать, если взять эту инфраструктуру в аренду. С другой стороны, зачем брать нечто в аренду, что не дает тебе никакого бизнес-value. Ведь не для всякого бизнеса Big Data вообще может дать какой-то результат. То есть этот результат будет, но выигрыш будет ничтожным по сравнению с тем, что может дать и традиционный инструментарий.

Причем что интересно, количество решений, позволяющих решать задачи класса Big Data растет просто ошеломляющими темпами, но при этом громких успешных кейсов не так-то и много и более того часть этих кейсов можно решать традиционным способом. На мой взгляд есть более перспективная ниша, а именно не просто Big Data as a Service а готовый сервис с преднастроенными моделями данных, позволяющих решать конкретные задачи бизнес-заказчика. Такие модели должны быть не просто построены на статичной архитектуре, а быть адаптивными к набору данных заказчика. И хотя я скептически отношусь к разного рода готовым моделям в BI. Готовое решение, с реальными зашитыми бизнес-кейсами внутри, которое можно потестировать на своих данных, является более многообещающим решением, на мой взгляд, чем использования технологий обработки данных.

Что толку тестировать инструмент без решения конкретной задачи, если можно решать уже конкретную бизнес-задачу на своих данных, оценивать эффективность и практически мгновенно понимать на сколько использование этого инструментария окупается.

На мой взгляд появление такого рода систем позволит сделать качественный скачок в обслуживании клиентов при небольших затратах организации.

Я пока мало слышал о таких готовых решениях, есть наработки по обработке данных соц. сетей при обработке отзывов, надеюсь мы будем слышать о таких решениях все чаще и они действительно рано или поздно вытеснят традиционный инструментарий.

Удачи вам! Стройте умный бизнес!

Удачи Вам!

Вверх