Тренды

Почему BigData стала трендом

0

25 фактов о BigData, что делает ее трендом.

  1. Каждые 2 дня мы создаем столько информации, сколько создали за все время до 2003 года [Source]
  2. Более 90% всех данных было создано за последние 2 года [Source]
  3. Ожидается, что к 2020 объем цифровой информации вырастетс 3.2 зетабайт до 40 зетабайт. [Source]
  4. Объем накапливаемой информации удваивается за 1.2 года [Source]
  5. Каждую минуту мы отправляем 204 миллиона электронных писемs, ставим 1,8 миллионов лайков в Facebook-е, отправляем 278 тысяч твитов, и закачиваем на Facebook 200 фотографий [Source]
  6. Только поисковик Google обрабатывает 40 тысяч поисковых запросов в секунду или 3.5 млрд. в день [Source]
  7. Каждую минуту на YouTube закачивается 100 часов видео, а для того, чтобы посмотреть одному пользователю видео, закаченное за день требуется 15 лет [Source]
  8. Пользователи Facebook 30 млрд раз расшаривают какую-либо информацию каждый день [Source]
  9. Если закачать все данные мира на DVD и поставить их один на другой, то можно дважды достичь луны [Source]
  10. База данных AT&T в объеме составляет 312 терабайт, содержит почти 2 триллиона 2 строк (и кстати это не самое большое хранилище ebay много больше). [Source]
  11. каждую минуту появляется 570 новых сайтов. [Source]
  12. 1.9 миллионов рабочих мест для IT специалистов будет создано для работы в области BigData в США к 015 году. Каждое из них будет генерить еще 2 рабочих места вне IT для обслуживания этих рабочих мест. Или 6 млн. рабочих мест только благодаря BigData [Source]
  13. Сегодня Дата центры занимают размер 6 тыс. футбольных полей [Source]
  14. Компании ежедневно обрабатывают 12 терабайт твитов для сентиментного анализа. [Source]
  15. Объем данных, пропускаемых через мобильную сеть в месяц увеличился на 81% с 2012 по 2014 год и достиг объема 1.5 экзабайта (1.5 миллиарда гигабайт).  [Source]
  16. Агентство национальной безопасности США анализирует 1.6% всего мирового Интернет трафика каждый день – около 30 петабайт (30 миллионов гигабайт) [Source]
  17. Объем рынка Hadoop вырастет с $2 миллиардов в 2013 до $50 миллиардов в 2020,  согласно отчету Allied Market Research. [Source]
  18. Количество бит в цифровой вселенной превысило количество звезд во всей вселенной в 2007 году [Source]
  19. В этом году уже будет больше 1.2 миллиардов пользователей смартфоново с сенсорным экраном и большой объемом памяти для хранения информации и объем будет только увеличиваться. [Source]
  20. Ожидается бум «Интернета вещей», это значит, что к сети Интернет будет подключена 50 млрд устройств к 2020 году, сейчас уже порядка 13 млрд. [Source]
  21. 12 миллионов RFID (беспроводный мониторинг устройств) используется для сбора данных и отслеживания движения объектов в физическом мире, эти устройства проданы в 2011 году. К 2021 их число устройств, отслеживающий объекты возрастет до 209 миллиардов. [Source]
  22. Big data используется для прогнозирования преступлений прежде чем они случаются, так пилот “predictive policing” в Калифорнии смог предсказать место преступления в 3 раза точнее чем все существовавшие ранее методы. [Source]
  23. При интеграции big data аналитики в зравоохранение, индустрия может сэкономить 300 млрд. в год согласно последним исследованиям или порядка 1 тыс. долл. в год на каждого человека [Source]
  24. Ритейлеры могут увеличить маржинальность на 60% используя всю мощь аналитики big data. [Source]
  25. Рынок big data вырастет с $10.2 млрд. долл. США в 2013 до $54.3 млрд. долл. США в 2017. [Source]
Это огромный скрытый рынок возможностей, разбросанный по многим отраслям индустрии, но который сделает жизнь человека лучше.
Удачи вам!

День сурка, Big Data и тренды (Data Driven Services)

0

Прочитал итоги прошедшей 4 июня 2014 г. конференции   «Big Data – технология будущего»

Подробнее вы можете ознакомиться по ссылке:http://bigdata.cnews.ru/reviews/index.shtml?2014/06/11/575622

 

 

Выводы печальные и неутешительные. Прошло 2 года с момента когда я участвовал в круглом столе совместно с коллегами из других телекомов и компанией IBM. Так вот, с того момента, я вам хочу сказать, мало что поменялось. Пожалуй выделился определенный тренд использования дешевых opensource решений для тестирования высоконагруженных задач без какого-либо эффекта.  И все! Прошло 2 года и кейсов особых не добавилось, да, все говорят о том, что можно делать и без технологий Big Data. Вымпелком все ищет птицу счастья, однако не хочу ничего говорить, но их задачи можно решать и без этой технологии. Объемы данных не позволяют тестировать быстро, но все же можно. Пусть так.

Но неужели BigData только для крупных компаний?

На мой взгляд еще далеко не все карты брошены на стол и не охотно все делятся кейсами, сохраняя свое конкурентное преимущество. Но и среди вендоров и интеграторов я пока не встречал ни одного, кто поделился бы интересными кейсами по монетизации. Кейсы есть — я это точно знаю, но делиться ими никто не хочет, это показывают результаты конференций.

Хочу познакомиться с кем-то, кто знает больше чем я уже знаю. Реально очень интересно узнать и рассказать об этих кейсах читателям.

О части интересных кейсов я уже говорил ранее, это и кейсы LinkedIn и кейсы Ebay, кейсы ряда компаний, связанных с оценкой платежеспособности. Есть интересный стартап, который предсказывает поведение акций компаний, анализируя информационный фон, есть интересный кейс операторов, связанный с анализом перемещения потоков пользователей (о котором говорит Вымпелком, но не они его первыми начали) и монетизация этого кейса кстати у меня до сих пор под вопросом. Есть M2M кейсы, с анализом информации о состоянии автомобилей и выявления неслучайных дефектов. Есть интересные кейсы по дистанционному мониторингу состояния человека с анализом поведения. Никто почему-то об этих кейсах на конференции не рассказывает.

На мой взгляд есть четко выраженная тенденция. В маркетинге это Data Driven Marketing — маркетинг, основанный на анализе данных. В телекоме и банках пожалуй это было давно, не могу сказать когда именно начался тренд, по крайней мере этому тренду больше 10 лет. В других отраслях это появилось чуть позже, но все же тренд достаточно давний.

Но я бы назвал то, что сейчас происходит при растущем объеме информации Data Driven Services — появляется множество сервисов и услуг, построенных на основе «захваченной» (полученной) информации. Сейчас это действительно тренд и сообщения об инвестициях в стартапы его только разогревает. Но это не о вендорах, на чьих решениях построены сервисы, это об интеллектуальных алгоритмах получения выгоды от преобразования сырых данных в некие знания. Понятно, что вендоры пытаются играть на этом рынке, и надо отдать должное иногда у них это получается, но я бы сказал, что это не их рынок. Пока не их, так как монетизация этих сервисов проходит достаточно долго.

Удачи вам. Надеюсь от всего этого выиграем мы, простые граждане.

 

Квадрат Гартнера 2014

0

2014 Gartner Magic Quadrant for Business Intelligence and Analytics large

Для сравнения напомню квадрат Гартнера в 2013 году

2013 BI MQ

Мало что поменялось, единственное, что по способности внедрить задуманное вышли в лидеры Tableu и QlikView, опередив Microsoft, все остальное практически не изменно в квадрате лидеров. Ряд нишевых игроков подтянулись, что подстегивает других развивать свои продукты.

Если честно, я давно достаточно скептически и насторожено отношусь к рейтингам. В этом рейтинге достаточно много учитывается факторов непродуктовых, что не всегда «по способности» оценивает продукты.

Удачи вам, смотрите на рейтинги, однако лучше выбирайте глазами и руками.

С новым годом!

0

Заканчивается 2013 год, для кого-то от стал хорошим, для кого-то не очень, но это не повод стоять на месте, нужно двигаться дальше.

Для меня, пожалуй этот год стал переломным, пришлось много поработать на новом месте работы.

Я получил новый рыночный практический опыт.  Для того, чтобы сделать одну успешную акцию, необходимо было протестировать 10 и сделать правильный вывод из них.

Еще один вывод — конкуренция это не повод оправдывать свои неудачи. Если думать, что конкуренция мешает, она действительно мешает. На самом деле, внутренние ограничения и барьеры мы создаем сами себе. То же самое касается не только конкуренции, но и любых других сфер деятельности.

Самое ценное — я теперь на практике понимаю чем менеджер отличается от лидера. И те и те по своему интересны, однако все же мне интереснее работать с лидерами, от них можно большему научиться. От менеджера только контролю сроков, что несомненно важно пока идет все хорошо. Как только ситуация становится критической лидер по-прежнему плывет, а вот менеджер уже ничего не может.

Работа в большой организации значительно отличается от работы в маленькой и я бы сказал, что в маленькой чувствуешь себя комфортнее, маленькой компании проще изменится за короткий срок, есть какой-то здоровый драйв, конечно есть свои минусы, однако плюсов все же я вижу больше.

В этом году появились действительно интересные проекты по Big Data, надеюсь в следующем их будет еще больше.

В этом году также на рынке появилось большое число решений по комплексу интегрированного маркетинга (планирование ресурсов, моделирование и целевые кампании).

BI решения двигаются в сторону self BI решений, вендоры задумываются над визуализацией решений, растет производительность решений, во многом это связано со снижением стоимости оперативной памяти.

На рынке России операторы сотовой связи начали бороться с мобильным спамом. Что интересно, это вылилось в значительное поднятие цен на SMS-услуги по информированию абонентов, объем спама пока не прекратился, так как компаниям пока запрещено блокировать федеральные номера, теперь компании вместо тикеров подставляют федеральные номера и спам не блокируется.

Появились достаточно интересные сервисы, в том числе в России, основанные на местоположении абонента сотовой связи в сети. Надеюсь это положительным образом скажется на развитие городов. Главное, чтобы нашлись правильные заказчики на эту информацию и смогли ее правильно интерпретировать.

Удачи вам в новом году, чтобы никакие невзгоды не омрачали жизнь, побольше двигайтесь вперед, не опускайте руки перед преградами, здоровья вам и вашим близким!

Teradata Forum 2013 (Терадата форум)

0

Лучше поздно, чем никогда, вновь удалось побывать на самом интересном на мой взгляд форуме в России от компании Teradata. Компания не только не опустила планку, но даже на мой взгляд ее немного подняла. Приглашенные спикеры как всегда добавили интереса. И наконец кейсы Big Data начались наполняться каким-то смыслом.

Мне больше всего понравилось выступления представителя компании LinkedIn, который рассказал как они на основе анкет создают сервисы как для самих пользователей, так и для B2B-клиентов. На мой взгляд это универсальный алгоритм монетизации BigData. Вероятно, они шли от обратного, т.е. сначала накапливали множество анкет, а потом уже делали интересные сервисы и каждый такой сервис представлен в соц. сети в виде виджета. Удивительно, как можно много сделать интересных сервисов, используя анкетные данные и связи.

Это кладезь информации для исследователей.

Интересны были также выступления российских телеком. компаний, конечно они достаточно сдержанно в отличие от своих коллег по рынку делятся информацией, но все же было на что посмотреть.

Особенно привлек кейс компании МТС, которая начала борьбу с мобильным спамом и в итоге во что это сейчас вылилось. Понятно, что основная задача компании заработать, в итоге не чистые на руки контрагенты теперь уже просто отправляют (а многие и просто подставляют) с федеральных номеров, другие просто используют контент, который за спам не примешь, подставляя различные слова. И на мой взгляд, это конечно не приведет к снижению спама, спам по прежнему продолжит расти, другое дело, что алгоритмы обхода будут модернизироваться.

Жалко, что компания Мегафон не было, а им есть чем поделиться, особенно исследования, которые они начали делать на основе перемещения пользователей своей базы. Тут и сплетение понятия «умный город» и алгоритмы Big Data (можно найти в поисковике про урбанистический форум и интервью Романа Постникова).

Все-таки стоит признать, что кейсов BigData (и здесь не про большие массивы данных, а именно про алгоритмы и использование данных) в 2013 году на порядок выросло. И интерес компаний к этим кейсам продолжает расти, от чего несомненно должны выиграть все и простые пользователи и бизнес.

Удачи вам!

PS В последнее время к сожалению все меньше времени остается на записи, одна я постараюсь и дальше вас радовать новыми мыслями.

 

Вверх
Яндекс.Метрика