Новичкам

Мобильный BI, первые шаги

0

С момента анонсирования первого Ipad прошло уже достаточного много времени, да и планшетники уже не просто центр развлечений, а реальный рабочий инструмент менеджера любой крупной компании.

Вот и мы не стали исключением и озадачились созданием мобильной отчетности. Предпосылки на тот момент появились, весь топ-менеджмент использует планшеты, недельные материалы достигли уже такого объема, что пачки бумаги не хватало, чтобы подготовить их для всех.

На тот момент мы достаточно продвинулись в своей отчетности, поработали над дизайном презентаций, перешли на подготовку в pdf, благо с момента появления новых версий офиса, конвертер в pdf появился встроенный. На планшетах pdf выглядит отлично. Но все равно это было не то… Чего-то не хватало, а именно, когда требуется более глубокий разрез информации, материалы опять разрастаются.

В applestor-е можно скачать демо-версии мобильных BI-приложений и посмотреть их фичи. Мы не стали каким-то исключением и на этапе выбора конечно скачали демки, потыкались в них.

К тому моменту мы уже внедрили Oracle BI, и морально было трудно решиться на покупку еще одного BI, только теперь уже мобильного, но все-таки мы это сделали. Почему не мобильный Oracle BI? Не буду описывать все «прелести» этого решения, но оно мягко скажем не очень хорошее. Единственным плюсом этого решения остается только то, что разработчик работает в одном средстве, т.е. не нужно держать 2 компетенции. На этом его плюсы заканчиваются. Можно конечно отметить еще низкую стоимость лицензий, но платить на тот момент было не за что. Пока это была только смотрелка с планшета и собственно говоря все. Пообщавшись с коллегами из Oracle, они анонсировали вторую версию, которая должна обладать нативными функциями, адаптированными под сенсорный дисплей. Выход этой версии затянулся. Уже по прошествии времени я с ней познакомился, интерфейс сделали классный, но все остальное — опять смотрелка, нативные функции реализованы только для управления. А сами dashboard-ы никак не адаптированы под сенсорные дисплеи.

Нельзя не отметить в этой линейки мобильное решение Cognos BI, оно сделано лучше. Единственный минус — это пожалуй то, что IBM не думает, что скорость передачи данных в отдельных странах пока мягко скажем не идеальная, соответственно они не продумали нормальное «листание», любое перелистывание выглядит так как будто вы едете по дороге после гусеничного трактора, картинка ужасно тормозит и скачет. И это на демо-версиях, где пожалуй все должно быть оптимизировано. Даже специалисты IBM когда я им это показал отметили, что это реальная недоработка с их стороны. На мой взгляд, если бы они сделали эффект выцветания, тогда это бы очень сильно сглаживало этот недостаток.

Из тех, что еще смотрели, пожалуй RoamBI выглядит симпатично и демо у них неплохие.

Остановились мы на Microstartegy. Пожалуй лучшее на сегодня приложение. Любители майкрософта и других платформ не закидывайте меня пожалуйста тапками и не говорите, если чего-то не видел, то и нефиг хаять наше любимое детище. Ребят, не обижайтесь, но на мой скромный взгляд mstr действительно лучшее решение. Реализованы нативные функции, эффект выцветания сглаживает все проблемы со скоростью передачи данных. Из минусов — дорого, второй минус, который нашелся абсолютно случайно, это то, что встроенные карты адаптированы под черный цвет фона, любые попытки победить это закончились неудачей. И кто придумал что на планшетах мобильный BI должен быть черный? Прямо мода какая-то пошла, если вы скачаете любое мобильное приложение, то на демке оно обязательно будет черным. Черный — это круто, но если корпоративный стиль в других цветах, что делать то? В общем в итоге вместо карты реализовали подложку, конечно не так круто как с картой, но все равно проблема решилась. Организовали конечно сервис реквест на доработку и если в следующих версиях выйдет карта с возможностью изменения фона, то знайте, это мы приложили к этому руку.

Остальной функционал на высоте, лучше пока не видел, если кто знает дешевле и лучше, пишите в коммент обязательно посмотрим.

Теперь вместо 5 презентаций общим объемом более 100 страниц, реализовано мобильное приложение. И если pdf-ки приходится дотачивать руками, то эта штука в виде шкурки не требует никаких доработок. И по сути необходимо контролировать еженедельное наполнение витринки и обеспечивать контроль качества данных.

Время не стоит на месте, и с тех пор как реализован первый релиз мобильного приложения у менеджмента появились новые хотелки, которые опять же в виде презентаций быстро и легко были реализованы. Теперь мы работаем над источником и готовимся выпустить обновление приложения, которое пожалуй сэкономит нам на бумаге уже больше 2-х пачек в неделю))

Отдельно остановлюсь на том как мы подходили к разработке интерфейса мобильного решения.

Основная задача — это минимизация времени по поиску данных, т.е. любой показатель должен быть доступен за минимальное число шагов. Тут конечно пришлось достаточно много времени потратить, чтобы оптимизировать представление, но на мой взгляд, первый «блин» нам удался достаточно хорошо и точно не вышел комом. Да и думаю благодаря нам, интегратор наработал достаточную экспертизу, чтобы разрабатывать такие приложения. Так что коллеги, если читаете, с вас причитается за рекламу;-).

Совет у меня простой, начинайте с небольшого набора данных, иначе будет долго. Мы были заложниками обстоятельств, существовавший набор презентаций требовал приложить больше усилий, чтобы было как минимум не хуже. Потратили мы на разработку ТЗ и реализацию, доработку месяца 3. Если бы данных было меньше, думаю за месяц можно было бы управиться.

Ну а если кто-то раздумывает о том, нужно вам это или нет, пишите, обязательно смогу дать вам пару советов.

Удачи вам!

 

Подходы к контролю качества данных

0

Сегодня мне бы хотелось изложить возможные подходы к контролю качества данных. И не важно, получаете ли вы данные от специалистов вверенных вам подразделений или получаете из автоматизированных систем, которые туда первично также заносятся такими же специалистами, задача контроля данных всегда важна и актуально. Еще не придумано алгоритмов от человеческих ошибок.

Все алгоритмы контроля качества я бы разделил на несколько типов (возможно вы еще что-то добавите, будет интересный FAQ по данному вопросу):

1. Проверка «от дурака». Т.е .контроль данных на какие-то случайные значения, которые либо не могут существовать в принципе, либо отсутствуют те значения, которые должны быть.

Пример из банка, кредит физического лица составляет 700 млн.руб. Вероятнее всего эта ошибка появляется в результате того, что кто-то забыл поделить на 1000 руб. Т.е. указал как 700 000, но при этом уже само поле БД было в тыс. руб., вследствие чего произошла ошибка.

Это можно вылавливать с помощью валидного диапазона по накопленной статистике. Т.е. выбирать значения, которые не укладываются в валидный диапазон и проверять на ошибки.

Другим примером может быть некорректное заполнение поле «пол». Например, указывается Сергей Петрович Иванов, а пол указан «женский».  В данном случаи таки ошибки также могут быть отловлены проверками. Как правило, все мужские отчества заканчиваются на «ич». Конечно, бывают исключения, но очень редко, все таки исключения можно проверить глазами. По хорошему, составить справочник таких исключений.

Иногда забивают фиктивные данные в обязательные для заполнения поля «телефон», «инн», «паспортные данные» и т.д., т.е. ставят любое числовое значение, если заранее не предусмотрена такая проверка. Каждое из этих полей имеет определенную маску, на основе которой можно проверять корретность заполнения данных полей.

 2. Проверка данных на бизнес-логику.

Здесь помимо диапазонных проверок, можно делать трендовые проверки. Трендовые проверки позволяют выявлять выбросы в данных и попытаться разобраться с ними.

Давайте рассмотрим на примере: предположим, что вы собираете отчетность по продажам. В первый период 10 единиц, второй период 12, третий период 15 единиц, четвертый период 60 единиц. Вам нужно проверить данные за 4 период. Если построить линию тренда по первым трем периодам и сравнить с данными за четвертый, то вероятнее всего цифра в 60 единиц должна вызвать у вас сомнение. Какой диапазон чувствительности установить вы решаете исходя из вариации в данных по продажам. Отдельные выбросы должны быть объяснимы, например, сезонностью или проведением стимулирующих мероприятий. Но если не было ни того, ни другого, то вероятнее всего проверку стоит продолжить. При стимулирующих акциях иногда снижают стоимость на товары, в данном случае, можно проверить среднюю стоимость единицы. Если падает и натуральные показатели растут, то вероятнее всего было стимулирующее воздействие. Хотя в некоторых случаях это может быть не так. Т.е. закралась ошибка в натуральный показатель и при этом она совпала с периодом проведения стимулирующей кампании.

3. Емкостные или ресурсные ограничения. Если вы можете продать всего X товаров, за период вы поставили Y, то вероятно, что объем продаж не должен превышать суммарного значения обоих величин. Простая проверка на значение позволяет отсеять некорректные данные. Можно задать еще границы чувствительности и работать с данными, попадающими в верхний диапазон границы X+Y. Если у вас информация по остаткам, то арифметика должна работать. Если арифметика не работает, вероятнее всего какие-то данные не корректны, что требует пристального внимания.

Некоторые другие примеры:

Объем продаж Интернет не может быть больше численности региона, в котором идут продажи. Есть исключения, когда заводятся несколько каналов интернет в коттеджные поселки, но это скорее исключение из правила. Но тоже лучше внимательно отнестись к данным.

Возможно, прочитав материал, вы сможете привести примеры ошибок, которые не попадают ни под один представленный типа, мы тогда вместе с вами добавим еще один типа ошибок и подумаем над способами реализации контроля.

Удачи вам! И корректных данных.

Автоматизируем процесс подготовки отчетности

0

Сегодня хотел бы сказать несколько слов о скорости подготовки отчетности. Если ваша отчетность формируется полностью в автоматическом режиме, то, наверное, дальше будет читать не столь интересно, хотя данный опыт может быть полезен и в других областях.

Все мы сталкиваемся в своей работе с большой долей монотонных одинаковых операций, когда получая какие-нить выгрузки из транзакционных систем, нам приходится очень долго обрабатывать информацию, чтобы превратить наконец «сырую» информацию в красивый отчет для менеджмента компании (подставить свое). Самое интересное, что подавляющее большинство специалистов при этом клянут эту часть своей работы, предпочитая не сбор и трансформацию данных, а анализ, поиск новых алгоритмов, т.е. креативную составляющую работы аналитика. Чем дольше приходится решать задачу сбора информации и ее обработки, тем меньше остается времени на ее анализ, поиск «жемчужины» и т.д. Как правило, даже правило Парето отдыхает, потому как до 90% времени уходит именно на сбор информации, проверку ее качества и приведение ее в божеский вид, который уже действительно можно использовать для анализа.

Что интересно, большинство менеджеров не пытаются автоматизировать свою функцию, т.е. они продолжают из месяца в месяц готовить один и тот же отчет, доводя себя до изнеможения. Я хотел бы обратиться к таким горе-аналитикам, вам себя не жалко? Почему нельзя автоматизировать эту часть монотонной работы. Не нужно обладать глубокими знаниями и навыками программирования, чтобы сделать автоматические мэппинги в формате Excel. Для этого, конечно же придется выкроить какое-то время, чтобы один раз его настроить и затем им пользоваться постоянно, экономя значительное время, которое может быть потрачено действительно с пользой.

Давайте вспомним как мы формируем отчетность:

1. Мы дождались, когда информация появится из всех источников. А лучше подождали, когда до конца отчетного срока останется 2-3 дня. Мы же уверенны в собственных силах, нам 2-3 дня на подготовку всей отчетности всегда достаточно. Проверять за собой — это удел неуверенных в себе людей.

2. Мы начинаем делать выгрузки из всех источников, в это время начинаем ругать IT блок, что системы начинают сбоить и что-то у нас не получается. Если все прошло удачно, то у нас на руках наконец оказываются большие простыни данных.

3. Трудностей мы не боимся, теперь нужно перелопатить простыни и скопировать всю необходимую информацию в заранее подготовленный «красивый» шаблон. А так как простыней много и шаблон огромный нам бы неплохо себя перепроверить, но на это нет уже времени. Срок подходит.

4. Так осталось часа 3 рабочего времени и целый вечер впереди, чтобы написать какие-то мысли по поводу всего этого безобразия. 3 часа — ерунда — хватит и получаса, мы же профессионалы, можно и кофейку попить, обсудить планы на вечер, за пол часа до конца рабочего дня пишем отчет, все отчет готов, нажимаем кнопочку «Send», и скорее бежим с работы, а то вдруг шеф что-то захочет уточнить или ему что-то не понравится.

Узнаете? Напишите мне в комментарии, если у вас все выстроено идеально, страна должна знать своих героев. Я могу вам сказать, что этим грешат не только мелкие компании, но и крупные компании с хорошо выстроенными, прописанными бизнес-процессами.

Это конечено сарказм и написано в стиле «как не нужно делать». Что бы я посоветовал вам для того, чтобы сократить время на подгтовку отчетности.

Если бюджета на автоматизацию нет и у нас под рукой только Excel, то подход следующий:

1. Формируем универсальный шаблон, первый лист которого повторяет ваш «красивый» шаблон.

2. Каждый следующий лист должен повторять формат выгрузки из источника, т.е. чтобы выгрузку можно было скопировать один к одному.

3. После этого формируем мэппинг ячеек из выгрузки в ячейки «красивого» шаблона.

Это первый этап. Желательно после этого потестировать, чтобы после копирования данных источников на листы, данные действительно попадали в нужные ячейки «красивого» отчета.

Что касается проверки качества. Используя условное форматирование можно проверять данные на наличие каких-либо выбросов. Либо заранее подготовить еще один лист в шаблоне и на нем организовать проверку качества. Настроить шаблоны графиков, если есть в этом необходимость. Прописать необходимые формулы в ячейках по всем расчетным показателям.

Настроив один раз таким образом шаблон, вам стается вместо монотонного копирования и трансформирования данных каждый месяц, скопировать данные из всех источников и вставить в листы заранее подготовленного шаблона. Перейти на вкладку анализ качества данных и посмотреть на результаты. Остается, один самый ответственный шаг — написать комментарии для руководства.

Могу вас заверить, что у вас появится намного больший интерес к работе, вы будете успевать делать намного больше. Руководство вас от этого начнет ценить еще больше, так как в единицу времени вы сможете успевать делать много больше. Практически все ручные операции, которые повторяются каждый период, можно заменить машинным трудом.

Конечно, есть и минус такого подхода. Если раньше вы были ценны за то, что перелопачивали столько материала, то сейчас за вас это сделает компьютер. Но компьютер никогда не сделает за вас анализ данных и не опишет рекомендации, которые помогут увеличить эффективность предприятия. Так что не стоит бояться автоматизации. Времени на анализ будет больше и выводы ваши будут намного ценнее, чем те, которые были написаны за пол часа до окнчания рабочего времени.

Удачи вам, цените свое время!

Не важно «как», важно «что»

0

Сегодня короткая заметка на очень интересную тему. Думаю, многие сталкивались с тем, что менеджер превозносит свои заслуги, иногда ставя процесс на первое место, вместо достигнутого результата. Раньше я тоже этим грешил, пока не стал руководителем и не задумался над этой проблемой. Оценивая свою проделанную работу и проделанную работу своих коллег, подчиненных либо менеджеров смежных подразделений, могу точно сказать, что практически всегда оценка проводится по достигнутым результатам. Многие молодые сотрудники, приходя на предприятие не понимают этого и считают, что они хорошие работники лишь потому, что они выполняют так много ответственных, как им кажется, поручений руководителей. Они даже не догадываются, как они ошибаются. Часто они говорят, вот какую я работу проделал, вот так все красиво получается. При ближайшем рассмотрении, видно, что данную работу можно было упростить в 10-ки раз, добившись такого же результата в гораздо более короткое время. Обращаясь ко всем, вы поймите, не важно как Вы решили изящно ту или иную задачку, всегда найдется тот, кто решит эту задачу быстрее, эффективнее и более изящно. Важно, какой результат это принесло компании. Иногда это сложно признавать и лучше считать себя незаменимым специалистом, но увы это не так и от этого никуда не деться. Поэтому, если хотите выделяться на общем фоне, приносите реальные результаты, а не просто будьте хорошими работниками. И тогда вам никто не скажет — вы хороший работник, но результативность у вас низкая.

Удачи Вам! Будьте результативны и эффективны!

Data quality — качество данных

0

Сегодня мне бы хотелось поговорить о самой большой проблеме всех внедрений BI — о проблеме качества данных. Особо острой проблема является в тех случаях, когда существует более чем один источник данных. Например, в British Telecom сейчас более 200 биллинговых систем. И несомненно, когда приходится считать какой-либо составной показатель из нескольких источников или выбирать показатель из множества конкурирующих источников (источники, которые содержат один и тот показатель), в этом случае мы всегда сталкиваемся с решением задачи обеспечения качества данных.

Недавно я встречался с Вице-Президентом Oracle по BI — Полом Родвиком и задал вопрос о подходах, которыми пользуются компании во время внедрения. О двух из них я несомненно слышал, но третий меня слегка удивил, хотя он имеет право на существование.

В настоящее время есть несколько принципов решения проблем:

1. «Глубокое решение» — подход, при котором создается единый источник, который является мастер-источником для всех остальных систем, т.е. идет двухсторонняя интеграция. Т.е. изменяя данные или справочники в мастер-источнике, данные меняются в остальных источниках автоматически. Пожалуй самый дорогостоящий подход, но при этом самый, наверное, правильный. Несомненно, если у Вас более 10-ка разных источников со своей нормативно-справочной информацией по каждому из них, и Вы собрались создать мастер-источник с нуля, приготовьтесь раскошелится.

2. Аналитический подход — односторонняя интеграция — справочники поддерживаются аналитически на уровне хранилища в BI-системе. Там же решается приоретизация конкурирующих источников. Гораздо дешевле во внедрении, немножко сложнее поддерживать. Все-таки с источников могут прийти любые данные, могут появиться новые источники, соответственно приходится постоянно решать эту задачу.

3. Не решать задачу вообще. Я был немного удивлен этим заявлением Пола. На что он заметил: «Для некоторых отраслей гораздо важнее иметь хоть какие-то данные, чем не иметь их вовсе». Конечно, применительно к телекому, банкам или ритейлам такой подход вряд ли возможен, хотя по некоторым типам данных, возможно. Но все же он имеет право на существование.

Вообще говоря, прежде чем использовать данные, необходимо решить вопрос о качестве данных. В противном случае, в том случае если данные недостоверные, своим решением можно нанести ущерб предприятию, нежели пользу.

Я при выборе подхода руководствуюсь финансовой составляющей. Какой эффект дает улучшение качества данных? Если погрешность в данных достаточно низка, при этом данные используются не для формирования официальной раскрываемой информации, а всего лишь для проведения аналитических выкладок или проверки каких-либо гипотез, стоит ли улучшать качество этих данных, если улучшение не принесет никакой дополнительной ценности для компании? Вопрос, конечно, больше риторический, ситуации бывают разные.

А какими способами пользуетесь Вы при выборе источника данных и как контролируете качество?

Удачи Вам!

Вверх
Яндекс.Метрика