Big Data Landscape 2016

1

Все ключевые инструменты в одной картинке (кликабельно)!
Big Data

Как обманывают банки

0

Достаточно давно уже Центральный банк РФ обязал все банки показывать в процентной ставке все скрытые платежи и комиссии перед кредиторами, однако крупнейшие банки нашли-таки лазейку это не делать.

Давайте расскажу свою историю. Брал кредит на ремонт и так получилось, что пришлось это на один из самых пиков. Ставка у меня получилась на мою сумму в 23.7% годовых. Деваться особо было некуда, да и платежи были достаточно комфортными. Да и ситуация в будущем обещала измениться к лучшему, все-таки тренд по ключевой ставке был отрицательным, что наводило на мысль о возврате если и не докризисный уровень ставок, то хотя бы близкий к нему, а следовательно я смогу перекредитоваться под меньший процент.

Прошло какое-то время, ситуация чуть улучшилась, да и рекламные материалы банков начали радовать приятными процентами по потребительским кредитам. В том банке где я брал кредит ситуация не позволяла брать второй на перекредитование, да и статистика ободрения кредитов как-то пугала дикими процентными ставками. Обратился в другой, подал необходимые документы, получил подтверждение об одобрении. Прихожу в банк, мне объявляют процентную ставку в 19.6%, что оказывается значительно выгоднее текущих моих условий. Но что-то мне не давало покоя мельком брошенная фраза кредитного консультанта о том, что есть какая-то страховка. Стал спрашивать про страховку, говорят все включено в ежемесячный платеж. Отлично, а какой ежемесячный платеж. Мне называют сумму, которая почему-то при более низкой ставке оказывается выше моего текущего платежа со ставкой 23.7%.

Пытаюсь узнать детали, но кредитный консультант мне все время говорит о ставке 19.6%. Ну и как-то мельком называет ежемесячную ставку 0.3% от суммы кредита страховку. Мне объявили период о которого действует одобрение, я сказал подумаю и за сим пошел считать, что же такое происходит.

Во-первых я пересчитал процент при названном мне ежемесячном платеже от одобренной суммы кредита, оказалось, что ставка примерно 29%, т.е. почти на 10% больше чем мне озвучено.

Потом пытался понять, как же у них так получается. Вычислил сумму, которую я должен был взять при 19.6%, чтобы получился тот самый платеж. Сумма оказалась ровно на 18% больше. Если ее поделить на 60 мес., срок кредитования, то как раз получается те самые 0.3% в месяц, но не от остатка суммы, а от первоначально взятого кредита. Т.е. как бы вы досрочно не гасили, страховку-то вы оплатите.

Потом полез в Интернет, почитал отзывы тех, кто уже столкнулся с этим. Оказывается действительно появилась такая практика в банках, в договоре указана не запрашивается сумма, а сумма + та самая страховка. Берете одну, а возвращаете не только ее и проценты, но и страховку с процентами. Но все чисто, банк-то одобрил под 19.6% с программой страхования, остальные почти 10% это ведь страховка. Может даже в договоре указан фактический процент, однако не удивлюсь, что это может быть не сделано.

Зато ЦБ всех обязал. Поэтому если вы вдруг вынуждены брать кредит, внимательно следите за условиями, иначе будете переплачивать очень сильно.

Удачи вам!

Machine learning сменил Big Data

2

Интересная статейка. Когда это должно было произойти.

Все-таки не зря я говорил, что это маркетинг вендоров. Успешных кейсов по Big Data не так много. На смену теперь пришли алгоритмы machine Learning. А вот визуальная классификация алгоритмов.

 

Machine Learning

Удачи Вам!

Какая точность считается нормальной?

0

Каждый раз когда речь заходит о моделировании, мне очень часто приходится слышать вопрос — как вы считаете, какая точность является нормальной. И я всегда не могу на него ответить однозначно, назвав какую-то величину.  В моем блоге достаточно примеров, когда точность важна, когда я писал про моделирование потребления электроэнергии, когда каждый закупленный в пустую киловатт может пропасть, а не закупленный может не принести желанной прибыли, но мог быть реализован. В то же время бывают другие ситуации, когда точность прогноза не столь важна, особенно если для достижения точности приходится значительно усложнять модель, которая в конечном итоге плохо интерпретируется, а иногда и вовсе становится неустойчивой на более длительных отрезках времени.

Попробуем на примерах показать, что есть хорошо, а что есть плохо.

Пример 1

Модель на тестовой выборке показывает 60%. Я бы не советовал брать такую модель. Это очень низкий показатель, близкий по сути к угадыванию, которая на боевых данных может не дать хорошего результата, особенно, если сам прогнозируемый фактор имеет очень маленький вес.

Но бывают и другие ситуации, нужно с чего-то начать, и если сравнивать взять просто список клиентов и начать обзвон или применить модель а потом по полученному списку начать обзвон, то я бы советовал использовать модель, чем совсем бездумно начать звонить. Эффект может быть все же выше с моделью. Да, эффект будет незначительным, но это лучше, чем ничего.

Пример 2

Модель на тестовой выборке показывает 87%. Такая точность может дать неплохие результаты на реальных данных, но они могут быть далеки от идеала по следующим причинам: недостаточно данных для обучения. Модель была построена на маленькой выборке, не являющейся репрезентативной, что обязательно скажется на качестве прогноза. Но если задача начать, то это тоже неплохо.

Пример 3

Модель показывает результат 97%. Модель должна показывать неплохой результат, если конечно вы не заигрались с ее переобучиванием. Но в некоторых случаях и такой точности может быть недостаточно. Когда это может произойти. Если переменная, которую вы прогнозируете может зависеть от случайного фактора, вес которого может быть значительный. Например, вы прогнозируете отток абонентов и знаете, что в 50% случаях отток происходит по причине переезда. Да, модель может выделить тех абонентов, которые были похожи на тех, кто переезжал, но это не значит что спрогнозированный абонент переедет. Отсюда нужно всегда выделять факторы, которые случайны и по возможности работать с меньшей выборкой, потому как прогнозировать абонентов, которые переедут не ваша задача, ваша задача прогнозировать абонентов, которые уйдут в отток.

В этом случае достичь 97%, конечно никогда не удастся. Поэтому всегда важно определить что именно вы прогнозируете и от каких факторов зависит прогнозируемая величина.

Можно попробовать ответить универсально, если больше 95% то это хорошо, главное что вы прогнозируете ту величину, которую можно прогнозировать.

Также на точность может влиять сезонность, если у вас недостаточно данных, вы, например, использовали данные в пиковый сезон, а на фактический данных вам предстоит получить прогноз в сезон меньших продаж. В этом случае модель не будет устойчивой и величина в 97% вообще ничего не значит.

Удачи вам, будьте внимательны!

PSPP — бесплатная замена SPSS Statistics

1

Обнаружил интересный проект, по мнению авторов которого, они считают свое решение полноценной заменой SPSS Statistics, информацию можно найти по адресу https://www.gnu.org/software/pspp/. Там же можно найти и скачать дистрибутив и документацию.

Как пишут авторы есть всего несколько отличий: ваши лицензии никогда не закончатся, нет никаких ограничений по количеству строк и столбцов, система поддерживает больше миллиона значений и переменных, вся функциональность содержится в базовом пакете, не нужно искать никаких расширений, как это сделано в SPSS. Все эти ограничения конечно же положительные.

Небольшое добавление: если у вас windows придется немного повозится чтобы поставить cygwin.

Ну что же, нужно протестировать и составить свое впечатление. Мое убеждение о том, что инструмент сейчас обесценивается, только растет. В тренде именно отраслевые бизнес-решения.

Удачи вам и не спешите платить за инструмент, пусть даже вам его продает команда лучших маркетологов!

Вверх
Яндекс.Метрика