Data Nature 🕊

2023-05-07 20:33:12 Отлично проработанный Data Maturity Self Assessment Framework опубликован в паблик с удобными, понятными экселями для самооценки. Авторы - Британцы - UK Government Data Quality Hub разработали для своего правительства как страновой стандарт, на базе консалтингового продукта компании Data Orchard.. Не суть. Важно что модель хороша. не перегруженная и не поверхностная: 10 топиков, 97 критериев.

Описание в PDF
Self-assessment excel
Excel с описанием критериев (зачем то отдельно, удобнее все в один сложить)
Статья на Medium

Самое ценное - смысловое описание 5 градаций выраженности каждого критерия - в результате гайд задает понятные направления работы.

Мне понравились:
Критерий - Making data available to those who need it
Level 5: 'Data can be accessed and directly shared appropriately by all users who need it. All internal and external users can access data they need when they need it, without specialist support.'
Критерий - Linking decisions that affect organisational outcomes to data
Level 5: 'Consistently links decisions that affect all critical and important organisational outcomes to data. Takes a customer-focused approach, incorporating the value that the organisation’s data has to its users into decision making.'
Критерий - Collecting data with user needs in mind
Level 5: 'Has a clear understanding of the needs of the user providing data, and of user-centred design and methods in all relevant areas of the organisation. Fully embeds application of this understanding in product design and development from beginning to end.'

Прям чувствую, что не зря в команде выносим себе мозг, рисуя Analytics usecases maps и information demand matrices.
Капец какие же мы мачурные

Тул будет полезен enterprise проектам с системным и массовым подходом в работе с данными. Которые при этом могут найти сейчас время для стратегического анализа

Фреймворк может неплохо сочетаться с упражнением по разработке / обновлению data стратегии компании. Buka / Bagaimana

2023-05-03 12:55:52 Наговорил мыслей в подкаст Data Heroes уважаемого Николая Valiotti (aka LEFTJOIN) о ведении telegram каналов. В выпуске также BI-интеллектуал @rbunin, поэтому мне ничего не оставалось как выступить с маргинально-юмористической позицией для баланса

Надо ли уточнять что контент получился топовый. Спасибо хостам за приглашение.
Больше телеграм каналов - богу телеграм каналов

Cсылки на выпуск на всех подкаст платформах для прослушивания в посте у ребят: https://t.me/leftjoin/987 Buka / Bagaimana

2023-04-07 22:16:27 Buka / Bagaimana

2023-04-01 12:06:29 Передозировка от Data Governance - Провели с BI Consult 5-ти дневный курс. Прошло отлично, но кажется на ближайший год желания и сил повторять не будет)

Для курса было отсмотрено тонны нового по теме в мире, побочным продуктом был рожден Miro board Data Governance Program Guide. На курсе показано 600+ слайдов и потерян голос. Приму как знак.

Добавил немного фасилитации (когда нет своих мыслей - проси других высказать свои ).
В итоге есть чем поделиться - см. итоги голосований по вопросам о дата каталогах

Спасибо участникам из Альфабанка, Северстали, Абсолют Банка, Банка Raiffeisen, VK, Visiology, Novartis, Лига Ставок и других компаний за мощный и живой обмен опытом. Я поймал хорошие инсайты по вовлечению data stawards и важности федеративной структуры.

Всем качественных данных, адекватных коллег и любви на пути развития своих каталогов в новом мире Buka / Bagaimana

2023-03-29 15:19:03 Очень интересная статья от Uber о том, как они борются с такой проблемой как Data Shift. Особенно интересная статистика в разрезе существующих проблем с данными.

Для контроля качества компания разработала собственную систему D3 (Dataset Drift Detector).

Система отслеживает качество данных в режиме реального времени, красивые дашборды реализованы. В статье так же довольно детально описана архитектура.

Вот что у них на постоянном мониторинге:
- Null Percentage
- False Percentage
- Percentile (P50, P75, P99, P1)
- Standard Deviation, Mean, Median
- Count Distinct

https://www.uber.com/en-BG/blog/d3-an-automated-system-to-detect-data-drifts/ Buka / Bagaimana

2023-03-25 17:31:27 Ну и картинка. Не поместилась в пост.
О том как Gartner переобулся за год на тему интеграции AI Buka / Bagaimana

2023-03-25 17:30:00 Только что закончился Gartner Data & Analytics summit в Орландо США и некоторые из тех, кто там не был (как я) думают стоит ли ехать на него в другие локации.

Два обзора дают некое представление о ключевых тезисах конференции:
️ Видео 1 - Час обзора конференции на канале SuperDataBrothers
️ Видео 2 - GartnerDA: Top Data and Analytics Predictions, 2023

За что зацепился глаз:

1) Компании почти перестали пытаться показывать ROI data проектов через краткосрочную прямую фин ценность (сокращение затрат и рост выручки) и фокусируются на обосновании через инновационные продукты, дата активы, бренд и стратегическую экспертизу. Нормально для западных компаний живущих на длинных трендах. Хотя может и в пи...цовые времена всем нужно думать стратегично
2) Аналогия отношений D&A CoE с юнитами как "Модели франчайзинга". Смысл прежний - но термин свежий и доступный. Типа Data Self-Service в линейке бизнеса - как открыть кофейню в регионе: помочь проанализировать рынок, продать оборудование, обучить персонал, мониторить перфоманс, надеяться что не загнется)
3) Все метнулись пилотировать ChatGPT-like for Enterprise проекты - в этом году все продукты резко впихнут в релиз планы и выпустят что-то конкретное. Отличие этого хайпа от других похожих, что он реально работает и вопрос по сути в "опромышливании" решений и подборе UI. Риски все обсуждают походу дела
4) Semantic layer / Headless BI - был бы главным трендом если бы не влез ChatGPT. Проблема Analytics Governance как одна из центральных для BI решений. Тут все понятно, надо уже пробовать.
5) Якобы есть тренд от идеи микросервисов снова к новым большим платформенным 'all in one' BI системам, построенным при этом с гибкой архитектурой (Gooddata, Tellius). Спорно, возможно тренд ради тренда. Хотя что-то в этом есть, типа есть усталость постоянно "женить решения" не имея в моменте счастливой семейной жизни.
6) к 2026 году половина организаций начнет рассматривать ABI (Analytics&BI) and DSML (Data Science & Machine Learning) тулы как одну скомпонованную систему, на фоне сближений сегментов

Отличие Gartner Data & Analytics summit от вендорских сабантуев:

тут нет атмосферы религиозности. Позиция Gartner относительно равноудаленная. Озвучиваются тренды из практики Gartner, что возникает - что уходит, поднимаются более сложные "неприятные" вопросы, которых вендоры избегают.

Из минусов - большая часть спикеров престарелые эксперты-аналитики Gartner - грузят обобщенными речами без иллюстраций из жизни реальных компаний и не особо вдохновляют.

В целом, многие слайды выглядят интересно, но без комментариев сложно до конца понять их замыслы.
Возможно подъедут еще хорошие анализы саммита, глядишь и ехать в Мумбай/Лондон не придется. Buka / Bagaimana

2023-03-14 09:33:18 ThoughtSpot всегда был продуктом с идеологией анти-дашборда. И текущий хайп ChatGPT льет воду на их мельницу больше всего.

(Все время делаю оговорку что не рекламирую ThoughtSpot, но эти ребята регулярно описывают именно ту стратегию пользовательского опыта, которая совпадает с моим представлением о BI системе следующего выбора)

Неудивительно что они первыми оперативно и внятно описали (на прошлой неделе) свою реакцию на повестку - их ThoughtSpot Sage - апгрейднутый поисковый движок объединяет в себе мощь процессинга от OpenAI и локализацию в аналитической BI платформе со всем семантическим и секьюрити "обвесом".

Вопросов все равно больше, чем ответов. Демка весьма общая. Но команда продукта ищет новые модели взаимодействия с casual пользователем и получается симпатично. См например - сценарий обратной связи по качеству результата для дообучения движка пользователем
https://www.thoughtspot.com/product/sage

Чего не сказать пока про любимый tableau, где анонсированный Einstein GPT кажется опять больше про SalesForce. "Слитое" 21 секундное видео пока все чего мы заслужили.

Очевидно одно. BI командам пора думать как будут брать свои вьюхи с кривыми джойнами и логикой и делать нормальные searchable дата модели. Их как ни крути нужно будет скоро скармливать любому BI-Боту, в какой BI системе бы его не запилили, отвечать за результат и старчески нудеть, что дескать это сырая технология и к жизни еще не применимая Buka / Bagaimana

2023-03-12 10:48:20 Buka / Bagaimana