Hurtownie danych czyli „Systemy od historii”

Katgoria: BUSINESS INTELLIGENCE / Utworzono: 14 grudzień 2011

OKIEM EKSPERTA

Hurtownie danych czyli „Systemy od historii”

Hurtownia danych to model stworzony pod kątem przetwarzania faktów historycznych na prostym modelu danych (diagram powyżej, górny, to tak zwana kostka OLAP). Opracowanie takiego modelu wymaga specjalnej analizy i projektu, ale nie zapominajmy: analizę się robi raz a raporty stale... Tak więc szanowni Państwo. Jeśli tylko Wasza firma jest bliżej czołówki niż ogona rankingu rynku w Waszej branży, nie dajcie się namówić na jeden zintegrowany ERP i jakiś model referencyjny, bo nawet jak uda się go wdrożyć, to zmiana czegokolwiek będzie trudna a upgrade do nowszej wersji niemożliwy.

REKLAMA

6 grudnia miała miejsce konferencja: Business Intelligence GigaCon 2011.

Poruszyłem między innymi problematykę: aspekty projektowe systemów dedykowanych i dostosowywanych oraz „core domain” i pojęcie COTS (Szczegółowe informacje http://gigacon.org/bi_2011).

Nie jest moim celem powielanie tu referatu, dlatego tylko kilka kwestii a potem mała uwaga na temat metod argumentacji osób reklamujących swoje produkty, ale po kolei.

Hurtownia danych jako skład historii

W swoim referacie wskazałem na hurtownie danych i metody składowania tam danych oraz na pojęcie „system dedykowany”. I tak:

MIT: Oprogramowanie dedykowane to kosztowne, długo wykonywane i ryzykowne, projekty tworzenia oprogramowania od zera dla klienta,
PRAWDA: Oprogramowanie dedykowane to oprogramowanie (System) zaprojektowane na bazie dobrze opisanych wymagań, złożone z komponentów (typowe gotowe komponenty to ERP, CRM, SCM, inne).

To znaczy, że docelowo - jako system dedykowany – klient otrzyma zestaw zintegrowanych komponentów (podsystemów, aplikacji). Możliwe jest, że niektóre zostaną opracowane i wykonane specjalnie dla niego. Pełny Zintegrowany System wspomagający zarządzanie (wszystkie aplikacje w firmie) najczęściej nawet w 90% składa się z oprogramowania gotowego (COTS – Commercial of the shelf).

Kolejnym mitem jest teza, że koszt integracji jest duży. Powiem tak: zły projekt zawsze kończy się wysokimi kosztami, projekt integracyjny także.

Praktyka pokazuje, że poprawnie postawione wymagania oraz projekt wykonany przed wyborem rozwiązania, to najczęściej projekty, w których koszty integracji są wielokrotnie niższe od kosztów kastomizacji systemów zintegrowanych ERP i paradoksalnie trwa to krócej.

Po trzecie wdrażanie etapami (aplikacja po aplikacji) pozwala na to, by te poszczególne podsystemy pracowały na siebie bez czekania na całkowite zakończenie wdrożenia całości, jak to ma miejsce najczęściej podczas wdrażania dużego i zintegrowanego systemu. Warto także zauważyć, że taka – tak zwana komponentowa - architektura jest łatwa w modyfikacji (możliwa jest wymiana dowolnego składnika bez szkody dla innych czego nie można powiedzieć o dużych systemach ERP). Przykład z systemami BI (Business Inteligence), które będę tu zwał Raportowaniem.

Ogólnie wymagania na system wspomagający zarządzanie maja taką strukturę:

Diagram jest prosty. Chcę zwrócić uwagę na to, że wiele funkcjonalności (może nawet wszystkie) systemów wspomagających zarządzanie można na takie dwie kategorie podzielić. Przypomnę, że diagramy przypadków użycia to nie „projekty systemu” a ich „spis treści”. Projektem, na wysokim poziomie abstrakcji (ang. HLD czyli Hihg Level Design), jest dopiero to:

Załóżmy, że architekt systemu stworzył powyższy model. Decyzja projektowa: system transakcyjny obsługuje naszą specyfikę biznesową, jest odpowiedzią na wymaganie: Obsługa tego co się teraz dzieje. Opracowano dokładanie wymagania, na rynku nie znaleziono wymaganych funkcjonaliści i ta część systemu zostanie wytworzona.

W ramach wymagań jednak, jak widać na poprzednim diagramie, mamy także wymaganie: Pokaż co wydarzyło się kiedyś. Są to funkcjonalności raportowe. Raportowanie jako funkcja systemu jest dość dobrze opanowana, są na rynku gotowe produkty (jest ich wiele). Więc z projektu developerskiego (oprogramowanie projektowane) wyłączono ten zakres i kupiono podsystem, popularnie zwany hurtownia danych. Większość tego typu aplikacji ma bardzo dobre, uniwersalne interfejsy, więc ich integracja nie stanowi żadnego problemu.

System transakcyjny, projektowany, w ogóle nie zajmuje się historią, przetwarza wyłącznie dane bieżące dzięki czemu stał się znacznie prostszy, czytaj tańszy w wykonaniu. Wszelkie dane o historycznych stanach naszych danych są w hurtowni danych a tę mamy już gotową, taniej niż koszt wytworzenia podobnego systemu.

I tak: ta część, która opisuje specyfikę naszej organizacji (oznaczona na niebiesko), to tak zwane „core domain” czyli główny element dziedziny systemu. Jeżeli nie znajdziemy na rynku produktu, który w 100% mu odpowiada należy wydzielić taki fragment i stworzyć sobie dedykowany. Kastomizacja gotowego produktu zawsze jest kompromisem, najczęściej bardzo kosztownym. (więcej o praktyce projektowania zwanej DDD).

Pojecie COTS (Commercial off the shelf), o którym już na blogu nie raz wspominałem, to tu nasz gotowy komponent: hurtownia danych. W efekcie wszelkie funkcjonalności związane z raportowaniem implementujemy w tej hurtowni, pozostałe musimy wytworzyć. To dodatkowa korzyść: baza danych systemu transakcyjnego staje się dużo prostsza, czytaj tańsza, bo model danych nie musi „obsługiwać historii”.

Jeżeli potrzebne nam zaawansowane metody raportowania i analiz należy raczej zakupić aplikację z rodzaju Business Inteligence zamiast zlecać dostawcy systemu (np. ERP) kolejne implementowanie wyrafinowanych – kosztownych w opracowaniu i utrzymaniu – raportów.

Przy okazji: użycie hurtowni danych „w tle”, to nic innego jak cloud computing , tu tak zwana chmura prywatna”.

Demagogia na konferencji

Z ust osoby promującej pewien produkt zaliczony do Business Intelligence padło stwierdzenie: Nasz produkt jest prosty, pobiera dane do raportów bezpośrednio z systemu ERP, nie musimy więc dodatkowo inwestować w pośredniczący system hurtowni danych, ktory może mieć dane nieaktualne. Tezę tę miał poprzeć diagram podobny do tego:

U góry mam „skomplikowany system BI” a na dole „nasz prosty i łatwy w obsłudze system”. To jak by usunąć zielony komponent z powyższego diagramu komponentów. Gdzie haczyk? Ano tu:

Górny diagram to przykład modelu danych dla hurtowni danych. Jest prosty, w praktyce skomentowany „po ludzku”, jako metadane, jest czymś, z czym może pracować każdy, kto tylko zna daną dziedzinę, taki model danych (tak zwana gwiazda) odwzorowuje w prosty sposób znane biznesowe pojęcia.

Diagram niżej to model danych niewielkiego systemu biznesowego (model danych systemu ERP, mający nawet tysiące relacyjnych, nic nie mówiących zwykłemu śmiertelnikowi tabel, byłby w tej proporcji zwykłą kolorową nieczytelną plamą…). Wykonanie samodzielnie jakiegokolwiek raportu z tego drugiego systemu tabel graniczy z cudem. Można przygotować (administrator bazy) tak zwane „widoki” dla użytkowników co nie zmienia faktu, że ich opracowanie to „wiedza tajemna” i nikt z „biznesu” sam tego nie zrobi. I najważniejsze: dostęp do pełnego modelu danych najczęściej wymaga złamania zasad bezpieczeństwa to jest udostępnienia danych z pominięciem mechanizmów kontrolnych aplikacji ERP.

Hurtownia danych to model stworzony pod kątem przetwarzania faktów historycznych na prostym modelu danych (diagram powyżej, górny, to tak zwana kostka OLAP). Opracowanie takiego modelu wymaga specjalnej analizy i projektu, ale nie zapominajmy: analizę się robi raz a raporty stale… tu przeszkolony użytkownik biznesowy sam daje radę bez problemu.

Tak więc szanowni Państwo. Jeśli tylko Wasza firma jest bliżej czołówki niż ogona rankingu rynku w Waszej branży, nie dajcie się namówić na jeden zintegrowany ERP i jakiś model referencyjny, bo nawet jak uda się go wdrożyć, to zmiana czegokolwiek będzie trudna a upgrade do nowszej wersji niemożliwy. Opracowanie projektu systemu składającego się z komponentów, pozwoli Wam dobrać najlepiej spełniające Wasze wymagania aplikacje. Jak z klocków LEGO można złożyć „dedykowany system” pomagający utrzymać przewagę na rynku, a nie cofający Waszą firmą do poziomu „innych podmiotów w branży”.

Źródło: www.it-consulting.pl
Autor: Jarosław Żeliński

Najnowsze wiadomości

Customer-specific AI: dlaczego w 2026 roku to ona przesądza o realnym wpływie AI na biznes

W 2026 roku sztuczna inteligencja przestaje być ciekawostką technologiczną, a zaczyna być rozliczana z realnego wpływu na biznes. Organizacje oczekują dziś decyzji, którym można zaufać, procesów działających przewidywalnie oraz doświadczeń klientów, które są spójne w skali. W tym kontekście coraz większe znaczenie zyskuje customer-specific AI - podejście, w którym inteligencja jest osadzona w danych, procesach i regułach konkretnej firmy, a nie oparta na generycznych, uśrednionych modelach.

Czytaj całość

PROMAG S.A. rozpoczyna wdrożenie systemu ERP IFS Cloud we współpracy z L-Systems

PROMAG S.A., lider w obszarze intralogistyki, rozpoczął wdrożenie systemu ERP IFS Cloud, który ma wesprzeć dalszy rozwój firmy oraz integrację kluczowych procesów biznesowych. Projekt realizowany jest we współpracy z firmą L-Systems i obejmuje m.in. obszary finansów, produkcji, logistyki, projektów oraz serwisu, odpowiadając na rosnącą skalę i złożoność realizowanych przedsięwzięć.

Czytaj całość

SkyAlyne stawia na IFS dla utrzymania floty RCAF

SkyAlyne, główny wykonawca programu Future Aircrew Training (FAcT), wybrał IFS Cloud for Aviation Maintenance jako cyfrową platformę do obsługi technicznej lotnictwa i zarządzania majątkiem. Wdrożenie ma zapewnić wgląd w czasie rzeczywistym w utrzymanie floty, zasoby i zgodność, ograniczyć przestoje oraz zwiększyć dostępność samolotów szkoleniowych RCAF w skali całego kraju. To ważny krok w modernizacji kanadyjskiego systemu szkolenia załóg lotniczych.

Czytaj całość

Wykorzystanie AI w firmach rośnie, ale wolniej, niż oczekiwano. Towarzyszy temu sporo rozczarowań

Wykorzystanie sztucznej inteligencji w firmach rośnie, ale tempo realnych wdrożeń pozostaje znacznie wolniejsze od wcześniejszych oczekiwań rynku. Dane pokazują, że z rozwiązań AI korzysta dziś wciąż niewiele przedsiębiorstw, a menedżerowie coraz częściej wskazują na bariery regulacyjne, koszty oraz brak powtarzalnych efektów biznesowych. W praktyce technologia jest testowana głównie w wybranych obszarach, a kluczowe decyzje nadal pozostają po stronie człowieka. Również w firmach, które wdrożyły AI, nierzadko towarzyszą temu rozczarowania.

Czytaj całość

Europejski przemysł cyfryzuje się zbyt wolno – ERP, chmura i AI stają się koniecznością

Europejski przemysł średniej wielkości wie, że cyfryzacja jest koniecznością, ale wciąż nie nadąża za tempem zmian. Ponad 60% firm ocenia swoje postępy w transformacji cyfrowej jako zbyt wolne, mimo rosnącej presji konkurencyjnej, regulacyjnej i kosztowej. Raport Forterro pokazuje wyraźną lukę między świadomością potrzeby inwestycji w chmurę, ERP i AI a realną zdolnością do ich wdrożenia – ograniczaną przez braki kompetencyjne, budżety i gotowość organizacyjną.

Czytaj całość

RAPORT ERP

Katalog rozwiązań IT

Katalog firm

Najnowsze artykuły

5 pułapek zarządzania zmianą, które mogą wykoleić transformację cyfrową i wdrożenie ERP

Dlaczego jedne wdrożenia ERP dowożą korzyści, a inne kończą się frustracją, obejściami w Excelu i spadkiem zaufania do systemu? Najczęściej decyduje nie technologia, lecz to, jak organizacja prowadzi zmianę: czy liderzy biorą odpowiedzialność za decyzje czy tempo jest dopasowane do zdolności absorpcji oraz czy ludzie dostają klarowność ról i realne kompetencje. Do tego dochodzi pytanie: co po go-live - stabilizacja czy chaos w firmie? Poniżej znajdziesz 5 pułapek, które najczęściej wykolejają transformację i praktyczne sposoby, jak im zapobiec.

Czytaj całość

SAP vs Oracle vs Microsoft: jak naprawdę wygląda chmura i sztuczna inteligencja w ERP

Wybór systemu ERP w erze chmury i sztucznej inteligencji to decyzja, która determinuje sposób działania organizacji na lata — a często także jej zdolność do skalowania, adaptacji i realnej transformacji cyfrowej. SAP, Oracle i Microsoft oferują dziś rozwiązania, które na pierwszy rzut oka wyglądają podobnie, lecz w praktyce reprezentują zupełnie odmienne podejścia do chmury, AI i zarządzania zmianą. Ten artykuł pokazuje, gdzie kończą się deklaracje, a zaczynają realne konsekwencje biznesowe wyboru ERP.

Czytaj całość

Transformacja cyfrowa z perspektywy CFO: 5 rzeczy, które przesądzają o sukcesie (albo o kosztownej porażce)

Transformacja cyfrowa w finansach często zaczyna się od pytania o ERP, ale w praktyce rzadko sprowadza się wyłącznie do wyboru systemu. Dla CFO kluczowe jest nie tylko „czy robimy pełną wymianę ERP”, lecz także jak policzyć ryzyko operacyjne po uruchomieniu, ocenić wpływ modelu chmurowego na koszty OPEX oraz utrzymać audytowalność i kontrolę wewnętrzną w nowym modelu działania firmy.

Czytaj całość

Agentic AI rewolucjonizuje HR i doświadczenia pracowników

Agentic AI zmienia HR: zamiast odpowiadać na pytania, samodzielnie realizuje zadania, koordynuje procesy i podejmuje decyzje zgodnie z polityką firmy. To przełom porównywalny z transformacją CRM – teraz dotyczy doświadczenia pracownika. Zyskują HR managerowie, CIO i CEO: mniej operacji, więcej strategii. W artykule wyjaśniamy, jak ta technologia redefiniuje rolę HR i daje organizacjom przewagę, której nie da się łatwo nadrobić.

Czytaj całość

Composable ERP: Przewodnik po nowoczesnej architekturze biznesowej

Czy Twój system ERP nadąża za tempem zmian rynkowych, czy stał się cyfrową kotwicą hamującą rozwój? W dobie nieciągłości biznesowej tradycyjne monolity ustępują miejsca elastycznej architekturze Composable ERP. To rewolucyjne podejście pozwala budować środowisko IT z niezależnych modułów (PBC) niczym z klocków, zapewniając zwinność nieosiągalną dla systemów z przeszłości. W tym raporcie odkryjesz, jak uniknąć pułapki długu technologicznego, poznasz strategie liderów rynku (od SAP po MACH Alliance) i wyciągniesz lekcje z kosztownych błędów gigantów takich jak Ulta Beauty. To Twój strategiczny przewodnik po transformacji z cyfrowego "betonu" w adaptacyjną "plastelinę".

Czytaj całość