Hurtownie danych – funkcje i znaczenie dla BI

 

Z drugiej strony, w praktyce organizacje w żaden sposób nie przetwarzają aż dwóch trzecich danych, które pozyskują. Stale rosnąca liczba informacji oraz źródeł, z których pochodzą, sprawia, że nieodzowne staje się wdrożenie odpowiednich procesów ich zbierania i przechowywania. Hurtownia danych to przykład struktury ułatwiającej zbieranie informacji ze wszystkich obszarów biznesowych, ich przechowywanie i przygotowywanie do dalszej analizy w systemach Business Intelligence. Jak one działają i jakimi funkcjonalnościami mogą wesprzeć firmy oraz administrację?

Nie bez powodu mówi się, że dane są złotem XXI wieku. Każdy biznes ma do dyspozycji ogromne ilości bajtów pozyskiwanych z różnych kanałów. Wyzwaniem pozostają procesy ich konsolidacji, uspójniania oraz przetwarzania, które umożliwiają wyciąganie odpowiednich wniosków przekładających się na kierunek rozwoju firmy. Tymczasem to w tych danych kryją się kluczowe dla przedsiębiorstw informacje, m.in. o nawykach grupy docelowej usług, sprzedaży produktów czy efektywności procedur. Krótko mówiąc – umożliwiają one podejmowanie bardziej świadomych decyzji biznesowych i utrzymywanie konkurencyjnej pozycji na rynku.

Wdrożenie odpowiednich procesów zbierania i przechowywania informacji jest zatem konieczne, aby można było sprawnie przeprowadzać wielowariantowe analizy w czasie rzeczywistym, generować zautomatyzowane raporty i przygotowywać rekomendacje dotyczące dalszego rozwoju firmy. Jednym z narzędzi, które usprawniają zarządzanie danymi i ich przetwarzanie przez systemy Business Intelligence, jest hurtownia danych.

Czym jest hurtownia danych?

Hurtownia danych to relacyjna baza danych. Pierwotnie projektowano je z myślą o przechowywaniu informacji o pracownikach i kontrahentach, produktach oraz transakcjach. Starannie zorganizowane i dobrze sformatowane rekordy w bazie ułatwiały menedżerom uzyskanie wiedzy niezbędnej do podejmowania decyzji biznesowych. W miarę rozwoju technologii pojawiła się jednak potrzeba zbierania, przechowywania i analizowania również danych nieuporządkowanych, takich jak dokumenty, zdjęcia, e-maile, wpisy w mediach społecznościowych czy informacje z czujników. Ręczne przetwarzanie takich elementów jest nie tylko czasochłonne, ale często prowadzi do powstawania silosów informacyjnych, szczególnie w sytuacji, w której ze względów technicznych uporządkowane dane są analizowane oddzielnie od danych nieustrukturyzowanych. Raporty generowane tylko na podstawie jednego typu informacji nie mogą jednak dostarczyć odpowiednio kompleksowego wglądu w stan firmy, co może przełożyć się na stawianie błędnych tez i podejmowanie niekorzystnych decyzji.

Zadaniem współczesnych hurtowni danych jest zbieranie informacji z wielu źródeł dostępnych w różnych formatach – zarówno tych ustrukturyzowanych, jak i nie – a następnie ich uspójnienie i zapisanie w jednolitym formacie. Tak przygotowane dane można wykorzystać do sprawnego generowania raportów w wygodnej i czytelnej formie oraz dalszych działań analitycznych z pomocą systemów Business Intelligence.

Dlaczego hurtownie danych są kluczowe w systemach BI?

Fundamentem efektywności narzędzi klasy Business Intelligence jest korzystanie z dobrej jakości danych, które zostały uprzednio uporządkowane i ustandaryzowane. Tymczasem w wielu przedsiębiorstwach każdy dział ma dostęp do innych narzędzi, zarówno własnych, jak i tych dostarczanych przez zewnętrznych dostawców. Takich programów może być nawet kilkanaście, a w każdym z nich dane mogą być przechowywane i obrabiane w inny sposób. Uspójnienie wszystkich informacji do jednego formatu może być czasochłonne, a dodając do tego dane z tak różnorodnych źródeł jak e-maile, dokumenty czy media społecznościowe – wręcz niemożliwe.

W efekcie do usprawnienia analizy danych za pośrednictwem systemu BI niezbędna jest ich wcześniejsza obróbka. Tutaj kluczowa okazuje się rola hurtowni danych, która jest w stanie zbierać automatycznie informacje z różnych źródeł, ujednolicać je do jednego standardu i przechowywać w jednym miejscu w formie gotowej do dalszej analizy. Dzięki temu specjaliści mogą uzyskać sprawny dostęp do danych ze wszystkich obszarów biznesu, bez obawy o ich niekompletność, nieczytelność lub czasochłonność procesu, i mieć pewność, że mają kompleksowy wgląd w funkcjonowanie firmy na różnych poziomach.

Jakie są zalety hurtowni danych?

• Konsolidacja i ujednolicanie wszystkich danych w jednym miejscu. Niezależnie od tego, czy informacje są uporządkowane czy nieustrukturyzowane, hurtownia danych jest w stanie zebrać dane z wielu źródeł i baz, a następnie uspójnić je w określonym przez firmę standardzie, czyszcząc je z niepotrzebnych dodatków czy ujednolicając nazewnictwo. W ten sposób do systemu BI trafiają dane dobrej jakości przechowywane w jednym, konkretnym formacie.
• Sprawna obsługa zapytań w czasie rzeczywistym. Hurtownie danych są projektowane w taki sposób, aby szybko reagować na zapytania i usprawniać procesy analityczne. Dzięki temu nawet największe ilości danych mogą zostać przeprocesowane w krótkim czasie bez specjalistycznego wsparcia działu IT, niezależnie od tego, czy analityk chce sprawdzić historię relacji z danym klientem, sprzedaż w konkretnym okresie lub zyskowność danego produktu. To szczególnie przydatne w momentach kryzysowych, gdy konieczne jest szybkie podejmowanie świadomych decyzji, znacząco wpływających na przyszłość firmy.
• Wgląd w historię działania biznesu. Stabilność działania hurtowni oraz brak możliwości ręcznego modyfikowania danych, które do niej trafiają, oznacza, że w każdej chwili można sprawdzić informacje związane z konkretnym obszarem biznesowym i jego działaniem w przeszłości. Dzięki przechowywaniu wielu zestawów danych z różnych okresów działania firmy, analitycy mogą sprawnie analizować trendy nawet sprzed kilku lat i wracać do konkretnego okresu czasowego lub wyzwań, z którymi się mierzono. Ułatwia to m.in. sprawdzenie, jakie rozwiązania stosowano w przeszłości i z jaką skutecznością.

Budowa hurtowni danych

Hurtownia danych zazwyczaj składa się z trzech elementów:

• Oprogramowanie ETL (Extract, Transform, Load) – pozyskuje dane ze źródeł zewnętrznych, przekształca je w sposób ustalony przez organizację i przekazuje do centralnej bazy danych.
• Centralna baza danych – fundament hurtowni danych, w którym przechowuje się wszystkie rekordy; współcześnie najchętniej sięga się po bazy danych typu in-memory. Baza zawiera również informacje o metadanych, które pomagają w sprecyzowaniu kontekstu każdego rekordu, zarówno pod kątem technicznym, jak i biznesowym.
• Narzędzia interakcji z danymi – umożliwiają uzyskanie dostępu do informacji zgromadzonych w hurtowni. To mogą być programy do tworzenia zapytań i raportów, aplikacji, eksploracji danych lub narzędzia OLAP.

Przykłady zastosowania hurtowni danych

Hurtownia danych przydaje się wszędzie tam, gdzie zachodzi konieczność sprawnej analizy wielu informacji w czasie rzeczywistym, pobieranych w różnych formatach z wielu źródeł jednocześnie, a także ich uspójniania oraz automatyzacji raportowania wyników. Zatem ta struktura sprawdzi się zarówno w sektorze komercyjnym, jak i publicznym. Poniżej można znaleźć wybrane przykłady:

• Podczas pandemii scentralizowana Hurtownia Danych e-Zdrowia, zbudowana przez zespół specjalistów S&T, umożliwiła Ministerstwu Zdrowia m.in. gromadzenie i analizę informacji o zarażeniach, kwarantannach, izolacjach domowych, wykonanych testach czy szczepieniach. Dane pobierano m.in. z takich instytucji jak Narodowy Fundusz Zdrowia, Centrum e-Zdrowia, Ministerstwo Zdrowia. Zautomatyzowane raportowanie tych czynników umożliwiło nie tylko monitorowanie przebiegu pandemii i przewidywanie dalszych scenariuszy, ale również przekazywanie opinii publicznej zagregowanych danych.
• Migracja hurtowni danych SAP BW na platformę SAP HANA oraz wdrożenie analizy obszaru akcyzy na nowej platformie w PERN S.A. (krajowy lider logistyki naftowej) umożliwiły wyposażenie klienta w wydajne i spójne środowisko raportowo-analityczne z obszaru Business Intelligence. W efekcie spółka mogła m.in. skrócić czas oczekiwań na wyniki zapytań raportowych z 30 minut do 2 sekund, automatyzację procesu dystrybucji wykonanych raportów do odpowiednich odbiorców oraz zwiększyć elastyczność w rozbudowywaniu i modyfikacji raportów bez konieczności znajomości programowania lub języka zapytań SQL.
• Zakłady przemysłowe mogą gromadzić w hurtowni danych informacje o sprzedaży, pracownikach, kontrahentach, ale również nieustrukturyzowane dane z urządzeń podłączonych do Internetu Rzeczy, takich jak czujników czy maszyn. Dzięki temu specjaliści mogą dostrzegać trendy i korelacje, które przy ręcznej analizie byłyby trudniejsze do wykrycia, a na ich podstawie dokonywać rekomendacji, m.in. jakiego rodzaju maszyny są potrzebne do efektywnego funkcjonowania zakładu.

Autor: Joanna Zaborowska - Consultant w S&T
Źródło: www.snt.pl