Data lake a generatywna sztuczna inteligencja – dlaczego inwestycje w AI wymagają tzw. jeziora danych?

Dynamiczne tempo rozwoju GenAI oznacza potężny wzrost zapotrzebowania na moc obliczeniową w skali globalnej. Data center muszą umożliwiać przetwarzanie ogromnych ilości informacji przez generatywną sztuczną inteligencję w czasie rzeczywistym. Co ciekawe, Polska stanowi jeden z sześciu największych rynków data center pod kątem liczby obiektów w Europie. Kiedy trwają prace nad nowoczesną infrastrukturą w skali międzynarodowej, konieczne są reformy także na „dolnych szczeblach”, czyli w firmach, które powinny wdrażać tzw. data lakes. Czym są jeziora danych i jaki mają związek z AI?

Artykuł sponsorowany

Czym się różni data lake od data warehouse?

Data warehouse to tradycyjna baza danych, która charakteryzuje się uporządkowaną strukturą i schematem informacji. Zgromadzone dane są wstępnie przetworzone oraz ułożone w wybranym formacie, np. tabelach, aby były przygotowane do szybkiej analizy biznesowej. Z tego względu data warehouse sprawdza się np. w sklepach internetowych, które potrzebują sprawnie generować raporty z dziennej, tygodniowej czy miesięcznej sprzedaży. Data lake, czyli tzw. jezioro danych, jest przeciwieństwem data warehouse. To centralne repozytorium przechowujące ogromne wolumeny danych w surowej, nieprzetworzonej postaci, które pochodzą z rozmaitych źródeł: ustrukturyzowanych, półustrukturyzowanych oraz nieustrukturyzowanych. Co ważne, nawet 90 proc. informacji w data lake należy do ostatniej kategorii, ale takie rozwiązanie zapewnia większą elastyczność analityczną i niższe koszty przechowywania danych.

Brak odpowiedniego zarządzania zwiększa ryzyko powstania data swamp

Chociaż data lake gromadzi nieprzetworzone i nieustrukturyzowane dane, to musi być dobrze zaprojektowane i zarządzane, aby nie przekształciło się w data swamp, czyli „bagno danych”. Jeśli jezioro danych będzie mocno „zanieczyszczone”, nawet modele AI będą miały trudności z filtrowaniem informacji oraz ich interpretowaniem. Z tego względu nowoczesne platformy data lake wykorzystują automatyzację w zakresie np. katalogowania informacji i monitorowania ich bezpieczeństwa. Ponadto należy czuwać nad zgodnością z regulacjami (np. RODO) oraz kontrolą dostępu i uprawnień dla użytkowników.

Data lake to must-have w procesach bazujących na generatywnej sztucznej inteligencji

Agent AI może otrzymać polecenie dotyczące np. analizy przyczyn nietypowego spadku sprzedaży w sklepie internetowym w wybranym okresie czy odpływu klientów w sieci sklepów stacjonarnym w danym regionie. Dzięki data lake z katalogiem metadanych agent AI samodzielnie wyszukuje odpowiednie zbiory, a następnie generuje dodatkowe zapytania, interpretuje wyniki i przygotowuje raport. Co istotne, w przypadku GenAI trzeba pamiętać o zasadzie „garbage in, garbage out”, czyli wpływie niskiej jakości danych na efekty zautomatyzowanych analiz. To potwierdza znaczenie przemyślanego zarządzania data lake – również pod kątem maskowania wrażliwych informacji.

Inwestycja w data lake w firmie to strategiczna decyzja, która wpłynie na zdolność do wdrożenia generatywnej sztucznej inteligencji w najważniejszych procesach biznesowych oraz budowanie przewagi konkurencyjnej.