W jednym z moich artykułów o zarządzaniu danymi zapytałem czy chcecie dowiedzieć się więcej o PowerBI. Z e-maili oraz komentarzy które otrzymałem, wynika że jest zainteresowanie tym tematem, wobec czego, zaczynamy!
Jak zwykle, przed przedstawieniem praktycznych aspektów PowerBI przy zarządzaniu danymi w BIM, należy wprowadzić pewne nowe pojęcia, które pominąłem w poprzednich wpisach. Odnoszą się one do bazy danych i ich funkcji.
Dlaczego bazy danych? Power Query (silnik dla PowerBI pozwalający na zarządzanie wieloma źródłami danych) jest po prostu niczym innym jak narzędziem służącym do łączenia danych z różnych źródeł w bazy danych a następnie zarządzanie nimi w formie podobnej do używania języka programowania SQL (dla znających SQL – to tylko uproszczenie). Dlatego też, uznałem za konieczne zrobienie wprowadzenia do podstawowych zasad, które rządzą w świecie baz danych.
Spis treści
Poniższy artykuł jest częścią serii Zarządzanie danymi w BIM. Jeśli jest to pierwszy artykuł, na który trafiłeś, polecam przeczytać wstęp "Czym są dane? Wprowadzenie do zarządzania danymi w BIM ". Opisuję tam podstawowe zagadnienia a na dole artykułu znajdziesz spis treści całej serii. Wszystko po to, żeby upewnić się, że wyniesiesz maksymalnie dużo z tych treści. Miłej lektury!
Dlaczego Bazy Danych w BIM?
Przede wszystkim – dlaczego PowerBI stał się tak popularny w świecie BIM?
Mówiąc wprost – ponieważ każdy projekt BIM to po prostu potężna baza danych. Revit jest bazą danych, ArchiCAD jest bazą danych, to samo Tekla i wiele innych. Każdy obiekt zawiera dane, które można przenieść do różnych tabel i połączyć je razem ze sobą. Jednym ze znanych nam rezultatów są dynamiczne zestawienia.
Problem z takimi bazami danych tkwi w tym, że są one skumulowane w obrębie jednego projektu. Plik ArchiCAD do architektury jest jedną bazą danych, plik Revit do projektu MEP stanowi inną bazę danych. Jednakże, nie ma komunikacji między nimi. Oczywiście, można tworzyć modele federacyjne z IFC i wyłuskać dane stamtąd, ale znowu wylądują one w płaskim arkuszu Excela. Przy dziesiątkach tysięcy wierszy oraz setek kolumn, stanowi to spore ograniczenie w efektywności i wydajności takiego arkusza.
Power Query umożliwia nam zarządzanie wieloma tabelami, a narzędzia do wizualizacji w PowerBI posiadają niesamowitą możliwość tworzenia dynamicznych i informacyjnych dashboardów. Przy pewnych umiejętnościach i poświęceniu czasu na ustawienie wszystkiego jesteśmy w stanie pokazać wszystkie dane projektowe na paru pulpitach. Brzmi obiecująco? A zatem zagłębmy się w świat baz danych!
Baza danych w BIM wyjaśniona w prosty sposób
Wyobraź sobie bazę danych jako olbrzymią szafę na dokumenty cyfrowe, która przechowuje oraz porządkuje informacje. Dane, tak jak zbiór arkuszy kalkulacyjnych, jest posegregowana w konkretny sposób.
Sposób ten to wiersze i kolumny przechowywane w wielu tabelach. W ten sposób, dane te są łatwo dostępne, można nimi odpowiednio zarządzać, modyfikować, uaktualniać, kontrolować i segregować. Czyli, innymi słowy, przygotować aby były przydatne w odpowiednim momencie w przyszłości.
Bazy danych posiadają zazwyczaj wspólny temat lub cel. Np., baza danych zawierająca informacje konstrukcyjne na temat projektu szkoły na którym pracujemy. Baza danych zazwyczaj jest kontrolowana przez system zarządzania bazy danych (DBMS). Jest to oprogramowanie, które pozwala użytkownikowi sięgnąć do danej szafy i skorzystać z jej zawartości (zarządzać danymi w danej bazie danych).
Baza danych vs arkusz kalkulacyjny
W AEC, jesteśmy z Excelem za pan brat. Rozumiemy arkusze kalkulacyjne, oraz to, jak informacja powinna być przechowywana, aby łatwo było nią zarządzać (jeżeli nie wiesz, zdecydowanie polecam ten artykuł.
Bazy danych są podobne, jednakże zaprojektowane do trochę innych celów. Zarówno bazy danych jak i arkusze kalkulacyjne to dwa niezbędne narzędzia do zarządzania i organizacji danych, każdy z nich ze swoimi specyficznymi możliwościami i zastosowaniami.
Arkusze kalkulacyjne oferują bardziej elastyczne podejście do organizacji danych. Używa się jego struktury wierszy i kolumn, która umożliwia użytkownikowi łatwiejsze wprowadzanie oraz operowanie danymi. Arkusze kalkulacyjne najlepiej się sprawdzają przy mniejszych zbiorach danych oraz zadań wymagających prostych obliczeń, wykresów, oraz prostych analiz. Powszechnie są wykorzystywane do zarządzania niewielkimi ilościami danych, ale przy większym wolumenie danych stają się wolne i trudniejsze do operowania. Dlatego też, uwielbiamy je na placu budowy – łatwe do ustawienia, dokonania obliczeń i zamknięcia. Z drugiej strony, parszywe gdy się rozrastają i wymagane są bardziej skomplikowane obliczenia (Komunikat “Excel ran out of resources”? Mi się to zdarza zbyt często).
Bazy danych z kolei zostały zaprojektowane do obsługi olbrzymich i kompleksowych zbiorów danych. Zastosowane są hierarchiczne tabele z wcześniej zdefiniowanymi polami w celu przechowywania informacji, co pozwala na szybkie wyszukanie danych oraz stabilną integralność danych. Bazy danych świetnie się sprawują w zarządzaniu relacjami pomiędzy różnymi elementami danych, wobec czego są idealne do zajmowania się złożonymi i wzajemnie połączonymi informacjami. Świetnie się nadają do wykonania zadań wymagających zaawansowanej analizy danych, skalowalności, oraz współpracy pomiędzy wieloma użytkownikami.
W skrócie, bazy danych to najlepszy wybór przy obsłudze dużych, kompleksowych zbiorów danych oraz współpracy pomiędzy wieloma użytkownikami. Arkusze kalkulacyjne nadają się do prostszych zadań, mniejszych zbiorów danych, oferując w zamian elastyczność oraz łatwość użycia. Jako że pragniemy zawrzeć nasz cały projekt w jednym pliku PowerBI, musimy szukać coś większego.
Relacyjne oraz nierelacyjne bazy danych
Dwie najpowszechniejsze typy baz danych to relacyjne oraz nierelacyjne. Obie bazy danych istnieją w narzędziach wykorzystywanych w AEC, ale my skoncentrujemy się na relacyjnej bazie danych, ponieważ to są dokładnie te relacje pomiędzy tabelami, które musimy opanować aby efektywnie używać PowerBI.
Relacyjna baza danych jest rodzajem bazy, która formuje dane w ustrukturyzowane tabele, składające się z wierszy i kolumn. Każdy wiersz reprezentuje rekord, natomiast każda kolumna reprezentuje atrybut lub pole danych. Istnieje możliwość ustanowienia relacji pomiędzy wieloma tabelami.
Z drugiej zaś strony, nierelacyjna baza danych (znana również jako baza danych NoSQL) jest systemem bazy, która nie podlega tradycyjnej strukturze tabelarycznej. Są zaprojektowane aby obsługiwać nieustrukturyzowane lub pół-ustrukturyzowane dane (jak dane oparte na dokumentach lub wykresach), oraz oferują wyższą skalowalność oraz lepsze działanie w pewnych przypadkach, zwłaszcza do analizy big data oraz aplikacji w czasie rzeczywistym, chociaż spójność danych czy możliwości transakcyjne mogą być zakłócone.
Dodatkowa uwaga – możesz połączyć bazę danych NoSQL do PowerBI i wyekstrahować dane stamtąd, ale potrzebujesz connectora od innego dostawcy, który zmapuje oraz spłaszczy strukturę danych NoSQL.
Terminologia bazy danych w BIM
Nie musimy zagłębiać się w pełną terminologię związaną z bazami danych, jednak muszę wyjaśnić kilka z nich, abyś później rozumiał o czym mówię. Wiele pozostałych terminów dotyczących danych wprowadziłem w jednym z moich poprzednich wpisów o zarządzaniu danymi.
Tabela: w bazie danych, tabela jest jak pojedyncza strona w arkuszu kalkulacyjnym. Składa się z wierszy i kolumn, gdzie każdy wiersz reprezentuje konkretny wpis (rekord), a każda kolumna reprezentuje oddzielną informację (atrybuty lub pola).
Rekord: Rekord to jak pojedynczy wiersz w tabeli bazy danych. Zawiera wszystkie informacje związane z daną konkretną pozycją, osobą czy rzeczą.
Kolumna/Pole: kolumna bądź pole jest jak pojedyncza kolumna w tabeli bazy danych. Reprezentuje daną konkretną kategorię informacji, takie jak nazwy, wiek, adresy, itp.
Kategoria: dane są umieszczane we wcześniej zdefiniowanych kategoriach w każdej tabeli. Każda tabela posiada kolumny z co najmniej jedną kategorią danych.
Klucz podstawowy: to unikalny identyfikator każdego rekordu (wiersza) w tabeli bazy danych. Gwarantuje że każdy wiersz ma odrębną i niezerową wartość. W tabeli możesz mieć tylko jeden klucz podstawowy. Traktuj to jak specjalny numer ID dla każdego rekordu w tabeli. Sprawia to, że każdy rekord posiada unikalny identyfikator, coś jak odcisk palca danych.
Klucz obcy: to pole w tabeli, które ustala relacje pomiędzy danymi w dwóch różnych tabelach. Klucz obcy w jednej tabeli odnosi się do klucza podstawowego w innej tabeli. Działa jako wskaźnik do powiązanego rekordu w tabeli, do której następuje odwołanie. Dzięki temu unikamy duplikatów, utrzymujemy stabilność danych oraz możemy połączyć i pobrać dane z obu tabel naraz.
Kwerenda (query): to jak zadanie konkretnego pytania do bazy danych. Możesz używać kwerendy do uzyskania informacji z bazy danych, np. “Podaj wszystkie produkty w modelu wykonane przez X.”
Power Query: jest to narzędzie BI z grupy zwanej ETL (Wyodrębnić, Przekształcić, Załadować) dostępne w Excelu i PowerBI, które umożliwia wyodrębnienie danych z wielu różnych źródeł, następnie wyczyszczenie ich, a na końcu przeniesienie ich do twojego miejsca analizy danych.
Indeks: indeks w bazach danych jest strukturą danych, która poprawia i przyspiesza pobieranie danych. Indeksowanie sprawdza się przy obszernych bazach danych, usprawniając kwerendy. Innymi słowy, działa jak indeks w książce, dzięki czemu sprawnie i szybko możesz znaleźć konkretną informację. Przyspiesza szukanie oraz sortowanie danych, co poprawia wydajność i efektywność bazy danych.
Schemat: schemat jest jak plan, który określa strukturę bazy danych, włączając w to tabele, pola, typy danych, oraz relacje. Funkcjonuje jak przewodnik do tego jak dane powinny być zorganizowane i przechowywane w bazie danych.
Podsumowanie
Niniejszy artykuł wyjaśnia kluczowe terminy używane odnośnie baz danych, które są niezbędne aby zarządzać danymi oraz wizualizacją. Moim zdaniem, zrozumienie koncepcji bazy danych jest konieczne aby efektywnie pracować z PowerBI. Musisz zrozumieć co tworzy tabele oraz jak połączyć je razem, a następnie je modyfikować przy użyciu Power Query.
W następnych artykułach, bliżej przyjrzymy się typom oraz relacjom w bazach danych, jak działa Power Query, a w dalszej kolejności zagłębimy się w funkcjonalnościach PowerBI.
Źródła
Sprawdź pozostałe artykuły na temat Zarządzania Danymi w BIM:
