Zarządzanie danymi – o aktualności, poprawności, pilnowaniu porządku i funkcjonalności baz danych

Analizowanie to, w lekkim uproszczeniu, zadawanie pytań i znajdowanie dla nich odpowiedzi. Tylko jak znajdować te odpowiedzi, jak nie ma się dostępu do prawidłowych danych? Tematyka porządku i aktualności baz danych była już częściowo poruszona przy okazji omawiania najlepszych praktyk przy wdrażaniu systemu CRM. W tym wpisie chciałbym tę kwestię omówić bardziej szczegółowo, z perspektywy typowego użytkownika biznesowego.

Porządek w danych

Problem bałaganu w bazach danych dotyczy szeregu firm. We wszystkich przedsiębiorstwach, w których pracowałem, był on obecny w mniejszym lub większym stopniu. Nie da się go całkowicie wyeliminować z licznych powodów, wśród których można wymienić: dynamiczności otoczenia rynkowego, modyfikacji strategii, nieuniknionych zmian personalnych.

Kłopot z utrzymaniem uporządkowanych i spójnych baz  dotyczy różnego rodzaju danych, nie tylko sprzedażowych i tych dotyczących klientów. Z czasem każda firma obrasta w dodatkowe zbiory i podzbiory danych, które w mniejszym lub większym stopniu są powiązane ze sobą. Dane te pochodzą z różnych źródeł i systemów, np.: e-commerce, marketing automation, narzędzi SEO/SEM, formularzy online, z ERPów, z baz zewnętrznych.

Jak większości czytelników zapewne wiadomo z doświadczenia, każdy zbiór danych można bardzo łatwo „zepsuć”. Parę dni wystarczy, aby z wartościowej bazy uczynić śmietnik. Wszystkie późniejsze próby przywrócenia jej do stanu użytkowania wiążą się z dużym nakładem pracy.

Celowość gromadzenia danych

Zbieranie danych zasadniczo czemuś służy. Kiedy krytycznym okiem spojrzymy na niektóre dane gromadzone w firmie, to można nabrać wobec tego stwierdzenia wątpliwości, ale taki jest ogólny zamysł. Dobrze zarządzane dane pozwalają na realizację dowolnych analiz biznesowych. Dzięki nim można zmierzyć, zweryfikować, ocenić, praktycznie wszystko, co dotyczy działalności przedsiębiorstwa. Pełne i prawidłowe dane są początkiem dla nowych pomysłów, które mogą dotyczyć m.in. rozwoju produktów, sprzedaży, nowych kampanii marketingowych, itd. Są też końcem, tj. podsumowaniem i bezwzględną oceną zrealizowanych działań.

Gdy brak jest danych, lub nie daje się ich łatwo przetwarzać, pozostaje zdać się tylko na intuicję. A intuicja jak to intuicja, czasami się sprawdza, a czasami nie. Ale w środowisku biznesowym, gdzie niemal każda decyzja wiąże się z nakładami finansowymi, bardzo rozsądnym się zdaje, aby nawet dobrej intuicji towarzyszyły jakieś konkretne dane.

Zarządzanie poprzez wykorzystanie danych

„Warto zbierać i analizować dane”. Z takiego założenia wyszło wielu szefów firm, którzy zgodzili się na zakup systemów bazodanowych i/lub aplikacji typu Business Intelligence (np. Business Objects, MicroStrategy, QlikView, Tableau, CrystalReports, itd…, itd… jest tego całe mnóstwo). Są to raczej drogie zabawki, których zwrot z inwestycji mierzony jest w latach. Założenia im towarzyszące na początku są niemal zawsze nadmiar optymistyczne, a jak jest później w rzeczywistości? Można wyliczyć szereg anomalii w zakresie przetwarzania danych, które z czasem mogą rozwinąć się w firmie. Oto niektóre z nich.

• Zakupione aplikacje BI z czasem zaczynają przyprawiać użytkowników o gorączkę. W ramach podpiętych pod nie baz danych jest coraz więcej obiektów, które są nieopisane, nie wiadomo do końca, co się kryje pod daną ich nazwą (kodem), ani to, z jakimi innymi obiektami można je łączyć. Tworzonych jest coraz więcej niezrozumiałych wyjątków i obejść. W rezultacie aplikacja, której celem było ułatwienie pracy (natychmiastowe dane i zestawienia), stała się odpychającym tworem, który jest zrozumiany wyłącznie przez grupkę wtajemniczonych osób.
• Z niewiadomych często powodów, dostęp do baz danych w wielu firmach już od samego początku jest ograniczany do „wybrańców”. Zwykle są to pracownicy IT lub analitycy – to do nich są kierowane wszystkie prośby o dane z całej firmy, bo tylko oni znają  konstrukcję baz i tylko oni dysponują narzędziami do generowania zestawień. Użytkownicy biznesowi mają wtedy co najwyżej bardzo ograniczone dostępy lub dysponują tylko kilkoma standardowymi raportami. Gdy potrzebują się oni wgłębić w jakieś dane, wtedy muszą zwykle poczekać nie od kilku godzin do kilku tygodni. Mówiąc krótko – panuje całkowita „niepełnosprawność analityczna”.
• Możemy także się spotkać z inną sytuacją – użytkownicy biznesowi z pozoru mają pełen dostęp do danych oraz najnowsze aplikacje business intelligence do ich obsługi, ale jest pewien problem. Podczas prób samodzielnych analiz, w pewnym momencie dochodzą oni do wniosku, że jakiekolwiek prace na posiadanych danych są bezcelowe – gdyż bazy są: niepełne, błędne, zduplikowane, niejednolite – czasami do takiego stopnia, że końcowe wnioski z nich wypływające są całkowicie pozbawione sensu. Innym częstym problemem jest to, że dane z różnych źródeł, dotyczące jednego zagadnienia, kompletnie się ze sobą nie zgadzają. Krótko mówiąc wychodzą bzdury, które są prędzej czy później wychwytywane.

Jak utrzymać czystość i porządek w bazach danych?

Co zrobić, aby dane miały wartość dla przedsiębiorstwa? Oto kilka wskazówek, nad którymi można się zastanowić.

1) Przed wdrożeniem jakiegokolwiek systemu (ERP, CRM, BI, itd.) warto wybiec myślami w przyszłość. Wyobrazić sobie najgorszy możliwy scenariusz pracy na tych aplikacjach, a następnie zastanowić się nad działaniami, które warto podjąć, aby do takiej sytuacji nie doszło. Jest to klasyczne zarządzanie ryzykiem. Niestety doświadczenie uczy, że to czarne scenariusze mają największe prawdopodobieństwo realizacji. Już od samego początku warto mieć zaimplementowane w systemie rozwiązania, które umożliwią czyszczenie i porządkowanie danych.

2) Wraz z zakończeniem prac nad wdrożeniem każdego systemu powinny być udostępnione końcowym użytkownikom instrukcje oraz schematy ułatwiające im pracę. W zakresie baz danych bardzo pomocne są rozrysowane powiązania pomiędzy tabelami, obiektami, oraz układ danych. Ważne są tutaj informacje o strukturze danych oraz sposobach połączeń pomiędzy bazami pochodzącymi z różnych systemów. Oczywiście cała ta dokumentacja ma jakąkolwiek wartość, dopiero wtedy, gdy jest ona napisana w sposób zrozumiany dla większości pracowników.

3) Wszystkie dane w ramach firmy powinny tworzyć jedną, logiczną całość. Gdy jest to tylko możliwe, i uzasadnione biznesowo, powinno się spajać dane ze wszystkich systemów i źródeł danych.

4) Nadmiarowym danym należy mówić stanowcze „NIE!”. Niejednokrotnie na etapie projektowania systemu, w rezultacie radosnej burzy mózgów, tworzone są bardzo obszerne wymagania, co do zakresu danych, które należy gromadzić. Każdy ma coś do dodania, a trudno pewnym osobom odmówić. W konsekwencji dane są zbierane „tak na wszelki wypadek”. W rzeczywistości takie nastawienie jest dużym błędem. Gdy dane nie są wykorzystywane, wtedy przestaje być śledzona ich poprawność i aktualność. Powstaje śmietnik. Wszystkie dane, co do których zdecydowano, że mają być zbierane, powinny mieć zdefiniowany cel, jakiemu służą. W innym przypadku po przeprowadzonej weryfikacji baz może się okazać, że wiele obiektów jest zbędnych, np. na 100 wprowadzonych rekordów, tylko 1 lub 2 ma w ogóle wypełnione pole „X” lub 99 ma wartość, która w systemie była ustawiona jako domyślna. Pozornie jest dużo danych w firmie, ale nic z nich nie wynika.

5) Przejrzystość podczas wprowadzania danych i przejrzystość podczas późniejszej ich analizy. Wspomniana wcześniej nadmiarowość danych to także niepotrzebne pola, które komplikują interfejs aplikacji, a w rezultacie generują tylko niepotrzebne pytania od użytkowników. Zgodnie z zasadami UX (user experience), patrząc na formularz do wprowadzania danych, nie powinno mieć się wątpliwości co do tego, jakie obiekty, w jaki sposób, powinny być wypełnione. Rzecz niby oczywista, ale problemów na tym poziomie może powstać całe mnóstwo. Przykładowo rozważmy typowe pole, które pojawia się w CRMach, tj. branża klienta. Niejednokrotnie lista możliwych opcji, które się tutaj wyświetlają liczy kilkadziesiąt pozycji, co bezpośrednio prowadzi do licznych błędów oraz wydłużenia czasu wprowadzania danych. Na domiar tego często się okazuje, że taka szczegółowość nie niesie ze sobą żadnych korzyści, bo na etapie późniejszych segmentacji okazuje się, że z punktu widzenia firmy nie ma kompletnie znaczenia, czy dany klient należy do branży IT hardware, IT software, czy telekomunikacji. Podsumowując: ważna jest prostota i szybkość. Niepotrzebne dane to strata czasu i pieniędzy.

6) „To jest przecież oczywiste”. Tak myśli wielu managerów, gdy przekazuje dostęp do systemów nowym pracownikom. Niestety niemal każda aplikacja wymaga objaśnień wstępnych, krótszych lub dłuższych.  Edukacja pracowników w tym zakresie nie jest marnowaniem czasu, lecz sposobem na minimalizację możliwych ryzyk. Warto przekazać nowym użytkownikom informacje o tym, co powinno być wprowadzane i jak, oraz opisać jakie są konsekwencje błędów. Analogiczne instrukcje powinny być także przekazywane osobom, które przetwarzają dane. Wszelkie manuale (podręczniki i objaśnienia) powinny być dostępne na wyciagnięcie ręki, no i oczywiście aktualne, z czym jest najczęściej kłopot.

7) Zarządzanie danymi to proces, w ramach którego należy zdefiniować: kto, kiedy, gdzie i jak, wprowadza poszczególne informacje, a także kto, kiedy, gdzie i jak, kontroluje, czy wprowadzane wartości są prawidłowe. Z drugiej strony, jeśli coś jest procesem, to przydałyby się jakieś standardy. A jak są standardy to warto je komunikować i mierzyć. Błędów nie da się uniknąć, ale przekraczanie pewnego progu to już czyste niedbalstwo. Ten próg powinien być jasno wyznaczony.

8) Im szybciej wykrywane są błędy i taka informacja trafia do ich autora, tym większe prawdopodobieństwo, że w przyszłości będzie ich mniej. Im więcej poziomów weryfikacji tym lepiej. Już podczas wprowadzania danych zaszyte w systemie funkcjonalności powinny wykrywać: błędnie wprowadzone dane (np. poprzez algorytmy walidacji lub słowniki), potencjalne duplikaty, literówki (więcej drop-down, a mniej wartości wprowadzanych „z palca”). W dalszej kolejności poprawność danych powinna być weryfikowana przez dedykowanych do tego pracowników.

9) Wiele błędów powstaje przy migracjach, łączeniu baz lub importowaniu danych z baz zewnętrznych. Wszystkie takie działania wypadałoby poprzedzić testami, zanim dane trafią do sytemu produkcyjnego.

10) Raz wprowadzone wartości danych nie są wieczne. Wiele parametrów się zmienia, dlatego na bieżąco powinna być weryfikowana aktualność rekordów. Dla danych teleadresowych klientów można to przykładowo robić poprzez kontakt bezpośredni, np.  akcje email i tele- marketingowe; można też rozważyć aktualizację bądź uzupełnianie danych przy wykorzystaniu baz danych dostarczonych przez firmy zewnętrze.