Waarom zelf een Data Warehouse ontwikkelen een slecht idee is

Om dit onderwerp direct scherp neer te zetten vragen we je om eens na te denken of je ooit zelf overwogen hebt om zelf je CRM-systeem of boekhoudprogramma te ontwikkelen. Misschien een tiental jaar geleden nog wel, maar inmiddels is iedereen wel overtuigd van de voordelen van standaardisatie en gebruik maken van tools die beschikbaar zijn. Deze tools zelf ontwikkelen is namelijk tijdrovend, kostenintensief, risicovol en je hebt schaarse developers nodig. Daarbij kom je waarschijnlijk gedurende het traject een hoop complexiteit tegen. Dus waarom zou je als organisatie zelf een Data Warehouse willen ontwikkelen?

Wat is een Data Warehouse?

Een korte introductie voor als je wat minder bekend bent met het begrip Data Warehouse. Een Data Warehouse is een databeheersysteem dat is ontworpen om business intelligence-activiteiten (BI), met name analytics, mogelijk te maken en te ondersteunen. Data Warehouses zijn systemen die bedoeld zijn om zoekopdrachten en analyses uit te voeren en bevatten vaak grote hoeveelheden historische data. De data in een Data Warehouse wordt meestal onttrokken aan een verscheidenheid aan bronnen, zoals logbestanden van applicaties en transactieapplicaties.

Data Warehouse versus Data Lake

Misschien denk je bij een ‘databeheerssyteem’ aan een Data Lake. Vandaar dat we even kort uitleggen wat de verschillen zijn tussen een Data Lake en een Data Warehouse. Beide termen worden veel gebruikt voor het opslaan van big data, maar het zijn geen onderling uitwisselbare termen.

Een Data Lake is een (enorme) verzameling ruwe data waarvan het doel nog niet is gedefinieerd. Een Data Warehouse is een opslagplaats voor gestructureerde, gefilterde gegevens die al voor een bepaald doel zijn verwerkt. Een voorbeeld om het verschil concreet te maken is dat een Data Lake is als een voorraad producten in een gebouw. Data Warehouse is hetzelfde gebouw met dezelfde producten maar dan gesorteerd, getagd én opgeborgen.

Op deze manier brengt een Data Warehouse jouw organisatie verder

Gemakkelijker om data te begrijpen en op te vragen - vereenvoudigd enkelvoudig model. Geen dubbele tabellen, verwarrende kolomnamen of mysterieuze waarden meer. Sneller voor het datateam om te gebruiken. Er is minder tijd nodig om gegevens op te schonen en te transformeren om analyses uit te voeren.

Vriendelijker om mee te werken voor de ‘business users’. Complexe verbindingen zijn verminderd en de juiste kolom is duidelijk. Betrouwbare, consistente bron van antwoorden. Iedereen genereert inzichten uit dezelfde data; geen wisselende antwoorden meer op dezelfde vraag.

Onderhoudbaar met minder tijd en moeite. Nadat je naamgevingsconventies en een stijlgids hebt aangenomen, kun je deze onderhouden terwijl je gegevens toevoegt. Gescheiden van het transactiegegevensschema. Query's hebben geen invloed op de app-prestaties en worden niet beïnvloed door snelle wijzigingen in de gegevens.

Waarom ontwikkelen bedrijven zelf een Data Warehouse?

Organisaties die aangeven zelf een Data Warehouse te willen ontwikkelen, doen dat vaak met de volgende redenen:

• Volledig ‘in control’ zijn
• Lagere kosten

En in beide argumenten zit zeker waarde. Het is goed om ‘in control’ te zijn, zeker als het gaat om data. En als je een ogenschijnlijke geschikte medewerker hebt zitten, lijkt het inderdaad goedkoper om het zelf op te pakken. Toch is het goed om de volgende scenario’s na te gaan. Dit zijn de bevindingen die wij hebben ondervonden als bedrijven een Data Warehouse zelf ontwikkelen.

1. Je weet niet wat je niet weet

Als je nog nooit een BI implementatie hebt gedaan is het lastig om voor te stellen waar je potentieel allemaal tegenaan kunt lopen. Als je besluit om alles zelf te doen betekent dat je ook verantwoordelijk bent voor de hosting, integraties, performance, versie en releasebeheer, etc.

2. Data zonder inzicht is waardeloos

Een Data Warehouse biedt echt geen waarde voor ‘de business’, tenzij de gegevens toegankelijk zijn en de besluitvormers de dashboards, rapporten, KPI's, waarschuwingen en inzichten kunnen krijgen die ze nodig hebben om hun werk te doen. Maar degenen die het Data Warehouse hebben gebouwd, zijn meestal geen UI-experts of business experts. Dat betekent dat IT op zoek moet naar visualisatie tools om aan te sluiten op hun Data Warehouse. Dit betekent extra kosten want zonder visualisatie mis je de beoogde data inzichten.

3. Systemen veranderen en software upgrades zijn nodig

Kritische bedrijfsapplicaties zoals ERP en CRM kunnen hun API's wijzigen, systeemupgrades volgen elkaar steeds sneller op en je ontdekt misschien dat de persoon die jouw Data Warehouse heeft gebouwd, is gepromoveerd of het bedrijf heeft verlaten voor een andere baan. De correcties kunnen moeilijker zijn dan verwacht om te bereiken. Of misschien heeft de database waarin de gegevens zijn opgeslagen een nieuwe versie nodig om deze aan de beveiliging te voldoen. Of misschien is het volume van de gegevens zo groot geworden dat back-ups te lang duren of zelfs mislukken. We zien dat klanten die een eigen Data Warehouse hebben gebouwd als nog op zoek gaan naar ETL-tools, een DBA en andere kostbare middelen en mensen, om de ‘data engine’ in leven te houden.