Data migreren van een oud systeem naar nieuwe software

Data migreren is het deel van een softwarevernieuwing dat het vaakst wordt onderschat. Het nieuwe systeem kan nog zo goed zijn, als klantgegevens, orders of historie niet compleet en correct meekomen, valt het vanaf de eerste dag tegen. In dit artikel lees je hoe je data van een oud systeem naar nieuwe software overzet, welke valkuilen er zijn en hoe je controleert of alles klopt.

Bij slim software nabouwen is de datamigratie een vast onderdeel van het traject, omdat het nieuwe systeem pas werkt als de historie compleet meekomt.

Wat is data migreren?

Data migreren is het overzetten van gegevens van het ene systeem naar het andere, inclusief het omzetten naar de structuur van het nieuwe systeem. Het is meer dan exporteren en importeren. Velden heten anders, statussen werken anders en wat in het oude systeem één tabel was, zijn in het nieuwe er soms drie.

Een migratie bestaat daarom uit drie delen: de data uit het oude systeem halen, haar omzetten en opschonen, en haar in het nieuwe systeem laden. Bij elke stap kan informatie verloren gaan of veranderen.

Waarom gaat data migreren vaak mis?

Data migreren gaat vaak mis omdat de kwaliteit van de bestaande data pas zichtbaar wordt als je haar verplaatst. Een oud systeem accepteert van alles, een nieuw systeem met strengere regels niet. Veelvoorkomende oorzaken:

• Vervuilde data. Dubbele klanten, lege verplichte velden, verouderde adressen en tikfouten.
• Vrije tekstvelden met betekenis. Medewerkers zetten belangrijke informatie in een opmerkingenveld, omdat er geen apart veld voor was.
• Impliciete regels. Een klant met code 99 is een interne klant, een order zonder datum is een offerte. Dat staat nergens beschreven.
• Te laat beginnen. De migratie wordt pas in de laatste week geregeld, terwijl er geen tijd meer is om fouten op te lossen.
• Niemand verantwoordelijk. De bouwer kent de techniek, de organisatie kent de data. Zonder iemand die beide verbindt, blijven fouten liggen.

Hoe pak je een datamigratie aan?

Je pakt een datamigratie aan in zes stappen, en je begint ermee aan het begin van het project, niet aan het eind.

1. Inventariseren

Breng in kaart welke data er is, waar die staat en hoeveel er is. Vaak zit data niet alleen in de hoofddatabase, maar ook in losse Excel-bestanden, gedeelde mappen en bijlagen.

2. Bepalen wat meegaat

Niet alles hoeft mee. Bepaal per soort gegevens of je het nodig hebt voor het dagelijkse werk, voor rapportages of alleen voor de bewaarplicht.

3. Opschonen

Ontdubbel, vul ontbrekende verplichte velden aan en haal verouderde records weg. Doe dit bij voorkeur in het oude systeem of in een tussenbestand, zodat het nieuwe systeem schoon begint.

4. Velden koppelen

Leg per veld vast waar het in het nieuwe systeem terechtkomt en hoe het wordt omgezet. Denk aan statussen, eenheden, datumnotaties en keuzelijsten. Dit overzicht heet een mapping en is het belangrijkste document van de migratie.

5. Proefmigraties draaien

Zet de data een paar keer over naar een testomgeving en laat gebruikers controleren. Elke proef levert fouten op die je in de volgende ronde oplost.

6. Definitief overzetten

Plan de definitieve migratie op een rustig moment, bevries kort het oude systeem en zet de laatste stand over. Omdat de route al een paar keer is getest, is dit een herhaling, geen experiment.

Wat doe je met historische data?

Historische data neem je mee als je haar nodig hebt voor het werk, voor analyses of omdat je haar moet bewaren. Er zijn drie opties:

• Volledig meenemen. Handig als medewerkers vaak in oude dossiers zoeken of als je trends over jaren wilt zien.
• Gedeeltelijk meenemen. Bijvoorbeeld alleen de laatste jaren volledig en de rest als samenvatting.
• Archiveren. Oude data apart bewaren in een eenvoudige, doorzoekbare vorm, los van het nieuwe systeem.

Let daarbij op bewaartermijnen. Voor sommige gegevens geldt een wettelijke bewaarplicht, voor persoonsgegevens juist de plicht om ze niet langer te bewaren dan nodig.

Hoe controleer je of de migratie klopt?

Je controleert een migratie door aantallen, totalen en steekproeven te vergelijken tussen oud en nieuw.

• Klopt het aantal klanten, orders en producten in beide systemen?
• Komen totalen overeen, zoals omzet per jaar of openstaande facturen?
• Kloppen een paar bekende dossiers tot in detail, inclusief bijlagen en notities?
• Werken de belangrijkste rapportages met de gemigreerde data?

Laat die controle doen door de mensen die de data dagelijks gebruiken. Zij zien direct wat er mist. Hoe je dit inpast in de livegang, lees je in overstappen op nieuwe software.

Welke data is lastig over te zetten?

Lastig zijn vooral data uit systemen zonder duidelijke structuur. Een paar voorbeelden die we vaak tegenkomen:

• Access-databases met tabellen die in de loop der jaren zijn uitgebreid, zonder vaste regels. Zie Access applicatie vervangen.
• Excel-bestanden met samengevoegde cellen, kleuren met betekenis en meerdere tabbladen met dezelfde gegevens.
• Bijlagen en documenten die in mappen staan en alleen via een bestandsnaam aan een dossier gekoppeld zijn.
• Gegevens uit een pakket dat alleen een beperkte export toestaat.

Voor deze situaties schrijven we vaak een eigen script dat de data uitleest, omzet en controleert, zodat de migratie herhaalbaar is. Bij software die we slim nabouwen draait dat script mee in elke testronde.

Hoe pakken wij datamigraties aan?

Bij slim software nabouwen nemen we de migratie vanaf de start van het project mee, als vast onderdeel van het bouwen. We maken de mapping samen met jouw team, bouwen een herhaalbaar migratiescript en draaien proefmigraties naar een testomgeving. De data komt terecht in een moderne database, zoals Supabase, waar ze goed gestructureerd en exporteerbaar is.

Moet de data daarna ook centraal beheerd worden of naar andere systemen stromen, dan kijken we naar een databeheersysteem en de bijbehorende koppelingen. Wil je weten hoe jouw data mee kan naar een nieuw systeem? Neem contact op.