We werken samen met veel klanten in veel sectoren om onze geavanceerde software voor analyse, prognoses en voorraadplanning te verbinden met hun ERP-systemen. Ondanks de verscheidenheid aan situaties die we tegenkomen, hebben sommige gegevensgerelateerde problemen de neiging om keer op keer de kop op te steken. In deze blog staan tien tips die je kunnen helpen om deze veelvoorkomende problemen te voorkomen.

Zodra een klant klaar is om software voor vraagplanning en/of voorraadoptimalisatie te implementeren, moet hij de analysesoftware aansluiten op zijn bedrijfsgegevensstroom. In ons geval verwerken we transactiegegevens rechtstreeks in de analytische software. Dit geeft onder meer informatie over de vraag naar artikelen en de doorlooptijden van leveranciers. We halen de rest van de gegevens uit het ERP-systeem zelf, dat metagegevens levert zoals de locatie van elk artikel, de kostprijs per eenheid en de productgroep.

Deze tips zijn belangrijk omdat het niet ongebruikelijk is dat implementatieprojecten met veel enthousiasme beginnen, maar al snel vastlopen door problemen met de gegevens die de analyse voeden. Deze vertragingen kunnen het teamenthousiasme verminderen, projectleiders in verlegenheid brengen en de ROI-uitbetaling vertragen (en daardoor verminderen) die uiteindelijk het implementatieproject rechtvaardigde.

Het belang van het verbinden van de analysesoftware met de bedrijfsgegevensstroom

Hier is de lijst met tips, gegroepeerd op basis van de algemene thema's veilig omgaan met bestanden, waarborgen van gegevensintegriteit en omgaan met uitzonderingen.

Veilig omgaan met bestanden

1. Zorg voor een testomgeving die u als 'sandbox' kunt gebruiken. Kopieer uw huidige gegevens naar een testomgeving waar u veilig kunt experimenteren met de software zonder de huidige bewerkingen te riskeren. Naast het helpen van gebruikers om de ins en outs van de nieuwe software te leren, stelt het hebben van de nieuwste gegevens in de software eindgebruikers in staat eventuele problemen met de gegevens te ontdekken.

2. Bescherm uw regels voor gegevensextractie. Als u geen gebruik maakt van een kant-en-klare connector voor uw ERP-systeem dan moet u ervoor zorgen dat u bewaarbare uittrekregels kunt maken om gegevens van uw ERP naar een bestand te verplaatsen. Kolomvolgorde, gegevenstypen, datumnotaties, enz. mogen niet elke keer dat hetzelfde extract opnieuw wordt uitgevoerd, variëren. Anders loopt het project vast in handmatige fouten of verwarring bij het opnieuw uitpakken na fixes van de gegevens of wanneer nieuwe gegevens binnenkomen. Alle regels voor gegevensextractie moeten worden opgeslagen en beschikbaar zijn voor IT - we zijn situaties tegengekomen waarin bestanden werden geëxtraheerd. op ad hoc wijze resulterend in een iets ander formaat bij elk nieuw uittreksel. We hebben ook gezien dat klanten hard werkten aan het ontwikkelen van een complexe en nauwkeurige routine voor het extraheren van gegevens, waarna ze ontdekten dat al hun werk verloren was gegaan toen het niet goed was gearchiveerd. Beide situaties leidden tot verwarring en projectvertragingen.

3. Gebruik geen native bestandsindelingen van Excel voor gegevensoverdracht. Als uw planningsoplossing geen directe integratie met uw ERP-systeem heeft, exporteer dan ERP-gegevens naar een platte bestandsindeling, zoals door komma's gescheiden bestanden (.csv) of door tabs gescheiden tekstbestanden. Gebruik geen MS Excel-indelingen zoals .xls of .xlsx als het exportbestandstype omdat Excel automatisch veldwaarden op onverwachte manieren opnieuw opmaakt. Veel gebruikers gaan ervan uit dat ze .xlsx-bestanden moeten gebruiken als ze ze handmatig willen bekijken, zich niet realiserend dat .csv- of .txt-bestanden net zo gemakkelijk kunnen worden geopend en niet het risico met zich meebrengen dat ze automatisch opnieuw worden geformatteerd.

Gegevensintegriteit verzekeren

Gegevensproblemen en oplossingen bij software-implementatie. Hier is de lijst met tips, gegroepeerd op basis van de algemene thema's veilig omgaan met bestanden, waarborgen van gegevensintegriteit en omgaan met uitzonderingen.

4. Bevestig de juistheid van uw catalogusgegevens. Exporteer uw catalogusgegevens (dwz lijst met producten, lijst met klanten, lijst met leveranciers) en al hun relevante attributen. Controleer op verkeerde of verdachte waarden in de attributen (vooral doorlooptijden en kosten van artikelen). Problematische waarden zijn spaties, nullen als u geen nul als gegevenswaarde verwacht, en tekenreeksen als u numerieke waarden verwacht (of vice versa). Het kan helpen om elk extractbestand in Excel te openen en op elk attribuutveld te filteren, kijkend naar de unieke waarden om te zien wat eruit springt als niet zoals de andere (bijv. "1", "2", "&&", "3" …).

5. Bevestig de juistheid van uw groeperingsgegevens. Een andere nuttige activiteit die kan worden uitgevoerd tijdens het bekijken van de productcatalogusgegevens in Excel, is het controleren van belangrijke groeperings-/filtervelden zoals productfamilie, categorie of klasse om er zeker van te zijn dat er geen producten zijn toegewezen aan de verkeerde categorie, klasse of familie. Controleer ook alle velden voor productstatus/productlevenscyclus, zorg er bijvoorbeeld voor dat u alle stopgezette producten correct hebt geïdentificeerd.

6. Controleer op valse controletekens in tekstvelden. Controleer of er geen ongebruikelijke tekens in uw productbeschrijvingen zijn geëxtraheerd, zoals regelterugloop of tabs in de beschrijvingswaarde zelf. Als dat het geval is, zorg er dan voor dat u die gegevens kunt extraheren door tussenvoegsels met dubbele aanhalingstekens rond de beschrijving te gebruiken, of herstel fouten bij het invoeren van gegevens rechtstreeks in het ERP-systeem.

7. Controleer of de gegevens een standaardlay-out hebben. Controleer of uw uittreksels van transactiegegevens (bijv. klantorders, klantverzendingen, inkooporders, leveranciersbonnen) geen dubbele rijen bevatten. Als dat het geval is, identificeert u welke velden moeten worden toegevoegd om de rijen onderscheidend te maken of, als het echte duplicaten zijn, verwijdert u de extra exemplaren in de ERP-database.

Omgaan met uitzonderingen

8. Detecteer en reageer op uitzonderingen. Identificeer alle kenmerken van transactiegegevens die zouden betekenen dat ze niet zouden moeten worden gebruikt, zoals geannuleerde bestellingen. Begrijp het proces rond verkeerd ingevoerde bestellingen of geannuleerde bestellingen om ervoor te zorgen dat dit soort transacties niet worden geteld of dubbel geteld. Let op andere gegevensattributen die zouden impliceren dat dat attribuut niet mag worden gebruikt, zoals dropshipping rechtstreeks van een leverancier naar de klant in plaats van het vanuit uw eigen bedrijf te verzenden. 

9. Codificeer de afhandeling van uitzonderlijke interne overboekingen. Definieer het geïdealiseerde record van interne voorraadoverdrachten in noodgevallen en geef vervolgens regels voor het bewerken van transacties die op noodbasis zijn uitgevoerd en die afwijken van het ideale patroon. Als bijvoorbeeld product P1 zou moeten worden verzonden vanuit locatie A, maar er was een noodverzending vanuit locatie B, wordt de vraaggeschiedenis voor P1 op locatie A gekaapt en minder dan het had moeten zijn. Geef indien mogelijk een regel op voor de gewenste verzendlocatie voor elk product, zodat de geschiedenis kan worden gecorrigeerd door de voorraadoptimalisatiesoftware voor prognosedoeleinden.

10. Bedenk een procedure om vervanging af te handelen. Vervangingen doen zich bijvoorbeeld voor bij het adopteren van een nieuw ERP-systeem dat de producten opnieuw indexeert, of een oud product wordt vervangen door een bijgewerkte versie, of een geheel nieuw product veroudert en het oude. Als product-ID's om welke reden dan ook in de afgelopen paar jaar zijn gewijzigd, identificeer dan een mapping van de oude product-ID naar de nieuwe. Deze regels moeten beschikbaar zijn voor het vraagplannings- en prognosesysteem en kunnen worden bewerkt binnen de applicatie.

Het niet anticiperen op dataproblemen vormt een grote belemmering voor een soepele implementatie van nieuwe analytische software. Geen enkele lijst kan alle vreemde dingen opsommen die fout kunnen gaan bij het verzamelen van gegevens, maar deze lijst belicht veelvoorkomende problemen en verstandige antwoorden.

Opmerking: voor meer informatie over hoe gegevensproblemen de toepassing van geavanceerde analytische software kunnen belemmeren, zie de uitstekende blog van Sean Snapp over hoe dit probleem de toepassing van kunstmatige intelligentie en machine learning belemmert.  https://www.brightworkresearch.com/demandplanning/2019/05/how-many-ai-projects-will-fail-due-to-a-lack-of-data/