Trabajamos con muchos clientes en muchas industrias para conectar nuestro software avanzado de análisis, pronóstico y planificación de inventario a sus sistemas ERP. A pesar de la variedad de situaciones que encontramos, algunos problemas relacionados con los datos tienden a surgir una y otra vez. Este blog enumera diez consejos que pueden ayudarlo a evitar estos problemas comunes.

Una vez que un cliente está listo para implementar el software para la planificación de la demanda y/o la optimización del inventario, debe conectar el software de análisis a su flujo de datos corporativos. En nuestro caso, introducimos los datos de transacciones directamente en el software analítico. Esto proporciona información sobre la demanda de artículos y los plazos de entrega de los proveedores, entre otras cosas. Extraemos el resto de los datos del propio sistema ERP, que proporciona metadatos como la ubicación de cada artículo, el costo unitario y el grupo de productos.

Estos consejos son importantes porque no es raro que los proyectos de implementación comiencen con gran entusiasmo pero luego se atasquen rápidamente debido a problemas con los datos que alimentan el análisis. Estos retrasos pueden reducir el entusiasmo del equipo, avergonzar a los líderes del proyecto y retrasar (y, por lo tanto, reducir) el retorno de la inversión que, en última instancia, justificó la implementación del proyecto en primer lugar.

La importancia de conectar el software de análisis al flujo de datos corporativos

Aquí está la lista de consejos, agrupados por temas generales de manejo seguro de archivos, aseguramiento de la integridad de los datos y manejo de excepciones.

Manejo de archivos de forma segura

1. Tenga un entorno de prueba para usar como un "sandbox". Copie sus datos actuales en un entorno de prueba donde pueda experimentar con seguridad con el software sin arriesgar las operaciones actuales. Además de ayudar a los usuarios a conocer los entresijos del nuevo software, tener los datos más recientes en el software permite a los usuarios finales descubrir cualquier problema con los datos.

2. Proteja sus reglas de extracción de datos. Si no está utilizando un conector preconstruido para su sistema ERP entonces debe asegurarse de que puede crear reglas de extracción guardables para mover datos de su ERP a un archivo. El orden de las columnas, los tipos de datos, los formatos de fecha, etc. no deben variar cada vez que se vuelve a ejecutar el mismo extracto. De lo contrario, el proyecto se atasca con errores manuales o confusión en las extracciones posteriores después de las correcciones de los datos o cuando se ingresan nuevos datos. Todas las reglas de extracción de datos deben guardarse y estar disponibles para TI; hemos encontrado situaciones en las que los archivos extraídos se hicieron así. en forma ad hoc resultando en formatos ligeramente diferentes con cada nuevo extracto. También hemos visto a los clientes trabajar arduamente para desarrollar una rutina de extracción de datos compleja y precisa solo para descubrir que todo su trabajo se perdió cuando no se archivó correctamente. Ambas situaciones generaron confusión y retrasos en los proyectos.

3. No utilice formatos de archivo nativos de Excel para transferencias de datos. Si su solución de planificación no tiene una integración directa con su sistema ERP, exporte los datos de ERP a un formato de archivo plano, como archivos de texto delimitados por comas (.csv) o delimitados por tabulaciones. No utilice formatos de MS Excel como .xls o .xlsx como tipo de archivo de exportación porque Excel reformatea automáticamente los valores de los campos de formas inesperadas. Muchos usuarios asumen que necesitan usar archivos .xlsx si quieren revisarlos manualmente, sin darse cuenta de que los archivos .csv o .txt se pueden abrir con la misma facilidad y no conllevan el riesgo de reformateos automáticos.

Asegurar la integridad de los datos

Problemas de datos y soluciones en la implementación de software. Aquí está la lista de consejos, agrupados por temas generales de manejo seguro de archivos, aseguramiento de la integridad de los datos y manejo de excepciones.

4. Confirme la exactitud de los datos de su catálogo. Exporte los datos de su catálogo (es decir, lista de productos, lista de clientes, lista de proveedores) y todos sus atributos relevantes. Compruebe si hay valores incorrectos o sospechosos en los atributos (especialmente los plazos de entrega y los costes de los artículos). Los valores problemáticos incluyen espacios en blanco, ceros cuando no espera cero como valor de datos y cadenas de texto cuando espera valores numéricos (o viceversa). Puede ser útil abrir cada archivo de extracción en Excel y filtrar en cada campo de atributo, mirando los valores únicos para ver qué salta como diferente a los demás (por ejemplo, "1", "2", "&&", "3" …).

5. Confirme la precisión de sus datos de agrupación. Otra actividad útil que se puede realizar mientras se visualizan los datos del catálogo de productos en Excel es verificar los principales campos de agrupación/filtrado, como la familia, categoría o clase de productos, para asegurarse de que no se haya asignado ningún producto a la categoría, clase o familia incorrecta. Del mismo modo, verifique los campos de estado del producto/ciclo de vida del producto, por ejemplo, asegúrese de haber identificado correctamente todos los productos descontinuados.

6. Compruebe si hay caracteres de control falsos en los campos de texto. Compruebe que no se hayan extraído caracteres inusuales en las descripciones de sus productos, como retornos de carro o tabulaciones dentro del valor de la descripción. Si es así, asegúrese de que puede extraer esos datos usando comillas dobles alrededor de la descripción o corrija los errores de entrada de datos en el sistema ERP directamente.

7. Verifique que los datos tengan un diseño estándar. Verifique que sus extractos de datos transaccionales (p. ej., pedidos de clientes, envíos de clientes, órdenes de compra, recibos de proveedores) no contengan filas duplicadas. Si es así, identifique qué campos deben agregarse para diferenciar las filas o, si realmente son duplicados, elimine las copias adicionales en la base de datos de ERP.

Manejo de excepciones

8. Detectar y reaccionar ante excepciones. Identifique cualquier atributo de los datos transaccionales que significaría que no deben usarse, como pedidos cancelados. Comprenda el proceso relacionado con los pedidos ingresados por error o los pedidos cancelados para asegurarse de que no se cuenten o cuenten dos veces este tipo de transacciones. Esté atento a otros atributos de datos que impliquen que ese atributo no debe usarse, como el envío directo al cliente directamente desde un proveedor en lugar de enviarlo desde su propia empresa. 

9. Codificar el manejo de transferencias internas excepcionales. Defina el registro idealizado de transferencias de existencias internas de emergencia y luego proporcione reglas para editar cualquier transacción realizada en caso de emergencia que varíe del patrón ideal. Por ejemplo, si se supone que el producto P1 debe enviarse fuera de la ubicación A, pero hubo un envío de emergencia fuera de la ubicación B, el historial de demanda de P1 en la ubicación A está secuestrado y es menor de lo que debería haber sido. Si es posible, proporcione una regla sobre la ubicación de envío preferida para cada producto para que el software de optimización de inventario pueda corregir el historial con fines de pronóstico.

10. Diseñe un procedimiento para manejar la sustitución. Las sustituciones surgen, por ejemplo, cuando se adopta un nuevo ERP que reindexa los productos, o cuando se reemplaza un producto antiguo por una versión actualizada, o cuando un producto completamente nuevo se vuelve obsoleto y antiguo. Si los identificadores de productos cambiaron en los últimos años por algún motivo, identifique una asignación del ID de producto anterior al nuevo. Estas reglas deben estar disponibles para el sistema de previsión y planificación de la demanda y pueden editarse dentro de la aplicación.

El hecho de no anticipar los problemas de datos es un impedimento importante para la implementación fluida del nuevo software analítico. Ninguna lista puede enumerar todas las cosas extrañas que pueden salir mal en la selección de datos, pero esta destaca problemas comunes y respuestas sensatas.

Nota: Para obtener más información sobre cómo los problemas de datos pueden obstaculizar la aplicación de software analítico avanzado, consulte el excelente blog de Sean Snapp sobre cómo este problema está obstruyendo la aplicación de la inteligencia artificial y el aprendizaje automático.  https://www.brightworkresearch.com/demandplanning/2019/05/how-many-ai-projects-will-fail-due-to-a-lack-of-data/