<p>Este informe de proyecto describe la implementación de un marco metodológico para el desarrollo de proyectos de calidad de datos.Si bien un proyecto de calidad de datos es un proceso lleno de casuísticas y particularidades que dificultan en gran medida concebir algún tipo de generalización, hemos querido plasmar en el desarrollo de este trabajo un esbozo de lo que pudiera perfilarse como una metodología a la hora de abordar problemas de esta naturaleza.Aspectos como la correcta tipificación de los datos y sus dominios, contar con un conjunto de reglas y técnicas que permitan la corrección, homologación y eliminación de valores erróneos, así como criterios de evaluación acerca de la bondad de las mismas son parte de lo que queremos proponer como marco de trabajo.Los datos a analizar son el resultado de un proceso llevado a cabo en el contexto de un proyecto de migración de base de datos de una empresa de servicios eléctricos.Se definen e implementan las mediciones de calidad a realizar sobre la base de datos, y se establece la forma de registrar los resultados de las mismas. Luego se definen e implementan procesos de limpieza -automáticos y semiautomáticos- con el fin de corregir los errores detectados. Para las implementaciones se utilizan sentencias SQL, obteniendo como resultado un Script que automatiza el ciclo completo de la calidad de datos: medición, registro y limpieza necesaria para llevar a cabo la migración de la base de datos</p>
<p>This project report describes the implementation of a methodological framework for the development of data quality projects. While a quality project data is full of casuistry and special process that make it very difficult to conceive of any kind of generalization, we wanted to capture in the development of this paper an outline of what might emerge as a methodology when addressing problems of this nature. Aspects such as the correct classification of the data and their domains, have a set of rules and techniques to enable correction, approval and removal of erroneous values and evaluation criteria of the goodness of these are part of what we want propose as a framework. The data analyzed are the result of a process carried out in the context of a migration project database of electric utility.They are defined and implemented quality measurements to be performed on the database, and how to record the results of the same set. Then they define and implement cleaning processes -automatic and semiautomatic- in order to correct the errors found.For implementations SQL statements are used, resulting in a script that automates the full cycle of data quality: measurement, registration and cleaning required to perform the migration of the database</p>
last modification
Licenciado en Ciencias de la Ingeniería
Ingeniero Civil en Informáticatítulo
INGENIERIA CIVIL INFORMATICA
<p>Este informe de proyecto describe la implementación de un marco metodológico para el desarrollo de proyectos de calidad de datos.Si bien un proyecto de calidad de datos es un proceso lleno de casuísticas y particularidades que dificultan en gran medida concebir algún tipo de generalización, hemos querido plasmar en el desarrollo de este trabajo un esbozo de lo que pudiera perfilarse como una metodología a la hora de abordar problemas de esta naturaleza.Aspectos como la correcta tipificación de los datos y sus dominios, contar con un conjunto de reglas y técnicas que permitan la corrección, homologación y eliminación de valores erróneos, así como criterios de evaluación acerca de la bondad de las mismas son parte de lo que queremos proponer como marco de trabajo.Los datos a analizar son el resultado de un proceso llevado a cabo en el contexto de un proyecto de migración de base de datos de una empresa de servicios eléctricos.Se definen e implementan las mediciones de calidad a realizar sobre la base de datos, y se establece la forma de registrar los resultados de las mismas. Luego se definen e implementan procesos de limpieza -automáticos y semiautomáticos- con el fin de corregir los errores detectados. Para las implementaciones se utilizan sentencias SQL, obteniendo como resultado un Script que automatiza el ciclo completo de la calidad de datos: medición, registro y limpieza necesaria para llevar a cabo la migración de la base de datos</p>
<p>This project report describes the implementation of a methodological framework for the development of data quality projects. While a quality project data is full of casuistry and special process that make it very difficult to conceive of any kind of generalization, we wanted to capture in the development of this paper an outline of what might emerge as a methodology when addressing problems of this nature. Aspects such as the correct classification of the data and their domains, have a set of rules and techniques to enable correction, approval and removal of erroneous values and evaluation criteria of the goodness of these are part of what we want propose as a framework. The data analyzed are the result of a process carried out in the context of a migration project database of electric utility.They are defined and implemented quality measurements to be performed on the database, and how to record the results of the same set. Then they define and implement cleaning processes -automatic and semiautomatic- in order to correct the errors found.For implementations SQL statements are used, resulting in a script that automates the full cycle of data quality: measurement, registration and cleaning required to perform the migration of the database</p>
