Las 5 etapas de la gestión del ciclo de vida de los datos

El contenido de Datamation y las recomendaciones de productos son editorialmente independientes. Podemos ganar dinero cuando hace clic en enlaces a nuestros socios. Aprende más.

La gestión del ciclo de vida de los datos aborda cómo obtener control y capitalizar las grandes cantidades de datos que poseen la mayoría de las organizaciones. Las empresas que pueden romper sus silos organizacionales y unificar y analizar sus datos de manera inteligente son más competitivas y exitosas que sus pares. Lograr esos objetivos requiere una organización cuidadosa de las cinco fases diferentes que componen el ciclo de vida de los datos: creación, almacenamiento, uso, archivo y destrucción. Este artículo detalla esas etapas y brinda las mejores prácticas para cada una.

En términos generales, la gestión del ciclo de vida de los datos es la disciplina que garantiza que los datos sean accesibles y utilizables por quienes los necesitan de principio a fin. El ciclo de vida de los datos en sí cubre todas las etapas por las que debe pasar una organización en su interacción con los datos, ya sean financieros, centrados en el cliente o de otro tipo. Dependiendo de a quién le pregunte, el ciclo de vida de los datos consta de cinco u ocho fases. El ciclo de cinco etapas es el más simple y común:

Creación > Almacenamiento > Uso > Archivado > Destrucción

El ciclo de ocho etapas es una expansión de dos etapas del ciclo de cinco etapas. En este modelo, “recopilación” y “procesamiento” son parte de la fase de Almacenamiento, mientras que “gestión”, “análisis”, “visualización” e “interpretación” son parte de las fases de Uso y Archivo.

Generación > Colección > Procesamiento > Almacenamiento > Gestión > Análisis > Visualización > Interpretación

Navegar con éxito en cada etapa requiere considerar los procesos y usuarios internos, la infraestructura y la tecnología, los reguladores externos y las autoridades legales, la privacidad del consumidor y más, lo que hace que la gestión del ciclo de vida de los datos sea un tema complejo que afecta a muchas áreas del trabajo de una empresa. Veamos cada etapa con más detalle.

Debido a que las empresas reciben una gran cantidad de datos, es fácil dar por sentado esta etapa. Pero considere esto: los datos de una organización se crean en una amplia gama de dispositivos en muchas geografías. Para hacerlo bien, esta etapa implica asegurarse de que los usuarios tengan las herramientas adecuadas para crear datos y los procesos adecuados para garantizar que los datos se puedan almacenar en los formatos y tipos adecuados.

Básicamente, la etapa de Creación toma los datos iniciales, garantiza que puedan capturarse y estar disponibles en el medio de almacenamiento adecuado. Para pasar a la siguiente etapa, la fase de almacenamiento, los datos deben procesarse correctamente. Se deben agregar metadatos para que se puedan realizar búsquedas, por ejemplo, y se deben identificar y tener en cuenta los requisitos de acceso y privacidad. Esta fase se realiza mejor de forma automática en la capa de metadatos a medida que los datos se introducen en los medios de almacenamiento.

"Si se implementan correctamente, los metadatos actúan como una hoja de ruta para brindar a las organizaciones la información necesaria para controlar todos sus datos y recursos de almacenamiento", dijo Tony Cahill, arquitecto senior de soluciones de StrongBox Data Solutions. "En entornos híbridos y de nube, los metadatos se pueden utilizar para mejorar la resiliencia de los datos y reducir los cargos de salida al dirigirse a archivos específicos".

La etapa de almacenamiento es compleja y conlleva muchas ramificaciones para el resto del ciclo de vida. Si los datos se vierten descuidadamente en la nube o en matrices de discos, por ejemplo, pueden perderse fácilmente, ser difíciles de administrar o resultar costosos de conservar. Hay muchas opciones para los medios de almacenamiento (nube, flash, disco, cinta o medios ópticos, por ejemplo), pero es necesario pensar en encontrar el lugar adecuado para guardarlos, teniendo en cuenta factores como el costo, la accesibilidad y la calidad. nivel de rendimiento que necesitan las aplicaciones a las que sirve.

La seguridad también es una preocupación en el almacenamiento moderno, lo que significa que durante esta etapa también se deben considerar la inmutabilidad de los datos, la seguridad, la privacidad y la ubicación del almacenamiento, así como la redundancia: para protegerse contra desastres o violaciones de datos, se deben tener múltiples copias de seguridad de los datos. hacerse. Además, las reglas y regulaciones externas pueden dictar cómo se almacenan los datos. Las naciones europeas, por ejemplo, no quieren que se exporten datos fuera de sus fronteras e imponen duras sanciones a los infractores. Las empresas que trabajan en industrias fuertemente reguladas deben asegurarse de que sus datos cumplan con todas las regulaciones pertinentes, incluidas HIPAA, Industria de Tarjetas de Pago (PCI), Sarbanes-Oxley y cualquier norma aplicable de la Comisión de Intercambio de Valores (SEC).

Las organizaciones también deben centrarse en los requisitos internos durante esta etapa. Los almacenes de datos deben organizarse de manera que respalden los objetivos comerciales y la continuidad del negocio en caso de desastres naturales, fallas o malware.

Más información: Soberanía de datos y ¿por qué es importante?

La forma en que se almacenan los datos en la etapa de Almacenamiento afecta dramáticamente a la etapa de Uso. Los datos almacenados deben estar disponibles para los usuarios y las aplicaciones que los necesitan y restringidos para aquellos que no los necesitan. Los roles deben definirse cuidadosamente y asignarse derechos de acceso, pero la seguridad, la privacidad y el rendimiento deben equilibrarse para que la carga sobre los usuarios no sea tan grande que no puedan usar los datos o buscar “sistemas ocultos” alternativos para evitarlo.

La etapa de Uso también incluye hacer que los datos estén disponibles para informes, paneles y análisis automatizados, lo que también significa necesidades de visualización de datos en tiempo real. La analítica puede ser el aspecto más fundamental del uso moderno de datos, con una amplia gama de aplicaciones y herramientas de inteligencia artificial (IA). Estas aplicaciones necesitan acceso a almacenes de datos cada vez más grandes. Los datos empresariales deben gestionarse para que tanto el liderazgo como el personal tengan acceso a los datos que necesitan, lo que requiere una gestión detallada de los datos en cada paso del proceso.

En la etapa de Archivado, se debe pensar en el almacenamiento de datos a largo plazo. Debido al gran volumen de datos en usos empresariales, ya no es factible retener todo en el almacenamiento primario, ya sea flash o disco. Con el flash, los precios suben junto con las capacidades, lo que ejerce presión sobre los presupuestos. Incluso el almacenamiento en disco es caro en grandes cantidades, lo que obliga a las empresas a buscar una variedad de medios para satisfacer sus presupuestos y necesidades.

Un análisis de Horison Information Strategies destaca el hecho de que rara vez o nunca se accede a hasta el 80 por ciento de los datos durante el primer mes o dos, lo que significa que los sistemas de misión crítica casi nunca solicitarán ninguno de esos datos. El mejor enfoque es retener el 20 por ciento de los datos de uso activo en una memoria flash o en un disco y almacenar el resto en un archivo de cinta inmutable.

Para aliviar las preocupaciones sobre la rapidez con la que los datos podrían estar disponibles si fuera necesario, las soluciones de archivo activo pueden proporcionar datos desde cinta hasta análisis e inteligencia artificial en tan solo unos minutos. Utilizadas en combinación con cintas, estas herramientas pueden garantizar la longevidad de los datos y preservar el acceso, evitando al mismo tiempo la corrupción y otros desafíos de retención.

"Los nuevos algoritmos de codificación de borrado optimizados específicamente para el almacenamiento en frío mejorarán la protección y la durabilidad de los datos para una retención a largo plazo, al tiempo que reducirán significativamente los costos de almacenamiento en comparación con las soluciones de múltiples copias y basadas en la nube", dijo Tim Sherbak, gerente de soluciones y productos empresariales de Quantum.

No se debe destruir ningún dato antes de pasar por la etapa de Archivado, y un archivo bien administrado incluirá disposiciones para destruir los datos que hayan llegado al final de su vida útil. Pero el auge de la IA y el análisis también ha dado lugar a una filosofía que exige que los datos se conserven indefinidamente, porque ¿quién sabe cuándo podrían resultar útiles?

Los aspectos prácticos de tal enfoque presentan desafíos. Almacenar datos hasta el final de los tiempos sería una propuesta costosa. Una solución podría ser resumir los datos antiguos o enviarlos a análisis y clasificación antes de destruirlos, proporcionando un registro de sus facetas clave sin sobrecargar a las organizaciones con requisitos de almacenamiento de datos difíciles de manejar.

Otro punto a considerar es que la destrucción de datos puede tener graves implicaciones. Los datos destruidos incorrectamente pueden representar un riesgo para la ciberseguridad o la privacidad, y los datos destruidos prematuramente pueden constituir una violación del cumplimiento. Lo mismo ocurre con la retención de datos durante demasiado tiempo, lo que también tiene ramificaciones de costos. Esto significa que la etapa de Destrucción parece bastante simple, pero en la práctica requiere una consideración cuidadosa. Las empresas deberán tener en cuenta sus propias necesidades internas y sopesarlas con los requisitos externos y legales.

Los beneficios clave de incorporar la gestión del ciclo de vida de los datos en una empresa son numerosos, pero generalmente se dividen en tres áreas.

Al sacar los datos de los silos y hacerlos accesibles a los sistemas de análisis y de inteligencia artificial, las organizaciones obtienen muchos más conocimientos de los que de otro modo serían posibles. Esto puede tener un impacto en todo, desde los informes y el monitoreo en tiempo real hasta la participación del cliente y la inteligencia competitiva.

Debe existir un sistema para cuidar los datos de acuerdo con los mejores intereses de los usuarios, los accionistas y la organización en su conjunto. Esto garantiza que los datos se procesen y estén disponibles donde y cuando sean necesarios y desempeña un papel crucial en el cumplimiento.

Los procesos correctos y las tecnologías del ciclo de vida de los datos deben proporcionar suficientes salvaguardias de ciberseguridad y privacidad y evitar la pérdida de datos debido a errores como la falta de copia de seguridad, la corrupción o el robo.

No importa cuánto pensamiento y planificación se dedique a la gestión del ciclo de vida de los datos, se cometerán errores y será necesario realizar ajustes. La gestión del ciclo de vida de los datos es un proceso continuo, no de una sola vez. Para gestionar con éxito los datos a lo largo de su ciclo de vida, las empresas deben escuchar a los usuarios: aquellos que trabajan con los datos día tras día. Si se quejan de que se ignoran datos valiosos, de que ciertos tipos de datos deben conservarse por más tiempo o de que los obstáculos de privacidad y seguridad han obstaculizado el rendimiento, es posible que sea necesario realizar ajustes. También es necesario tener en cuenta las fuentes externas (organismos reguladores y autoridades legales, por ejemplo). El monitoreo y la mejora constantes de todos los procesos del ciclo de vida de los datos pueden eventualmente producir un modelo exitoso para todos los involucrados.

Lea a continuación: Gestión de datos: tipos y desafíos

Conozca las últimas noticias y mejores prácticas sobre ciencia de datos, análisis de big data, inteligencia artificial, seguridad de datos y más.

Suscríbase a Data Insider para conocer las principales noticias, tendencias y análisis