AWS facilita la migración de tablas Apache Hive a Apache Iceberg
Cloud

AWS facilita la migración de tablas Apache Hive a Apache Iceberg

Amazon S3 Tables ahora permite la migración gestionada de tablas Apache Hive a Apache Iceberg, simplificando el proceso y reduciendo costos. Esta actualización es clave para la modernización de lagos de datos en empresas.

8 de noviembre 20262 min de lectura AWS Blog
0 comentarios

Amazon Web Services (AWS) ha anunciado una nueva funcionalidad en Amazon S3 Tables que permite la migración gestionada de tablas Apache Hive a Apache Iceberg. Esta opción simplifica el proceso de modernización de lagos de datos, eliminando la necesidad de construir infraestructuras complejas y permitiendo que las cargas de trabajo en producción continúen operando sin interrupciones.

La migración se aplica a tablas Parquet en Amazon S3 que están registradas en el AWS Glue Data Catalog. Apache Iceberg, considerado el estándar abierto para conjuntos de datos analíticos a gran escala, ofrece características como evolución de esquemas, particionamiento oculto y consultas de viaje en el tiempo. Con esta nueva funcionalidad, las empresas pueden gestionar tablas de petabytes de manera más eficiente y rentable.

Anteriormente, la migración de tablas Apache Hive a Iceberg podía tomar semanas, requiriendo un esfuerzo significativo en ingeniería para construir y gestionar la infraestructura necesaria. Con la nueva opción gestionada, S3 Tables se encarga de todo el flujo de trabajo de migración, incluyendo validación de datos, verificación de compatibilidad, conversiones de tipo y compresión de archivos.

El proceso de migración permite realizar múltiples sincronizaciones sin detener las escrituras en la tabla de origen, con una breve interrupción durante el corte final. Además, las migraciones gestionadas son más económicas, ya que solo se paga por los datos copiados, sin cargos adicionales por la conversión de Hive a Iceberg.

Para iniciar la migración, los usuarios deben seleccionar el bucket de destino en la consola de S3 y crear una tabla de Iceberg. Durante la migración, la tabla de destino es de solo lectura, y una vez completada, se promueve a estado de lectura-escritura. Esto permite a las empresas comenzar a trabajar con sus datos de inmediato, utilizando integraciones directas con Amazon Athena y Amazon SageMaker Unified Studio, o cualquier herramienta compatible con la API REST de Apache Iceberg.

Comentarios