AMAZON S3 -CLASES DE ALMACENAMIENTO.

Amazon S3 ofrece una variedad de clases de almacenamiento diseñadas para diferentes casos de uso:

Estándar S3 para el almacenamiento de uso general de datos a los que se accede con frecuencia
S3 Intelligent-Tiering para datos con patrones de acceso desconocidos o cambiantes
S3 Standard-Infrequent Access (S3 Standard-IA) y S3 One Zone-Infrequent Access (S3 One Zone-IA) para datos de larga duración, pero a los que se accede con menos frecuencia
Amazon S3 Glacier (S3 Glacier) y Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) para archivo a largo plazo y preservación digital.

FACTORES DE COSTO:

Hay que considerar varios factores para determinar el costo, el analisis de uso de los objetos, tamaño puede influir en el costo.

Almacenamiento (Storage) por gigabytes (GB)
Cargos generales de almacenamiento: por cada objeto almacenado en el archivo Glacier o Glacier Deep, almacena 8 KBdatos en el estándar S3 para que los metadatos respalden la operación de la lista y 32 KBpara el índice en Glacier, que se cobra según su nivel de glaciar
Solicitud ,(Requests) que es la cantidad de API, solicitudes PUT y GET.
Recuperaciones (Retrievals): que se mide en gigabytes (GB), aplicable a algunas clases de almacenamiento.
Tiene cargos de monitoreo y automatización (Monitoring & Automotion) por niveles inteligentes
Cargos por eliminación anticipada ( Early Delete) para algunas clases de almacenamiento.
Costo de transferencia de datos :(Data transfer) generalmente no hay tarifa de transferencia para la entrada de datos y, según la ubicación del solicitante y el medio de transferencia de datos, diferentes cargos por salida de datos
Varias funciones de administración, ( Storage management) como análisis, procesamiento por lotes, inventario y replicación de almacenamiento, donde debe pagar de manera diferente
Tamaño mínimo del objeto : para IA, una Zona IA, si almacena un objeto de menos de 128 KB, seguirá pagando un mínimo de 128 KB. Para la organización en niveles inteligente, no hay un tamaño mínimo de objeto facturable, sin embargo, el objeto de 128 KB no se moverá.

CARGOS GENERALES DE ALMACENAMIENTO:

Cuando transfieres objetos a la clase de almacenamiento GLACIER o DEEP_ARCHIVE , se agrega una cantidad fija de almacenamiento a cada objeto para acomodar los metadatos para administrar el objeto:

Para cada objeto archivado en GLACIERo DEEP_ARCHIVE, Amazon S3 utiliza el 8 KB almacenamiento para el nombre del objeto y otros metadatos. Amazon S3 almacena estos metadatos para que pueda obtener una lista en tiempo real de sus objetos archivados mediante la API de Amazon S3.
Se le cobran STANDARDtarifas de Amazon S3 por este almacenamiento adicional.
Para cada objeto que se archiva en GLACIERo DEEP_ARCHIVE, Amazon S3 agrega 32 KBalmacenamiento para el índice y los metadatos relacionados. Estos datos adicionales son necesarios para identificar y restaurar su objeto. Se le cobrará GLACIERo DEEP_ARCHIVEtarifas por este almacenamiento adicional.

La tabla anterior ilustra que no siempre es una buena idea mover archivos a Amazon S3 Glacier: tiene sentido cuando tiene archivos con un tamaño superior a 1000 KB.

Puede calcular los ahorros potenciales en función de su caso utilizando este Archivo Excel.

NO HAY QUE IMPLEMENTAR el archivo en objetos pequeños (de menos de 1 MB). en Glaciar Amazon S3 facturas tanto para datos como para solicitudes. Cuando tenemos archivos pequeños, tendemos a tener miles, si no millones, de ellos. En ese caso, el archivo puede generar cargos inesperados. Prefiere archivar objetos comprimidos (varios archivos en uno).

TIP 01: Aproveche la organización inteligente por niveles

Niveles inteligentes de Amazon S3 es una clase de almacenamiento diseñada para clientes que desean optimizar los costos de almacenamiento automáticamente cuando cambian los patrones de acceso a los datos, sin impacto en el rendimiento ni gastos generales operativos. S3 Intelligent-Tiering es la primera clase de almacenamiento de objetos en la nube que ofrece ahorros de costos automáticos al mover datos entre dos niveles de acceso (acceso frecuente y acceso poco frecuente) cuando los patrones de acceso cambian, y es ideal para datos con patrones de acceso desconocidos o cambiantes.

Es la clase de almacenamiento ideal para datos de larga duración con patrones de acceso desconocidos o impredecibles.

TIP 02: implementar políticas de ciclo de vida

Si conoce su patrón de acceso a datos, puede usar políticas de ciclo de vidapara definir las acciones que desea que Amazon S3 realice durante la vida útil de un objeto. Por ejemplo, transfiera objetos a otra clase de almacenamiento, archívelos o elimínelos después de un período de tiempo específico.

Puede definir una política de ciclo de vida para todos los objetos o un subconjunto de objetos en un depósito mediante el uso de un prefijo compartido (nombres de objetos que comienzan con una cadena común) o una etiqueta:

limpiar versiones antiguas de objetos.
limpiar cargas parciales incompletas.
para automáticamente cambiar el nivel de almacenamiento.
para automáticamente objetos de archivo.
para automáticamente eliminar objetos.

¿Cómo creo una política de ciclo de vida para un bucket de S3?

TIP 03: elimine versiones antiguas de objetos en depósitos con versiones

Después de habilitar control de versiones del objeto para un bucket de S3, las cargas sucesivas o PUT de un objeto en particular crearán versiones distintas, nombradas y direccionables individualmente del objeto para brindarle protección contra sobrescrituras y eliminaciones. Puede conservar, recuperar y restaurar todas las versiones de cada objeto en un depósito de S3 que tiene habilitado el control de versiones.

Las versiones antiguas de objetos todavía utilizan espacio de almacenamiento. Es posible que desee automatizar la eliminación de esas versiones de objetos antiguas y no relevantes mediante los ciclos de vida de Amazon S3 (consulte la sugerencia n. ° 2 ).

TIP 04: Limpiar cargas de varias partes incompletas

Amazon S3 carga multiparte acelera la carga de objetos grandes permitiéndole dividirlos en partes lógicas que se pueden cargar en paralelo. Si inicia una carga de varias partes pero nunca la finaliza, la carga en curso ocupa algo de espacio de almacenamiento e incurrirá en cargos por almacenamiento. Sin embargo, estas cargas no son visibles cuando enumera el contenido de un depósito.

Puede aprovechar las políticas del ciclo de vida para limpiar automáticamente la carga de varias partes incompleta.

TIP 05: conozca sus patrones de acceso a los datos

Si conoce su patrón de acceso a los datos, por ejemplo, en un sistema de facturación y facturación, es probable que se acceda a las facturas en PDF en los primeros 30 días de su publicación y ya no se pueda acceder a ellas después, puede aprovechar las políticas del ciclo de vida para mover automáticamente el objeto de STANDARDla clase de almacenamiento a STANDARD_IA( IA, para accesos poco frecuentes).

La clase de almacenamiento IA le proporciona la misma API y rendimiento que el almacenamiento S3 normal. IA es aproximadamente cuatro veces más barato que el almacenamiento estándar S3 ($ 0,007 GB / mes frente a $ 0,03 GB / mes), pero usted paga por la recuperación ($ 0,01 GB). La recuperación es gratuita en la clase de almacenamiento S3 estándar.

IA es un gran candidato para las copias de seguridad de recuperación ante desastres. Tiene sentido cargar directamente cualquier objeto de más de 128 KB en IA y ahorrar un 60% en almacenamiento durante un año sin perder disponibilidad o durabilidad de los datos.

Si no conoce sus patrones de acceso a datos, puede usar Análisis de clase de almacenamiento de Amazon S3. Le ayuda a analizar los patrones de acceso al almacenamiento para ayudarlo a decidir cuándo realizar la transición de los datos correctos a la clase de almacenamiento adecuada. Esta nueva función de análisis de Amazon S3 observa los patrones de acceso a los datos para ayudarlo a determinar cuándo realizar la transición del STANDARDalmacenamiento al que se accede con menos frecuencia a la STANDARD_IAclase de almacenamiento.

También puede aprovechar el panel proporcionado por Lente de almacenamiento de Amazon S3 (STORAE LENS) para obtener una vista holística de su BUCKET

TIP 06: Archivar archivos antiguos

Amazon S3 Glacier y S3 Glacier Deep Archive están diseñados para ser las clases de almacenamiento de Amazon S3 de menor costo, lo que le permite archivar grandes cantidades de datos a un costo muy bajo. Está diseñado para casos de uso en los que los datos se conservan durante meses, años o décadas.

Puede utilizar Amazon S3 Glacier a propósito o aprovechar las políticas del ciclo de vida para archivar automáticamente objetos antiguos y a los que no se accede.

Compensación : objetos que se han archivado debe ser restaurado antes de volver a utilizarse.

TIP 07: : elimine los objetos que ya no son relevantes

Con las políticas de ciclo de vida de Amazon S3, también puede automatizar la eliminación de objetos que ya no son relevantes. Por ejemplo, es posible que no necesite las copias de seguridad de su base de datos de desarrollo durante más de 7 días.

TIP 08: : considere eliminar los archivos no utilizados que se pueden volver a crear

A veces, puede resultar más económico generar archivos sobre la marcha. Por ejemplo, si necesita varias resoluciones de miniaturas de imágenes a las que se accede con poca frecuencia, puede tener sentido mantener las imágenes originales y recrear otras resoluciones cuando se soliciten y almacenarlas en caché en la red de entrega de contenido.

Encontrarás una arquitectura que lo permita en el Cambie el tamaño de las imágenes sobre la marcha con Amazon S3, AWS Lambda y Amazon API Gateway entrada en el blog.

TIP 09: : considere usar objetos por lotes

Por lo general, muchos objetos pequeños pueden volverse muy costosos muy rápidamente. Tiene sentido agrupar objetos. Si siempre carga y descarga todos los objetos al mismo tiempo, lo mejor es almacenarlos como un solo archivo (usando tar). Debe diseñar un sistema para evitar una gran cantidad de archivos pequeños. Por lo general, es un buen patrón tener algunos clústeres que eviten archivos pequeños.