Log a nivel Objetos en S3

S3 posee niveles de seguridad por medio de registro de objetos que pueden ser leídos, eliminados en un bucket critico que tengamos.

Para ello , S3 usa otros elementos de AWS, entre ellos el de Object level looging o log a nivel de objetos, que se encuentra en propiedades del BUCKET  elegido. Acá usa el CLOUDTRAIL y lo asocia al bucket, para ello antes tenemos que crear un CLOUDTRAIL

Para crear un CludTrail, nos dirigimos a uno de los servicios de AWS llamado CloudTrail. y lo creamos.
Una vez creado, lo podemos asociar ahí mismo al bucket de referencia. También estos logs pueden ser dirigidos a :

• Un nuevo Bucket que lo podemos crear ahi mismo o:
• A un CloudWatchEvents donde podemos asociar alertas con otros servicios como SMS.

La operación es por ejemplo si creamos un nuevo buckect de log, que si un usuario borra un objeto critico, este quedara registrado en en nuevo Bucket y nos genera un archivo jason don de esta la información correspondiente. Este archivo puede ser visto con un lector asociado.

AMAZON S3 -CLASES DE ALMACENAMIENTO.

Amazon S3 ofrece una variedad de clases de almacenamiento diseñadas para diferentes casos de uso:

• Estándar S3 para el almacenamiento de uso general de datos a los que se accede con frecuencia
• S3 Intelligent-Tiering para datos con patrones de acceso desconocidos o cambiantes
• S3 Standard-Infrequent Access (S3 Standard-IA) y S3 One Zone-Infrequent Access (S3 One Zone-IA) para datos de larga duración, pero a los que se accede con menos frecuencia
• Amazon S3 Glacier (S3 Glacier) y Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) para archivo a largo plazo y preservación digital.

FACTORES DE COSTO:

Hay que considerar varios factores para determinar el costo, el analisis de uso de los objetos, tamaño puede influir en el costo.

• Almacenamiento (Storage) por gigabytes (GB)
  Cargos generales de almacenamiento: por cada objeto almacenado en el archivo Glacier o Glacier Deep, almacena 8 KBdatos en el estándar S3 para que los metadatos respalden la operación de la lista y 32 KBpara el índice en Glacier, que se cobra según su nivel de glaciar
• Solicitud ,(Requests)  que es la cantidad de API, solicitudes PUT y GET.
• Recuperaciones (Retrievals): que se mide en gigabytes (GB), aplicable a algunas clases de almacenamiento.
• Tiene cargos de monitoreo y automatización (Monitoring & Automotion) por niveles inteligentes
• Cargos por eliminación anticipada ( Early Delete) para algunas clases de almacenamiento.
• Costo de transferencia de datos :(Data transfer) generalmente no hay tarifa de transferencia para la entrada de datos y, según la ubicación del solicitante y el medio de transferencia de datos, diferentes cargos por salida de datos
• Varias funciones de administración, ( Storage management)  como análisis, procesamiento por lotes, inventario y replicación de almacenamiento, donde debe pagar de manera diferente
• Tamaño mínimo del objeto : para IA, una Zona IA, si almacena un objeto de menos de 128 KB, seguirá pagando un mínimo de 128 KB. Para la organización en niveles inteligente, no hay un tamaño mínimo de objeto facturable, sin embargo, el objeto de 128 KB no se moverá.

CARGOS GENERALES DE ALMACENAMIENTO:

Cuando transfieres objetos a la clase de almacenamiento GLACIER o DEEP_ARCHIVE , se agrega una cantidad fija de almacenamiento a cada objeto para acomodar los metadatos para administrar el objeto:

• Para cada objeto archivado en GLACIERo DEEP_ARCHIVE, Amazon S3 utiliza el 8 KB almacenamiento para el nombre del objeto y otros metadatos. Amazon S3 almacena estos metadatos para que pueda obtener una lista en tiempo real de sus objetos archivados mediante la API de Amazon S3.
  Se le cobran STANDARDtarifas de Amazon S3 por este almacenamiento adicional.
• Para cada objeto que se archiva en GLACIERo DEEP_ARCHIVE, Amazon S3 agrega 32 KBalmacenamiento para el índice y los metadatos relacionados. Estos datos adicionales son necesarios para identificar y restaurar su objeto. Se le cobrará GLACIERo DEEP_ARCHIVEtarifas por este almacenamiento adicional.

La tabla anterior ilustra que no siempre es una buena idea mover archivos a Amazon S3 Glacier: tiene sentido cuando tiene archivos con un tamaño superior a 1000 KB.

Puede calcular los ahorros potenciales en función de su caso utilizando este Archivo Excel.

NO HAY QUE IMPLEMENTAR el archivo en objetos pequeños (de menos de 1 MB). en Glaciar Amazon S3 facturas tanto para datos como para solicitudes. Cuando tenemos archivos pequeños, tendemos a tener miles, si no millones, de ellos. En ese caso, el archivo puede generar cargos inesperados. Prefiere archivar objetos comprimidos (varios archivos en uno).

TIP 01: Aproveche la organización inteligente por niveles

Niveles inteligentes de Amazon S3 es una clase de almacenamiento diseñada para clientes que desean optimizar los costos de almacenamiento automáticamente cuando cambian los patrones de acceso a los datos, sin impacto en el rendimiento ni gastos generales operativos. S3 Intelligent-Tiering es la primera clase de almacenamiento de objetos en la nube que ofrece ahorros de costos automáticos al mover datos entre dos niveles de acceso (acceso frecuente y acceso poco frecuente) cuando los patrones de acceso cambian, y es ideal para datos con patrones de acceso desconocidos o cambiantes.

Es la clase de almacenamiento ideal para datos de larga duración con patrones de acceso desconocidos o impredecibles.

TIP 02: implementar políticas de ciclo de vida

Si conoce su patrón de acceso a datos, puede usar políticas de ciclo de vidapara definir las acciones que desea que Amazon S3 realice durante la vida útil de un objeto. Por ejemplo, transfiera objetos a otra clase de almacenamiento, archívelos o elimínelos después de un período de tiempo específico.

Puede definir una política de ciclo de vida para todos los objetos o un subconjunto de objetos en un depósito mediante el uso de un prefijo compartido (nombres de objetos que comienzan con una cadena común) o una etiqueta:

• limpiar versiones antiguas de objetos.
• limpiar cargas parciales incompletas.
• para automáticamente cambiar el nivel de almacenamiento.
• para automáticamente objetos de archivo.
• para automáticamente eliminar objetos.

¿Cómo creo una política de ciclo de vida para un bucket de S3?

TIP 03: elimine versiones antiguas de objetos en depósitos con versiones

Después de habilitar control de versiones del objeto para un bucket de S3, las cargas sucesivas o PUT de un objeto en particular crearán versiones distintas, nombradas y direccionables individualmente del objeto para brindarle protección contra sobrescrituras y eliminaciones. Puede conservar, recuperar y restaurar todas las versiones de cada objeto en un depósito de S3 que tiene habilitado el control de versiones.

Las versiones antiguas de objetos todavía utilizan espacio de almacenamiento. Es posible que desee automatizar la eliminación de esas versiones de objetos antiguas y no relevantes mediante los ciclos de vida de Amazon S3 (consulte la sugerencia n. ° 2 ).

TIP 04: Limpiar cargas de varias partes incompletas

Amazon S3 carga multiparte acelera la carga de objetos grandes permitiéndole dividirlos en partes lógicas que se pueden cargar en paralelo. Si inicia una carga de varias partes pero nunca la finaliza, la carga en curso ocupa algo de espacio de almacenamiento e incurrirá en cargos por almacenamiento. Sin embargo, estas cargas no son visibles cuando enumera el contenido de un depósito.

Puede aprovechar las políticas del ciclo de vida para limpiar automáticamente la carga de varias partes incompleta.

TIP 05: conozca sus patrones de acceso a los datos

Si conoce su patrón de acceso a los datos, por ejemplo, en un sistema de facturación y facturación, es probable que se acceda a las facturas en PDF en los primeros 30 días de su publicación y ya no se pueda acceder a ellas después, puede aprovechar las políticas del ciclo de vida para mover automáticamente el objeto de STANDARDla clase de almacenamiento a STANDARD_IA( IA, para accesos poco frecuentes).

La clase de almacenamiento IA le proporciona la misma API y rendimiento que el almacenamiento S3 normal. IA es aproximadamente cuatro veces más barato que el almacenamiento estándar S3 ($ 0,007 GB / mes frente a $ 0,03 GB / mes), pero usted paga por la recuperación ($ 0,01 GB). La recuperación es gratuita en la clase de almacenamiento S3 estándar.

IA es un gran candidato para las copias de seguridad de recuperación ante desastres. Tiene sentido cargar directamente cualquier objeto de más de 128 KB en IA y ahorrar un 60% en almacenamiento durante un año sin perder disponibilidad o durabilidad de los datos.

Si no conoce sus patrones de acceso a datos, puede usar Análisis de clase de almacenamiento de Amazon S3. Le ayuda a analizar los patrones de acceso al almacenamiento para ayudarlo a decidir cuándo realizar la transición de los datos correctos a la clase de almacenamiento adecuada. Esta nueva función de análisis de Amazon S3 observa los patrones de acceso a los datos para ayudarlo a determinar cuándo realizar la transición del STANDARDalmacenamiento al que se accede con menos frecuencia a la STANDARD_IAclase de almacenamiento.

También puede aprovechar el panel proporcionado por Lente de almacenamiento de Amazon S3 (STORAE LENS) para obtener una vista holística de su BUCKET

TIP 06: Archivar archivos antiguos

Amazon S3 Glacier y S3 Glacier Deep Archive están diseñados para ser las clases de almacenamiento de Amazon S3 de menor costo, lo que le permite archivar grandes cantidades de datos a un costo muy bajo. Está diseñado para casos de uso en los que los datos se conservan durante meses, años o décadas.

Puede utilizar Amazon S3 Glacier a propósito o aprovechar las políticas del ciclo de vida para archivar automáticamente objetos antiguos y a los que no se accede.

Compensación : objetos que se han archivado debe ser restaurado antes de volver a utilizarse.

TIP 07: : elimine los objetos que ya no son relevantes

Con las políticas de ciclo de vida de Amazon S3, también puede automatizar la eliminación de objetos que ya no son relevantes. Por ejemplo, es posible que no necesite las copias de seguridad de su base de datos de desarrollo durante más de 7 días.

TIP 08: : considere eliminar los archivos no utilizados que se pueden volver a crear

A veces, puede resultar más económico generar archivos sobre la marcha. Por ejemplo, si necesita varias resoluciones de miniaturas de imágenes a las que se accede con poca frecuencia, puede tener sentido mantener las imágenes originales y recrear otras resoluciones cuando se soliciten y almacenarlas en caché en la red de entrega de contenido.

Encontrarás una arquitectura que lo permita en el Cambie el tamaño de las imágenes sobre la marcha con Amazon S3, AWS Lambda y Amazon API Gateway entrada en el blog.

TIP 09: : considere usar objetos por lotes

Por lo general, muchos objetos pequeños pueden volverse muy costosos muy rápidamente. Tiene sentido agrupar objetos. Si siempre carga y descarga todos los objetos al mismo tiempo, lo mejor es almacenarlos como un solo archivo (usando tar). Debe diseñar un sistema para evitar una gran cantidad de archivos pequeños. Por lo general, es un buen patrón tener algunos clústeres que eviten archivos pequeños.

AWS SIMPLE STORAGE SERVICE

AMAZON S3

Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento para Internet. Está diseñado para facilitar la informática de escalado web.

Amazon S3 tiene una interfaz de servicios web simple que puede utilizar para almacenar y recuperar cualquier cantidad de datos, en cualquier momento y desde cualquier parte de la web. Ofrece a cualquier desarrollador acceso a la misma infraestructura de almacenamiento de datos económica, altamente escalable, confiable y rápida que utiliza Amazon para mantener su propia red global de sitios web. Este servicio tiene como fin maximizar los beneficios del escalado y trasladarlos a los desarrolladores.

VENTAJAS DE UTILIZAR AMAZON S3:

Amazon S3 se ha desarrollado de forma deliberada con un conjunto mínimo de características que se centran en la simplicidad y robustez. A continuación se describen algunas ventajas de utilizar Amazon S3:

• CREACION DE UN BUCKET
  Creación de buckets: cree y nombre un bucket que almacena datos. Los buckets son los contenedores fundamentales en Amazon S3 para el almacenamiento de datos.
• ALMACENAMIENTO DE DATOS EN UN BUCKET.
  Aalmacene una cantidad ilimitada de datos en un bucket. Cargue la cantidad de objetos que desee en un bucket de Amazon S3. Cada objeto puede contener hasta 5 TB de datos. Cada objeto se almacena y recupera con una clave única asignada por el desarrollador.
• DESCARGA DE DATOS
  Descargue sus datos o permita que otros lo hagan. Descargue los datos en cualquier momento o permita que otros hagan lo mismo.
• PERMISOS
  *  Permisos: conceda o deniegue acceso a otras personas que desean cargar o descargar datos en su bucket de Amazon S3.
  * Conceda permisos para cargar y descargar a tres tipos de usuarios.
  * Los mecanismos de autenticación pueden ayudar a proteger los datos del acceso no autorizado.
  * Podemos ver los registros de acceso ( Access Log) para el Bucket y Objetos  ( Auditoria) ( Quien y desde donde accedió a ese Bucket u Objeto)
• INTERFASES:
  Le recomendamos que utilice la API de REST o los SDK de AWS.

CONCEPTOS AMAZON S3

1. BUCKETS

   Un bucket es un contenedor de objetos. Un objeto es un archivo y cualquier metadato que describa ese archivo. Para almacenar un objeto en Amazon S3, cree un bucket y, a continuación, cargue el objeto en el bucket..
   Características:
   * S3 almacena los datos como objetos dentro de un Bucket. Un dato puede ser un archivo, un video, una música, puede ser una imagen, un pdf,, una carpeta,etc
   * El nombre del Bucket debe ser único a nivel mundial ( Dentro de los servidores de AWS)
   * No es posible cambiar el nombre del Bucket una vez creado.
   * El nombre del Bucket es visible en la URL que apunta al objeto
   * No se puede eliminar un Bucket por consola web ( navegador)  que contenga más de 100k objetos ( 100 mil objetos) Para hacerlo podemos hacerlo por medio de la terminal o usando AWS Clic.
   * Si tratamos de eliminar un Bucket por medio de AWS Clic que tiene el versionamiento de Objetos activado no podremos realizarlo, tendremos que ir a consola y desactivar el versionamiento.

2. Objects

   Un objeto es un archivo, puede ser un audio, un video, una imagen, una carpeta vacia creada.
   Los objetos son las entidades fundamentales almacenadas en Amazon S3. Los objetos se componen de datos de objetos y metadatos. La parte de datos es opaca para Amazon S3. Los metadatos son conjuntos de pares nombre-​valor que describen el objeto. Incluyen algunos metadatos predeterminados, como la fecha de la última modificación y los metadatos HTTP estándar, como Content-Type. También puede especificar metadatos personalizados en el momento en que se almacena el objeto.

   Un objeto se identifica de forma exclusiva dentro de un bucket con una clave (nombre) y un ID de versión

3. Keys

   Una clave es el identificador único de un objeto dentro de un bucket. Cada objeto de un bucket tiene exactamente una clave. La combinación de un bucket, clave e ID de versión identifican de forma única cada objeto. Por tanto, puede pensar en Amazon S3 como una asignación de datos básica entre «bucket + clave + versión» y el objeto en sí. Se puede acceder a cada objeto de Amazon S3 de forma exclusiva a través de la combinación de punto de enlace de servicio web, nombre del bucket, clave, y de forma opcional, una versión. Por ejemplo, en la URL https://doc.s3.amazonaws.com/2006-03-01/AmazonS3.wsdl, «doc» es el nombre del bucket y «2006-03-01/AmazonS3.wsdl» es la clave.

4. Regions

   Puede elegir la Región de AWS geográfica donde Amazon S3 almacenará los buckets que usted cree. Puede elegir una región para optimizar la latencia, minimizar los costos o cumplir con requisitos legales. Los objetos almacenados en una región nunca la abandonan, a menos que se transfieran expresamente a otra región. Por ejemplo, los objetos almacenados en la región UE (Irlanda) nunca salen de ella.

5. MODELO DE CONSITENCIA DE DATOS:

   Tiene una durabilidad que es muy difícil de deformarse con el tiempo, de romperse que es super solido
   – Consistencia de lectura después de escritura para PUTS de nuevos objetos
   – Consistencia eventual de lectura después de escritura para HEAD o GET
   – Consistencia eventual por sobre escritura  para PUTS y DELETE.
   – Consistencia fuerte de lectura después de escritura para cualquier solicitud de almacenamiento..