Come ottenere le dimensioni di un bucket Amazon S3

Aggiornato maggio 2024: smetti di ricevere messaggi di errore e rallenta il tuo sistema con il nostro strumento di ottimizzazione. Scaricalo ora su questo link

1. Scarica e installa lo strumento di riparazione qui.
2. Lascia che scansioni il tuo computer.
3. Lo strumento sarà quindi ripara il tuo computer.

Per ragioni che non ho mai capito, il file Amazon L'archivio dei file degli oggetti di AWS S3 non fornisce metadati sulla dimensione e sul numero di oggetti in un bucket. Ciò significa che per rispondere alla semplice domanda "Come ottengo la dimensione totale di un bucket S3", è necessario eseguire la scansione del bucket per contare gli oggetti e determinare la dimensione totale. Questo è lento, soprattutto quando hai milioni di oggetti in un secchio.

Per AWS, trovare la dimensione di un bucket S3 non è molto intuitivo e nascosto nei menu. Scopri come trovare la dimensione totale, visualizzarla graficamente in CloudWatch o recuperarla a livello di programmazione dalla riga di comando.

Come ottenere le dimensioni di un bucket Amazon S3 utilizzando la CLI

AWS CLI ora supporta il parametro –query, che accetta un'espressione JMESPath.

Ciò significa che è possibile sommare i valori di dimensione specificati dagli oggetti nell'elenco con sum (Contents []. Size) e contare come lunghezza (Contents []).

Questa operazione può essere eseguita utilizzando l'AWS CLI ufficiale come segue ed è stata introdotta nel febbraio 2014

aws s3api list-objects –bucket BUCKETNAME –output json –query "[sum (Contents []. Size), length (Contents [])]"

or

Questo ora può essere fatto banalmente solo con il client a riga di comando AWS ufficiale:

aws s3 ls –summarize –human-readable –recursive s3: // nome-bucket /

Accetta anche prefissi di percorso se non si desidera contare l'intero intervallo:

aws s3 ls –summarize –human-readable –recursive s3: // nome-bucket / directory

Pertanto, la dimensione delle aree di memoria di grandi dimensioni viene visualizzata molto più rapidamente rispetto alla somma ricorsiva delle dimensioni dei file, poiché viene richiamato lo spazio di memoria effettivamente utilizzato. È anche leggibile dall'uomo se si passa il flag -H, quindi non è necessario estrarre la calcolatrice.

Utilizzo della console Web AWS e di Cloudwatch

• Vai a CloudWatch
• Fare clic sulle misurazioni sul lato sinistro dello schermo
• Fare clic su S3
• Fare clic su "Salva
• Vedrai un elenco di tutti i bucket. Nota che ci sono due possibili punti di confusione qui:
  • un. Vedrai solo i bucket contenenti almeno un oggetto.
  • b. Potresti non vedere i bucket che sono stati creati in un'altra regione e potresti dover cambiare regione utilizzando il menu a discesa nell'angolo in alto a destra per vedere i bucket aggiuntivi.
• Cerca la parola "StandardStorage" nella casella "Cerca una metrica, una dimensione o un identificatore di risorsa".
• Selezionare le aree (o tutte le aree con la casella di controllo a sinistra sotto la parola "Tutto") per le quali si desidera calcolare la dimensione totale.
• Seleziona almeno 3d (3 giorni) o più nella sequenza temporale in alto a destra dello schermo.

Verrà ora visualizzato un grafico che mostra la dimensione giornaliera (o altra unità) dell'elenco di tutti i segmenti selezionati nel periodo selezionato.

https://stackoverflow.com/questions/32192391/how-do-i-find-the-total-size-of-my-aws-s3-storage-bucket-or-folder

Suggerimento esperto: Questo strumento di riparazione esegue la scansione dei repository e sostituisce i file corrotti o mancanti se nessuno di questi metodi ha funzionato. Funziona bene nella maggior parte dei casi in cui il problema è dovuto alla corruzione del sistema. Questo strumento ottimizzerà anche il tuo sistema per massimizzare le prestazioni. Può essere scaricato da Cliccando qui