Infrastruttura
Le chiavi che non abbiamo mai ruotato
La policy diceva rotazione ogni novanta giorni. La access key più vecchia dell'account ne aveva 412. Cosa abbiamo misurato, cosa abbiamo automatizzato, e perché ruotare da soli non è sicurezza.
~/blog
Blog
Appunti su infrastruttura, operazioni cloud, automazione e qualche autopsia di cose che ho rotto.
Di cosa scrivo
Postmortem
Cose che si sono rotte in produzione — e cosa abbiamo cambiato dopo.
Infrastruttura
Decisioni AWS e architettura: quando scegliere un pattern e quando lasciar perdere.
Mestiere
Opinioni su come lavorare: commenti, runbook, review e abitudini che sopravvivono alle 3 di notte.
Automazione
Script, pipeline, cron job e IaC — la colla noiosa che tiene in piedi i sistemi.
Postmortem
La migrazione che ha bloccato i pagamenti per quaranta minuti
Una migrazione di indici su RDS sembrava a posto nel runbook e sulla dashboard. La tabella payments non era d'accordo per quaranta minuti.
Postmortem
La regola security group che ha sopravvissuto al ticket
Una porta PostgreSQL aperta temporaneamente per il debug è rimasta in produzione per sei settimane dopo la chiusura del ticket. Il database non è mai stato compromesso, e questo l'ha quasi peggiorato.
Postmortem
La access key che aveva AdministratorAccess
Una IAM access key è finita in un gist pubblico con permessi admin completi. L'abbiamo ruotata in undici minuti. La parte spaventosa è quanto tempo ci è rimasta.