A Coinbase identifica um erro de Kubernetes por detrás de uma falha de 50 minutos a 14 de julho

A Coinbase publicou um post-mortem a 21 de julho identificando o erro de software por detrás de uma interrupção de 50 minutos a 14 de julho que impediu os clientes de concluírem transferências, fazerem compras com o Coinbase Card e acederem a serviços on-chain. A perturbação foi causada por uma colisão não detetada de nomes de recursos no Kubernetes durante uma atualização de rotina da infraestrutura que modificou o componente de rede errado. O incidente afetou as plataformas de retalho, institucionais e de programadores, aproximadamente das 12:37 p.m. ET às 1:25 p.m. ET, embora os fundos dos clientes não estivessem em risco. A interrupção ocorreu enquanto a Coinbase expande para além da negociação de criptomoeda à vista, entrando em ações tokenizadas, futuros perpétuos e serviços financeiros mais alargados, aumentando as implicações quando falha uma infraestrutura partilhada.

Colisão de nomes de recursos do Kubernetes despoletou falha da gateway

Os engenheiros estavam a implementar o que parecia ser uma atualização rotineira e de baixo risco quando uma colisão não detetada de nomes de recursos no Kubernetes fez com que a atualização modificasse o componente de rede errado, de acordo com o post-mortem publicado a 21 de julho. O Kubernetes é o software que a Coinbase utiliza para organizar e executar aplicações na sua infraestrutura cloud. A colisão de nomes de recursos fez com que a atualização alterasse parte do gateway de entrada (ingress) do Istio da empresa em vez de apenas o componente pretendido. O gateway atua como um controlador de tráfego, direcionando pedidos entre serviços internos da Coinbase. Quando o gateway ficou offline, os sistemas responsáveis por processar negociações, transferências, liquidações e autorizações de pagamento já não conseguiam comunicar. A Coinbase afirmou que o incidente "foi causado por uma configuração não intencional de um componente de rede importante na sequência de uma atualização de configuração de rotina" e que "em nenhum momento os fundos dos clientes estiveram em risco."

Interrupção afetou transferências, compras com cartões e liquidações institucionais

A perturbação afetou as plataformas de retalho, institucionais e de programadores da Coinbase, aproximadamente das 12:37 p.m. ET às 1:25 p.m. ET. Alguns clientes de retalho não conseguiram concluir depósitos, levantamentos ou transações fora da plataforma. As transferências já em curso pareciam bloqueadas, mas foram processadas depois do restabelecimento do serviço. As compras de débito com o Coinbase Card foram recusadas, enquanto as compras com cartão de crédito continuaram. A interrupção também afetou swaps on-chain através da Coinbase DEX na Base e na Solana. Os clientes da Coinbase Exchange e Prime tiveram transferências e liquidações atrasadas ou falhadas, enquanto os clientes da plataforma de programadores não conseguiram iniciar onboarding de utilizadores, movimentar fundos nem utilizar serviços de onramp. O impacto realça a crescente importância da fiabilidade à medida que a Coinbase se expande para além da negociação de criptomoeda à vista. Os seus produtos planeados de "tudo numa exchange", incluindo ações tokenizadas e futuros perpétuos, estão a alargar a gama de atividade financeira dependente da infraestrutura da empresa. A Coinbase já descreveu separadamente planos para tornar a plataforma num hub financeiro mais amplo, com novos serviços de negociação, pagamentos e gestão de dinheiro que vão desde ações e derivados até pagamentos com stablecoin e ferramentas para programadores.

Coinbase implementa novas salvaguardas após recuperação manual

O gateway foi restaurado às 1:20 p.m. ET, e a Coinbase declarou o incidente mitigado três minutos mais tarde. As filas de transações pendentes restantes foram sendo limpas nas horas seguintes. A recuperação demorou mais tempo porque as ferramentas de implementação (deployment) da Coinbase dependiam do gateway que falhou. Os engenheiros não conseguiram utilizar o processo de rollback padrão e, em vez disso, lançaram manualmente uma implementação de emergência através do fornecedor de cloud da empresa usando acesso privilegiado temporário. A Coinbase está agora a adicionar verificações para bloquear conflitos de nomenclatura, a separar as ferramentas de recuperação da infraestrutura que gerem e a testar com mais regularidade os procedimentos de acesso de emergência. A Coinbase sublinhou que "o nosso objetivo é sempre zero downtime" e declarou: "Estamos ativamente a redesenhar a nossa infraestrutura para garantir que, no caso altamente improvável de uma nova falha como esta, possamos reverter e recuperar rapidamente."

FAQ

O que causou a interrupção da Coinbase a 14 de julho?
A interrupção foi causada por uma colisão não detetada de nomes de recursos no Kubernetes durante uma atualização de rotina da infraestrutura que modificou o componente de rede errado, especificamente ao alterar parte do gateway de entrada (ingress) do Istio da Coinbase em vez do componente pretendido.

Quanto tempo durou a interrupção da Coinbase e que serviços foram afetados?
A interrupção durou aproximadamente 50 minutos, das 12:37 p.m. ET às 1:25 p.m. ET, a 14 de julho. Afetou transferências de clientes de retalho e compras de débito com o Coinbase Card, liquidações institucionais na Coinbase Exchange e na Prime, swaps on-chain através da Coinbase DEX na Base e na Solana, e serviços da plataforma de programadores, incluindo onboarding de utilizadores e movimentação de fundos.

Que salvaguardas é que a Coinbase está a implementar após a interrupção?
A Coinbase está agora a adicionar verificações para bloquear conflitos de nomenclatura, a separar as ferramentas de recuperação da infraestrutura que gerem e a testar com mais regularidade os procedimentos de acesso de emergência para garantir uma reversão e recuperação rápidas em incidentes futuros.