L'erreur est humaine, mais elle peut avoir des conséquences affolantes lorsqu'elle est couplée à un gigantesque système informatique. Voici l'histoire d'une énorme gaffe du service Google Cloud.
Google Cloud efface un compte par erreur
UniSuper, un fonds de pension australien comptant plus de 647 000 membres et pesant 135 milliards de dollars, a eu la surprise de voir son compte Google Cloud totalement effacé, le tout sans action particulière de sa part, ni d'avertissement du côté de Google. Outre la colère des membres qui n'avaient plus accès à leurs services et leurs acquis, la firme a dû faire face à la crainte d'avoir perdu l'intégralité de ses données, y compromis les sauvegardes effectuées.
Après une enquête de deux semaines, Google s'est finalement fendue d'une explication et d'excuses officielles, indiquant clairement que l'erreur initiale était due à d' employés qui avaient laissé un champ libre lors de la configuration du compte d'UniSuper, et d'une suite d'évènements incontrôlés. Voici le résumé du mea culpa de Google :
Lors du déploiement initial d'un cloud privé via Google Cloud VMware Engine (GCVE) pour le client à l'aide d'un outil interne, une mauvaise configuration par inadvertance du service GCVE par les opérateurs de Google s'est produite en raison d'un paramètre laissé vide. Cela a eu pour conséquence involontaire et alors inconnue de mettre en défaut le GCVE Private Cloud du client pour une durée déterminée, avec suppression automatique à la fin de cette période. Le déclencheur de l'incident et le comportement du système en aval ont tous deux été corrigés pour garantir que cela ne se reproduise plus.
Pourquoi n'y a-t-il pas eu d'alerte ?
Un système d'alerte avant la suppression d'un compte est bien évidemment en place du côté de Google, mais ce dernier ne s'enclenchait que pour une action initiée par un client, et n'était pas effectif lorsqu'il s'agissait d'une action lancée par un administrateur. UniSuper de son côté aurait dû avoir des sauvegardes effectives, mais il semble que ces dernières ont également été touchées par la suppression du compte principal.
Heureusement, le fonds de pension disposait également de sauvegardes auprès d'un autre fournisseur de service, ce qui a permis avec l'aide des techniciens de Google de récupérer l'ensemble des données. De son côté, Google assure avoir mis en place des garde-fous afin que cette situation ne se reproduise plus.
Google Cloud a depuis pris plusieurs mesures pour garantir que cet incident ne se reproduise plus, notamment :
• Nous avons déprécié l'outil interne qui a déclenché cette séquence d'événements. Cet aspect est désormais entièrement automatisé et contrôlé par les clients via l'interface utilisateur, même lorsqu'une gestion spécifique des capacités est requise.
• Nous avons nettoyé la base de données système et examiné manuellement tous les cloud privés GCVE pour nous assurer qu'aucun autre déploiement GCVE n'est menacé.
• Nous avons corrigé le comportement du système qui engendre la suppression des cloud privés GCVE lors de tels déploiements.
