O processo M&O Stamp of Approval do Uptime Institute foi projetado para incorporar os aprendizados de mais de 20 anos de visitas a instalações críticas em todo o mundo nas melhores práticas para ajudar proprietários e operadores de data centers a introduzir consistência, transparência e melhores práticas do setor nos processos de gerenciamento e operações de data centers.

O Uptime Institute analisou inúmeros dados e descobriu que a maioria das interrupções de data center relatadas está diretamente relacionada a erro humano, seja na forma de erro do operador ou da gerência, em decisões sobre pessoal, processos de manutenção, treinamento ou rigor geral da operação. Esses tipos de interrupções podem ocorrer apesar da topologia da infraestrutura do data center. No lado oposto, um data center bem gerenciado pode alcançar disponibilidade para o negócio muito além da expectativa e normalmente baseado exclusivamente na topologia da infraestrutura instalada.

Como o erro humano é responsável pela maioria de todos os incidentes de data center, adotar uma abordagem holística para a avaliação das práticas de pessoal e organização, atividades de manutenção e operações e gerenciamento e planejamento fez sentido para Shawn Tugwell, diretor de arquitetura e engenharia de data center do PayPal. Ele viu isso como uma chance de garantir que sua equipe analisasse todos os detalhes e usasse a avaliação do M&O Stamp of Approval como uma ferramenta importante para cobrir todos os aspectos das operações com a perspectiva e a experiência de terceiros do Uptime Institute.

Tugwell queria continuar pressionando sua equipe para garantir que nenhuma pedra fosse virada, perguntando: “Como posso tornar isso mais difícil para ter certeza de que nada foi perdido?” Ele também queria ver como poderia, por sua vez, pegar essa mesma metodologia e aplicar o M&O Stamp of Approval e avaliação independente aos colos que trabalham com o PayPal para poder determinar como cada colo individual estava se saindo e o que poderia ser melhorado.

A Avaliação de M&O é uma maneira de medir diretamente a eficácia operacional das equipes dentro do data center, concentrando-se em comportamentos dentro de cinco “componentes” e dissecando cada comportamento identificado para determinar se esse comportamento atende aos três princípios de Operational Sustainability – Proativo, Prático e Informado. Os cinco componentes com os quais esses comportamentos se alinham são 1) Pessoal e Organização; 2) Manutenção; 3) Treinamento; 4) Planejamento, Coordenação e Gestão; e 5) Condições Operacionais. A equipe de operações de data center do PayPal no PHX01 é uma equipe experiente com anos de experiência, mas nunca foi avaliada pelo Uptime Institute. E com o recente compromisso do Paypal com cinco nines (99,999%) de disponibilidade em todos os data centers, independentemente do nível de Tier, a avaliação foi uma forma de validar que a equipe poderia atingir sua meta.

O processo começou no início de 2018, quando o PayPal Data Center Services recebeu o M&O Stamp of Approval do Uptime Institute para o data center PHX01 após a conclusão da avaliação. A empresa recebeu 96,2%, uma das pontuações mais altas já recebidas pela primeira vez, uma grande conquista que ilustrou claramente a liderança do PayPal na implementação de melhores práticas operacionais e de gestão. O resultado é um resultado direto da tenacidade da equipe DC Ops em Phoenix, Arizona, e reflete a dedicação da equipe às operações orientadas por processos.

A equipe do Uptime Institute também ficou impressionada com a implementação da plataforma ServiceNow pelo PayPal. A equipe de operações de DC aproveita o ServiceNow para fluxos de trabalho de aprovação de procedimentos, gestão de manutenção para infraestrutura crítica de data center, gestão de incidentes, bem como planejamento de espaço e energia. Quando o PayPal explicou que o ServiceNow havia sido implementado por apenas alguns meses no DCS, os representantes do Uptime Institute ficaram bastante satisfeitos com o nível de maturidade do sistema.

Em seguida, o PayPal colocou o PHX02 e o PHX04 no mesmo processo de aprovação do M&O Stamp of Approval, e cada local recebeu outra pontuação de 100% líder no setor pela primeira vez. Com essas avaliações, a equipe competitiva do PayPal continua a elevar o nível, com uma compreensão clara de como chegar ao próximo nível.

O compromisso do PayPal com cinco nove de disponibilidade exige o que é conhecido no setor de data center como pessoal “24 por para sempre”. Dentro do componente “Equipe e Organização”, foi identificado que o grupo de Operações da Instalação atendeu a esses critérios de alocação de pessoal ao ter pelo menos três técnicos da instalação no local o tempo todo. Esses técnicos passam por rigorosos treinamentos iniciais e contínuos para garantir que possuam um conhecimento abrangente e profundo em várias disciplinas e uma variedade de sistemas e equipamentos.

O grupo de Operações da Instalação também é responsável pela execução bem-sucedida da manutenção preventiva e corretiva no Data Center. A equipe cria e mantém padrões e procedimentos de manutenção no local para garantir que a manutenção seja concluída e documentada com sucesso. Os altos padrões da equipe de Instalações, em parceria com a equipe de Gerenciamento de Data Centers do PayPal, resultaram em zero adiamento de itens de manutenção em todos os Data Centers. Um programa de manutenção preventiva completo e eficaz permite que o PayPal mantenha os equipamentos em condições como novas, o que é essencial para oferecer cinco nove unidades de disponibilidade.

O treinamento está na vanguarda da equipe de serviços de data center do PayPal. Os novos contratados dentro da equipe de operações da instalação devem concluir um programa de treinamento inicial antes de serem autorizados a trabalhar no turno. Além do programa de treinamento inicial, um programa de treinamento de fornecedores também existe para fornecedores que realizarão manutenção no local. O treinamento do fornecedor inclui tópicos de treinamento necessários e várias regras de trabalho para os Data Centers.

Planejamento, coordenação e gerenciamento eficazes são outro aspecto importante da entrega dos objetivos de tempo de atividade do PayPal. A equipe tem vários procedimentos e padrões disponíveis na base de conhecimento do ServiceNow, para garantir consistência entre os data centers e reduzir o risco de eventos de erro humano no local. Além disso, a equipe financeira do PayPal cria, analisa e rastreia orçamentos para garantir que cada data center tenha um orçamento adequado para apoiar os objetivos de negócios. Esses orçamentos são mantidos independentemente de local para local para garantir que o foco e a atenção adequados possam ser colocados em data centers específicos.

Por fim, o PayPal utiliza limites de carga consistentes e documentados nos componentes para conduzir condições operacionais bem-sucedidas. Os pontos de ajuste associados a componentes e equipamentos são estabelecidos como ferramentas de mitigação de risco, bem como foco no custo geral das operações nos Data Centers. Os pontos de ajuste de alarme na instalação são definidos para permitir capacidade reservada para comutação e failover, enquanto os pontos de ajuste são estabelecidos em parceria com uma empresa de consultoria de engenharia.

À medida que a organização continua a crescer, a consistência se torna ainda mais importante à medida que a equipe adiciona empresas de colocation ao mix de data centers. Em seguida, a equipe de Serviços de Data Center levou seu sucesso e implementou o programa M&O Stamp of Approval para os fornecedores de data center de colocation da organização. Agora, novos contratos exigem que os fornecedores de data center tenham obtido o M&O Stamp of Approval do Uptime Institute e mantenham um status de prêmio válido enquanto o PayPal é um cliente.

A meta abrangente da Equipe de Serviços de Data Center é continuar a reduzir os custos para os negócios, e qualquer tempo de inatividade do data center é uma perda para os negócios. A equipe também quer garantir que todos os colos estejam em posição de dar o seu melhor, e o M&O Stamp of Approval auxilia nessas metas. O M&O Stamp of Approval também ajuda as equipes a garantir que nenhuma surpresa ocorra à medida que novas equipes e práticas operacionais entram em jogo. O PayPal também ficou satisfeito com o excelente suporte que recebeu de sua equipe BGIS para a equipe crítica e manutenção do programa, que também foi fundamental para o sucesso do programa.

As excelentes pontuações do PayPal também forneceram à equipe a validação de um trabalho bem feito e ajudaram a equipe de gestão do data center a ilustrar claramente para sua equipe executiva que estão fazendo um trabalho tremendo e podem garantir que seus pagamentos sejam seguros com a plataforma de pagamentos digitais do PayPal.