Incremente sua infra-estrutura
Facebook atualiza uma ferramenta de código aberto que permite que administradores de torcer desempenho rápido barata a partir de matrizes baseadas em disco alimentadas a partir PCI-e cartões de memória flash.
A ferramenta "Flashcache" foi atualizado para a versão 3.0 pela empresa na quarta-feira . A ferramenta permite que a empresa sente-se um cache de alto desempenho em PCI-e cartões de memória para acelerar o acesso a dados importantes para as aplicações, sem ter que quebrar o banco e começar a usar matrizes de todos os SSD.
Flashcache é um bloco de write-back cache tecnologia e é implementado como um alvo mapeador de dispositivos do kernel Linux, o que o torna fácil de usar como um sistema de uso geral para aplicações altamente traficadas, Facebook disse.
"Nossa instalação do Flash empresa mais matrizes de massa pode ser interessante para quem quer construir um sistema de múltipla terabyte que precisa de latência no acesso à web - ele não precisa de reescrita de software para obter benefícios, por isso o investimento mesmo em poucos escala da máquina é menor do que colocar tudo em tudo-flash ", Domas Mituzas, um engenheiro de dados do Facebook, disse ao jornal The Register via e-mail.
A versão 3.0 da tecnologia tem sido dada uma melhor distribuição de leitura e escrita por meio do ajuste dos tamanhos de disco do lado e do lado de flash de conjuntos para dispersar os dados mais quentes ao longo do cache e evitar gargalos. Facebook também modificou sua expulsão cache e escrever técnicas de eficiência para proporcionar um desempenho mais previsível.
Embora originalmente concebido no Facebook, a tecnologia de código aberto tenha recebido algum interesse da comunidade em geral. "Nós vemos os esforços da comunidade em torno dele - não há atividade em listas de discussão, aberto de código fonte submissões e empresas de consultoria no espaço de banco de dados estão a prestar apoio para isso", Domas Mituzas, um engenheiro de dados do Facebook, disse ao jornal The Register via e-mail.
As próximas áreas de desenvolvimento de tecnologia para Flashcache incluem a reestruturação de metadados para tornar o acesso a dados mais eficiente, e certificando-se de que não está escrevendo muito no cache para que ele evita inundações a infra-estrutura subjacente disco com fila escreve.
"À medida que vamos acabar tendo vários terabytes de memória cache e dezenas de terabytes de dados por máquina, precisamos equilibrar com cautela o uso de memória e CPU," Mituzas explica. "Mais CPU-eficiente algoritmos tendem a consumir mais memória., Por exemplo, a adição de ponteiro ou timestamp adicional à entrada de metadados para uma página do sistema requer 4GB de RAM se 2TB de memória cache está sendo usado ... como os aplicativos podem ter grandes usos para ele como bem ".
Mas é importante notar que as ferramentas do Facebook não são para todos, como você precisa de uma certa quantidade de experiência e escala em casa antes de uma pilha de auto-construção totalmente integrada se torna possível.
"Há um trabalho significativo de software necessário para mudar de mais caros à tecnologia barata - o que poupa muito dinheiro em grande escala, e por outro lado, indo para dispositivos de armazenamento permite mais capazes de se mover mais rapidamente em sistemas de armazenamento centrados engenharia," Mituzas disse. ®
Nenhum comentário:
Postar um comentário