Tachyon Nexus teoriza sobre o armazenamento ultra-rápida

Qualquer sistema em cluster in-memory-centrou tem de lidar com o fracasso em algum momento, e aprender a recuperar, ou tolerar, ele.

A replicação é um método comum, mas ele diminui de processamento, especialmente em seqüências de postos de trabalho em um oleoduto. No entanto, arrivista Tachyon Nexus pensa que encontrou uma maneira de contornar esse problema, e pode ir de uma centena de vezes mais rápido do HDFS in-memory.

Tachyon Nexus , com US $ 7,5 milhões em uma rodada de financiamento de Andreessen Horowitz, foi criado este ano por um grupo de pessoas de AMPLab da UC Berkeley.

Eles têm vindo a trabalhar em uma arquitetura de memória de armazenamento envolvendo clusters de servidor, e o software, chamado Tachyon, é uma criança de dois anos do projeto de código aberto Apache.

A táquion é uma proposta mais rápido do que a luz de partículas. Tal velocidade significa que você não seria capaz de vê-lo chegando, mas uma vez que você tinha chegado, então, vê-lo indo e vindo.

O fundador da Tachyon Nexus é Haoyuan Li, atualmente estudando para o doutorado em Ciência da Computação AMPLab, que é uma facilidade UC Berkeley envolvidos em aspectos da obtenção de informações a partir de dados através de análise de Big Data. AMP significa Algoritmos, Máquinas e Pessoas.

Li e outros quatro escreveu um artigo no ano passado intitulado: " Tachyon: Reliable, Armazenamento velocidade da memória para cluster de computação Frameworks. "

O resumo disse:

Tachyon é um sistema de arquivos distribuídos permitindo que compartilham a uma velocidade de memória através de estruturas de computação em cluster de dados confiáveis. Enquanto cache hoje melhora cargas de trabalho de leitura, as gravações são ou rede ou disco vinculado, como a replicação é usado para tolerância a falhas.

Taquião elimina o gargalo empurrando linhagem, uma técnica bem conhecida, para a camada de armazenamento.

O principal desafio em fazer um sistema de armazenamento de longa duração com base em linhagem é a recuperação de dados em tempo útil em caso de falhas.

Tachyon resolve este problema através da introdução de um algoritmo de pontos de verificação que garante custo estratégias de recuperação limitada e de alocação de recursos para recálculo sob programadores de recursos mais usados.

A nossa avaliação mostra que Tachyon supera HDFS na memória por 110x para gravações. Também melhora a latência de ponta a ponta de um fluxo de trabalho realista por 4x. Tachyon é open source e é implantado em várias empresas.

Desempenho Tachyon

Citações interessantes da paper (pdf) incluem: -

• [Memory] pode aumentar drasticamente a performance de leitura. Infelizmente, isso não ajuda muito com o desempenho de gravação. Isto porque os sistemas altamente paralelos precisa fornecer tolerância a falhas, ea forma como eles alcançá-lo é por meio da replicação dos dados escritos entre os nós.


• Tachyon contorna as limitações de taxa de transferência de replicação, aproveitando o conceito de linhagem onde a produção perdida é recuperada por re-executar as operações (tarefas) que criou a saída. Como resultado, a linhagem fornece tolerância a falhas, sem a necessidade de replicar os dados.

Leia o artigo para saber mais.

Tachyon software é voltado para servidores em clusters ter muita memória e evitando a replicação para tolerância a falhas. El Reg pensa memória de armazenamento o uso de chips 3D TLC NAND pode ter um papel a desempenhar neste contexto, assumindo DRAM permanece substancialmente mais caro que tal flash.

O projeto open source Tachyon teve contribuições de 80 fontes em mais de 30 organizações e está crescendo rapidamente, mas, em seguida, superando em memória HDFS de 100 vezes é bastante coisa. ®