Ex-Sun Micro CTO revela Greenbytes 'campeã mundial' dedupe

Vitória Spectre Laptop com HP e The Register

El Reg conseguiu dar uma olhada em um papel branco como-ainda-não-publicado, escrito pelo ex-CTO da Sun Microsystems Randall Chalfant, que reivindica duplicação tecnologia da empresa de armazenamento tem latência próxima de zero e, possivelmente, oferece desduplicação em linha mais rápido do mundo.

Ele funciona com blocos de 4K de dados. Esta é a seqüência de eventos uma vez que os dados vem em um sistema Greenbytes, somos informados por Chalfant - um professor que fica na empresa indústria conselho consultivo :

1. O sistema Greenbytes recebe os dados e ele é armazenado em um log de gravação, que existe em uma ou mais unidades de estado sólido, em seguida, um reconhecimento de escrita é devolvido ao cliente para seu sistema operacional e do aplicativo pode continuar e não tem que esperar para os dados de escrever para ser concluído.


2. Software 'Greenbytes especifica três fases de entrada de dados: o palco aberto, o estágio de desativação [tornando inativo], eo estágio sincronização. Na fase aberta, o cliente é livre para escrever dados tanto quanto possível para o buffer de memória. Então, a cada poucos segundos, um instantâneo é levado para congelar e depois imobilizar [disable] buffer, o que é feito em preparação para a gravação de dados em disco. Durante a fase de sincronização, a um 256 bits é calculada para cada bloco de dados.


3. A mistura é armazenada num d-cache (cache duplicação), um conjunto de uma ou mais unidades de estado sólido, que podem ser facilmente estendidos ao longo do tempo para aumentar o tamanho do sistema de armazenamento. O d-cache só mantém as tabelas de busca dedupe e tem uma latência de acesso de dados fixa.


4. A tecnologia da GreenBytes determina em tempo praticamente constante se existe uma correspondência bloco no sistema de armazenamento utilizando a hash. Ele chama o algoritmo de look-up que usa sua busca constante de tempo probabilístico.


5. Computadorizada hashes são procurados para ver se eles já existem no-cache d. O d-cache retorna uma resposta em tempo constante, e, se não houver correspondência, um novo bloco de 4K de dados são gravados para o armazenamento. Se há uma correspondência de um ponteiro é escrita em vez disso.

Para adicionar mais detalhes aqui, Greenbytes 'CTO e fundador Bob Petrocelli diz:

A largura do hash é realmente ajustável. Atualmente, permitimos 128 bits, 192 bits e hashes de 256 bits. O padrão é de 256 bits. Uma das reivindicações, lida com a abordagem de pesquisa usando hashes. ...

O ponto importante é perceber que o write-coalescência ea determinação real de que os blocos de escrever acontece durante a fase transacional do pipeline. Há uma série de considerações complexas durante esta fase.

Por exemplo, um bloco que é substituído muitas vezes, digamos, um log etc aplicação, só vai ser escrita uma vez, [com o] estado final do bloco como todos os blocos escreve são recolhidos). A temporário na memória árvore AVL é usado para este write coalescentes.

O sistema é latência zero, porque nós somos capazes de fazer a gravação imediatamente, protegido por registro de intenção, e só mais tarde, durante a fase transacional podemos absorver o custo de de-duplicação. Quando tivermos todos os dados duplicados no fluxo, saímos à frente do jogo porque acabam cometendo menos dados no disco.

CEO e presidente Steve O'Donnell acrescentou: "O processo de busca usa peças pequenas (64 bits) do hash para determinar rapidamente a probabilidade de a necessidade de escrever um bloco, o que reduz drasticamente a quantidade de RAM necessária para armazenar o hash e permite a pequena pegada que Vio [Virtual Desktop software] usa dentro do hypervisor. "

Greenbytes tem protegido o seu software dedupe com muitas patentes e defender suas patentes usando águias legais. Na verdade ele já fez isso.

Em 2009, a Sun Microsystems, que na época estava sendo adquirida pela Oracle, Greenbytes processado por infringir suas patentes de desduplicação, após Greenbytes afirmou Sun usou esquema desduplicação próprio 'Greenbytes.

Até 2010, esta disputa legal foi resolvida e Greenbytes continuou a vender e desenvolver a sua tecnologia de desduplicação.

A tecnologia de desduplicação ZFS Oracle / Sun parece não ter sido muito desenvolvido desde então. ®