Image Image Image Image Image
Scroll to Top

Topo

10

ago
2011

Sem Comentários

Em Blog

Por Allison

Twitter vai tornar Storm open source em setembro

Em 10, ago 2011 | Sem Comentários | Em Blog | Por Allison

O Twitter anunciou que, em setembro, vai tornar open source o Storm, seu framework de processamento de stream, durante a Conferência Strange Loop. O Storm foi desenvolvido pela BackType, uma empresa adquirida pelo Twitter em julho.

O Storm foi criado para levar o poder de processamento distribuído ao processamento de streams em tempo real de dados. Embora superficialmente similar a sistemas como o MapReduce do Hadoop, o Storm é diferente. Os sistemas do Hadoop são orientados em direção de tarefas isoladas, com o trabalho enviado para a rede para posteriormente os resultados serem coletados.

Já com o Storm, a computação nunca termina: a rede continuamente processa mensagens e produz resultados. Essas mensagens podem ser novos dados para análise, que, depois, irão atualizar bases de dados em tempo real. Por exemplo: mensagens do Twitter sendo analisadas para trending topics e passando essa informação para os sistemas do cliente dentro da arquitetura.

Fonte: H-Online

Redes Sociais

Tags | ,

Enviar um Comentário