Image Image Image Image Image
Scroll to Top

Topo

storm open

10

ago
2011

Sem Comentários

Em Blog

Por Allison

Twitter vai tornar Storm open source em setembro

Em 10, ago 2011 | Sem Comentários | Em Blog | Por Allison

O Twitter anunciou que, em setembro, vai tornar open source o Storm, seu framework de processamento de stream, durante a Conferência Strange Loop. O Storm foi desenvolvido pela BackType, uma empresa adquirida pelo Twitter em julho.

O Storm foi criado para levar o poder de processamento distribuído ao processamento de streams em tempo real de dados. Embora superficialmente similar a sistemas como o MapReduce do Hadoop, o Storm é diferente. Os sistemas do Hadoop são orientados em direção de tarefas isoladas, com o trabalho enviado para a rede para posteriormente os resultados serem coletados.

Já com o Storm, a computação nunca termina: a rede continuamente processa mensagens e produz resultados. Essas mensagens podem ser novos dados para análise, que, depois, irão atualizar bases de dados em tempo real. Por exemplo: mensagens do Twitter sendo analisadas para trending topics e passando essa informação para os sistemas do cliente dentro da arquitetura.

Fonte: H-Online

Tags | ,