Arquivo da tag: storm open

Twitter vai tornar Storm open source em setembro

O Twitter anunciou que, em setembro, vai tornar open source o Storm, seu framework de processamento de stream, durante a Conferência Strange Loop. O Storm foi desenvolvido pela BackType, uma empresa adquirida pelo Twitter em julho.

O Storm foi criado para levar o poder de processamento distribuído ao processamento de streams em tempo real de dados. Embora superficialmente similar a sistemas como o MapReduce do Hadoop, o Storm é diferente. Os sistemas do Hadoop são orientados em direção de tarefas isoladas, com o trabalho enviado para a rede para posteriormente os resultados serem coletados.

Já com o Storm, a computação nunca termina: a rede continuamente processa mensagens e produz resultados. Essas mensagens podem ser novos dados para análise, que, depois, irão atualizar bases de dados em tempo real. Por exemplo: mensagens do Twitter sendo analisadas para trending topics e passando essa informação para os sistemas do cliente dentro da arquitetura.

Fonte: H-Online