Framework de Big Data

As características inerentes ao big data exigem frameworks específicos para que os dados sejam transformados em valor. Velocidade, volume e variedade representam os aspectos de big data mais reconhecidos.Quanto à velocidade, os dados são produzidos de forma constante, e são necessárias aplicações específicas para lidar com o alto fluxo (data streaming). Aplicações da Apache, como Spark Streaming, Flink e Storm são exemplos de sistemas desenvolvidos para auxiliar no tratamento de dados em tempo real. O volume, representado pela imensa quantidade de dados gerados, exige sistemas de arquivos distribuídos, como HDFS (Hadoop). Esses sistemas auxiliam na redução de custos e aumentam a escalabilidade, pois permitem a criação de clusters de computadores com hardware de baixo custo. Em um cluster Hadoop, os dados são replicados de acordo com uma escala muitas vezes igual a 3 (isso significa que cada pedaço de dados estará armazenado em três nós diferentes de um cluster). Se um nó fal...