I big data sono dati nell'ordine di terabyte o petabyte e oltre, costituiti da attività di mining, analisi e modellazione predittiva di set di dati di grandi dimensioni. La rapida crescita delle informazioni e degli sviluppi tecnologici ha fornito un'opportunità unica per gli individui e le imprese di tutto il mondo per ricavare profitti e sviluppare nuove capacità ridefinendo i modelli di business tradizionali utilizzando analisi su larga scala.

Questo articolo fornisce una panoramica su cinque delle piattaforme di dati open source più popolari. Ecco la nostra lista:

Apache Hadoop

Apache Hadoop è una piattaforma software open source che elabora set di dati molto grandi in un ambiente distribuito per quanto riguarda l'archiviazione e la potenza di calcolo ed è principalmente basata su hardware a basso costo.

Apache Hadoop è progettato per scalare facilmente da pochi a migliaia di server. Ti aiuta a elaborare i dati memorizzati localmente in una configurazione di elaborazione parallela complessiva overall. Uno dei vantaggi di Hadoop è che gestisce gli errori a livello di software. La figura seguente illustra l'architettura complessiva dell'ecosistema Hadoop e dove si trovano i diversi framework al suo interno:

Apache Hadoop fornisce un framework per il livello del file system, il livello di gestione dei cluster e il livello di elaborazione. Lascia un'opzione per altri progetti e framework per lavorare insieme a Hadoop Ecosystem e sviluppare il proprio framework per uno qualsiasi dei livelli disponibili nel sistema.

Apache Hadoop è composto da quattro moduli principali. Questi moduli sono Hadoop Distributed File System (il livello del file system), Hadoop MapReduce (che funziona sia con la gestione del cluster che con il livello di elaborazione), Yet Another Resource Negotiator (YARN, il livello di gestione del cluster) e Hadoop Common.

Ricerca elastica

Elasticsearch è un motore di ricerca e analisi basato su testo completo. È un sistema altamente scalabile e distribuito, specificamente progettato per funzionare in modo efficiente e rapido con sistemi di big data, dove uno dei suoi principali casi d'uso è l'analisi dei log. È in grado di eseguire ricerche avanzate e complesse ed elaborazioni quasi in tempo reale per analisi avanzate e intelligenza operativa.

Elasticsearch è scritto in Java ed è basato su Apache Lucene. Rilasciato nel 2010 e ha rapidamente guadagnato popolarità grazie alla sua struttura dati flessibile, all'architettura scalabile e ai tempi di risposta molto rapidi. Elasticsearch si basa su un documento JSON con una struttura priva di schemi, che rende l'adozione facile e senza problemi. È uno dei motori di ricerca di alto livello di livello aziendale. Puoi scrivere il suo client in qualsiasi linguaggio di programmazione; Elasticsearch funziona ufficialmente con Java, .NET, PHP, Python, Perl e così via.

Elasticsearch interagisce principalmente utilizzando un'API REST. Ottiene dati sotto forma di documenti JSON con tutti i parametri richiesti e fornisce la sua risposta in modo simile.

MongoDB

MongoDB è un database NoSQL basato sul modello di dati dell'archivio documenti. In MongoDB tutto è raccolta o documento. Per comprendere la terminologia MongoDB, raccolta è una parola alternativa per tabella, mentre documento è una parola alternativa per righe.

MongoDB è un database open source, orientato ai documenti e multipiattaforma. È scritto principalmente in C++. È anche il database NoSQL leader che offre prestazioni elevate, alta disponibilità e facile scalabilità. MongoDB utilizza documenti simili a JSON con schema e fornisce un ricco supporto per le query. Alcune delle sue caratteristiche principali includono l'indicizzazione, la replica, il bilanciamento del carico, l'aggregazione e l'archiviazione dei file.

Cassandra

Cassandra è un progetto Apache open source progettato per la gestione di database NoSQL. Le righe Cassandra sono organizzate in tabelle e indicizzate da una chiave. Utilizza un motore di archiviazione basato su log di sola aggiunta. I dati in Cassandra sono distribuiti su più nodi masterless, senza un singolo punto di errore. È un progetto Apache di alto livello e il suo sviluppo è attualmente supervisionato dall'Apache Software Foundation (ASF).

Cassandra è progettato per risolvere i problemi associati al funzionamento su larga scala (web). Data l'architettura masterless di Cassandra, è in grado di continuare a eseguire operazioni nonostante un piccolo (sebbene significativo) numero di guasti hardware. Cassandra funziona su più nodi in più data center. Replica i dati in questi data center per evitare guasti o tempi di inattività. Questo lo rende un sistema altamente tollerante ai guasti.

Cassandra utilizza il proprio linguaggio di programmazione per accedere ai dati attraverso i suoi nodi. Si chiama Cassandra Query Language o CQL. È simile a SQL, utilizzato principalmente dai database relazionali. CQL può essere utilizzato eseguendo la propria applicazione chiamata cqlsh. Cassandra fornisce anche molte interfacce di integrazione per più linguaggi di programmazione per creare un'applicazione utilizzando Cassandra. La sua API di integrazione supporta Java, C++, Python e altri.

Apache HBase

HBase è un altro progetto Apache progettato per gestire l'archivio dati NoSQL. È progettato per utilizzare le funzionalità di Hadoop Ecosystem, tra cui affidabilità, tolleranza ai guasti e così via. Utilizza HDFS come file system per scopi di archiviazione. Esistono più modelli di dati con cui funziona NoSQL e Apache HBase appartiene al modello di dati orientato alle colonne. HBase era originariamente basato su Google Big Table, anch'esso correlato al modello orientato alle colonne per i dati non strutturati.

HBase memorizza tutto sotto forma di coppia chiave-valore. La cosa importante da notare è che in HBase, una chiave e un valore sono sotto forma di byte. Quindi, per memorizzare qualsiasi informazione in HBase, devi convertire le informazioni in byte. (In altre parole, la sua API non accetta altro che array di byte.) Fai attenzione con HBase, poiché quando memorizzi i dati, dovresti ricordare il suo tipo originale. I dati che originariamente erano una stringa torneranno come array di byte se richiamati in modo errato. Di conseguenza, creerà un bug nella tua applicazione e arresterà la tua applicazione.

Spero che questo articolo ti sia piaciuto. Se stai cercando di progettare e progettare applicazioni ad alta intensità di dati, puoi esplorare Anuj Kumar's Progettazione di applicazioni ad alta intensità di dati. Questo libro è il tuo gateway per creare sistemi intelligenti ad alta intensità di dati incorporando i principi, i modelli e le tecniche dell'architettura ad alta intensità di dati direttamente nell'architettura dell'applicazione.