Quale Storage per Hadoop ?

Hadoop è diventato oggi molto popolare, perché rende l'analisi di grandi dati semplice ed economica: basta avere un cluster di server e utilizzare i loro processori come nodi di elaborazione per estrarre i dati critici, mentre i loro dischi interni (DAS) operano come nodi di storage a basso costo.

Il vantaggio di quest’architettura è di avere storage vicino alle CPU, senza la necessità quindi di pescare i dati dall’esterno, ed è possibile aggiungere più spazio di archiviazione (e più potenza di elaborazione) solo con l'aggiunta di nodi server economici con unità SATA a basso costo.

L’ Hadoop Distributed  File System  (HDFS) si assume la responsabilità di organizzare e rendere disponibile storage. Per aggiungere un elemento di protezione dei dati, fault tolerance e resilienza al cluster Hadoop, HDFS triplica tutti i dati: una copia viene effettuata e memorizzata su uno storage node diverso nello stesso rack, e l'altro inviato a un altro storage node su un altro rack .

Questo approccio presenta vantaggi e svantaggi. La triplice copia del dato è semplice ed efficace, ma quando si utilizzano grandi quantità di dati può portare ad enormi volumi.  La buona notizia è che se un disco si guasta basta semplicemente collegarne uno di nuovo e si ritorna immediatamente allo stato normale - non c'è ricostruzione RAID ed il carico elaborativo per fornire questo tipo di protezione dei dati è minimo.

“Native” or “Not Native” MultiPath Software.. that is the question!!!

Finita la spesa al Supermercato il desiderio maggiore del Cliente è quello di pagare velocemente e potersene tornare a casa il prima possibile; ed è proprio in quest’ottica che la scelta della fila a cui accodarsi tra le n casse del supermercato diventa cruciale e decisiva.

A questo punto immaginate un Cliente che senza neanche riflettere si accoda alla prima fila che incontra; al contrario immaginate un secondo Cliente, più smaliziato, che in pochi secondi, dopo un rapido sguardo esplorativo, sceglie deliberatamente di mettersi in coda in una specifica fila dopo aver tenuto in considerazione il numero di persone nelle diverse file, la loro età (le persone anziane impiegherebbero certamente più tempo nel trasferire le cose acquistate sul nastro trasportatore), il numero e la dimensione dei “pezzi” all’interno dei vari carrelli o dei cestini, etc..

Nella maggioranza dei casi il secondo Cliente impiegherà certamente meno tempo e lasciando il supermercato si compiacerà con se stesso per la scelta fatta in precedenza.

Questo è un ottimo esempio per fare riflettere gli Storage Admin e gli IT Architect sull’importanza della giusta scelta del Software di MultiPath, di quel software che spesso è il primo elemento che viene sacrificato per mancanza di budget e che potrebbe ovviare o ridurre al minimo a eventuali problemi dovuti a traffico eccessivo, Path non disponibili, HBA guaste, etc..

Le Soluzioni EMC per la Video Sorveglianza

Da oltre un anno, vista la forte crescita del mercato di Video Sorveglianza (vedi IHS Technology), EMC si sta focalizzando su soluzioni verticali di classe Enterprise.

La motivazione di questo focus deriva dai seguenti fattori:  

• Aumento della richiesta di sistemi di sicurezza perimetrale basati su telecamere (con relativo software di gestione) per il controllo di edifici (bache, branch office, ...), manifestazioni piuttosto che aree estese (aereoporti, basi militari, ...)  
• Elevata diffuzione di telecamere IP ad alta definizione (grossi flussi digitali)

In generale, le architetture di Video Sorveglianga possono essere più in generale distribuita secondo un architettura di tipo core/edge:

•          Edge: Rappresenta il Sistema di Video Sorveglianza locale che raccoglie il flusso di un certo numero di Telecamere IP verso il sistema storage locale denominato edge (adeguatamente dimensionato in termini di capacità e throughput) utilizzando il protocollo NFS/CIFS piuttosto che iSCSI;
•          Core: Rappresenta il Sistema Storage centralizzato, altamente scalabile che riceve (normalmente in maniera asincrona, solitamente a fine giornata) il flusso Video garantendone un’archiviazione centralizzata;

 

EMC Automated Failover Manager 2.0

Recentemente EMC ha rilasciato la versione 2.0 di EMC Automated Failover Manager (AFM).

Il software EMC AFM può essere utilizzato per automatizzare ambienti di Disaster Recovery. AFM gestisce  lo switch del VNX dal sito primario, con la sua replica storage based, al sito secondario. 

Questo permette di ridurre l’ RTO (Recovery Time Objective) e di eseguire in modo certo,  e privo di errori umani, le procedure necessarie alla ripartenza del sito di Disaster Recovery.

AFM è una utility  Windows che gestisce il failover di SAN, NAS, o anche singoli Virtual Data Mover (VDM). La modalità VDM è supportata solo per i modelli VNX2 ed è stata introdotta con la versione 2.0 di AFM.

AFM 2.0 gestisce le procedure di ripartenza del DR per repliche basate sui seguenti sw:

·   VNX MirrorView per configurazioni NAS o SAN,

·   VNX RecoverPoint per NAS, VDM, o SAN,

· VNX Replicator IP per le configurazioni NAS.

AFM ha una interfaccia grafica (G.U.I.) per semplificarne la gestione e la configurazione del software di automazione.

Lo schema semplificato dell’ambiente gestito da AFM è rappresentato nel disegno seguente. Si ricorda che una istanza di  AFM 2.0 gestisce fino ad un totale di 8 VNX.

EMC DataProtection Cloud to Cloud per le applicazioni SaaS

Qual'è il trend di adozione delle applicazioni SaaS?

Nelle aziende di tutti i segmenti di mercato sono sempre più presenti applicazioni SaaS integrate con i processi aziendali e fuori dal controllo diretto dell'IT.

Le più diffuse e presenti in Italia ( fonte Wikipedia ) sono le seguenti:

1. Microsoft Azure
2. Amazon web-services
3. Google Apps
4. iCloud
5. Office 365
6. Oracle
7. Salesforce
8. Concur
9. Zoho Office Suite

Perchè è necessario salvare i dati delle applicazioni SaaS?

La percezione della maggior parte degli utenti è che le applicazioni SaaS non necessitino di essere protette perchè sono nel Cloud, ma avete mai provato a cancellare dei dati da Salesforce ad esempio? 

Se per errore cancellate un dato da Salesforce non è possibile gestire una restore puntuale in quanto Salesforce garantisce il ripristino solo in caso di problematiche relative a tutta l'applicazione.

Queste è una delle motivazioni per cui gestire la data protection delle applicazioni SaaS è importante, IDG ha effettuato una ricerca statistica sulle principali cause di data-loss all'interno di applicazioni SaaS ed è interessante scoprire che sei organizzazioni su dieci hanno avuto dei problemi di data loss.

Il Data Warehouse moderno... la "join-venture" tra i dati strutturati e quelli non.

Abbiamo oramai tutti la consapevolezza dell'enorme quantità di informazioni racchiusa nelle basi dati delle grandi organizzazioni quali possono essere Enti Pubblici, banche, aziende del settore della comunicazione, dell'energia, del trasporto, della moda, della ricerca, etc...

 

E' scontato dire che questi dati rappresentano una fonte preziosa a cui le stesse aziende fanno riferimento per realizzare studi statistici ma anche, ancor'oggi, campagne marketing in alcuni casi o campagne sociali in altre. EMC Greenplum

 

Tutto svolto sapendo che la fonte primaria, i dati appunto, sono certi, in quanto ben strutturati e raccolti nei Data Warehouse aziendali. Nessun dubbio sulla veriticidà, liberi da "contaminazioni". E questa è (e dovrà sempre essere cosi'!!!) una garanzia per tutti noi.

 

Sappiamo che questa loro purezza ne circoscrive il perimetro di utilizzo in quanto, per loro natura, non si prestano a studi "predittivi" se non in termini statistici. La purezza dei dati unita alle query standard dei Data Warehouse ci offrono quindi ottime statistiche, fondamentali per il nostro vivere,

Si può comunque, e si deve, fare di più.  

 

Dall'altra parte abbiamo la ben conosciuta esplosione dei dati non strutturati. La bellezza dell'informazione condivisa da tutti e per tutti. Un patrimonio immenso che racchiude in se tante cose tutte da scoprire se lo si va ad analizzare in profondità.

 

Vero che questo è un patrimonio esposto alla possibilità che non tutto ciò che lo costituisce sia garantito dal punto di vista di veriticidà. Ma non usarlo per questo timore sarebbe un peccato in quanto le potenti statistiche di cui sopra unite a tutto ciò che muove il quotidiano ed il sociale ci aiuterebbe a migliorare la nostra vità rendendola più facile, più sicura, socialmente più salvaguardata, più aperta alle innovazioni e al business.

 

Allora è arrivato il momento di unire la forza di questi due mondi. La simbiosi vantaggiosa genererebbe degli studi predittivi sicuri. E' questa è la frontiera della modernizzazione dei  Data Warehouse, la sua alimentazione realizzata in modo contestuale con tutte le categorie di dati possibili mantenedo integro il valore del risultato. EMC e il valore del Data Lake

 

Ezio Falcione, EMC ASE