Rozdíly

Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.

Odkaz na výstup diff

Obě strany předchozí revize Předchozí verze
kj:hadoop-a-hdfs [18.09.2017 15:54]
kj
kj:hadoop-a-hdfs [18.09.2017 16:16]
kj
Řádek 12: Řádek 12:
  
 ==== Architektura Hadoopu ==== ==== Architektura Hadoopu ====
- 
-{{ :​kj:​arch_hadoop.png?​400| }} 
  
   * HDFS: distribuovaný FS   * HDFS: distribuovaný FS
       * velký soubor je rozdělen na 64 MB chunky a třikrát replikován       * velký soubor je rozdělen na 64 MB chunky a třikrát replikován
- 
- 
   * YARN: plánovač úloh a alokátor zdrojů   * YARN: plánovač úloh a alokátor zdrojů
       * Application Master – alokuje zdroje       * Application Master – alokuje zdroje
       * Resource Manager – globální správce zdrojů pro cluster. řeknu mu o paměť, RAM, on mi řekne, zda to jde       * Resource Manager – globální správce zdrojů pro cluster. řeknu mu o paměť, RAM, on mi řekne, zda to jde
       * Node Manager – podřízený správce zdrojů na nodu, kouká se, zda je dost místa pro danou operaci       * Node Manager – podřízený správce zdrojů na nodu, kouká se, zda je dost místa pro danou operaci
 +  * MapReduce
 +  * Zookeeper - sdílení konfiguračních souborů, komunikace clusterů ​
 +  * zvěřinec nad tím: Hive, Spark, HBase (NoSQL databáze), Kafka (messaging),​ Flume (ukládání logů), Sqoop (integrace z DB), Oozie (workflow scheduler), ...
  
 {{ https://​2xbbhjxc6wk3v21p62t8n4d4-wpengine.netdna-ssl.com/​wp-content/​uploads/​2012/​08/​yarnflow1-600x371.png?​400| }} {{ https://​2xbbhjxc6wk3v21p62t8n4d4-wpengine.netdna-ssl.com/​wp-content/​uploads/​2012/​08/​yarnflow1-600x371.png?​400| }}
   ​   ​
-  * MapReduce 
-  * Zookeeper - sdílení konfiguračních souborů, komunikace clusterů ​ 
-  * zvěřinec nad tím: Hive, Spark, HBase (NoSQL databáze), Kafka (messaging),​ Flume (ukládání logů), Sqoop (integrace z DB), Oozie (workflow scheduler), ... 
  
  
kj/hadoop-a-hdfs.txt · Poslední úprava: 18.09.2017 16:16 autor: kj