Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
Obě strany předchozí revize Předchozí verze | |||
kj:hadoop-a-hdfs [18.09.2017 15:54] kj |
kj:hadoop-a-hdfs [18.09.2017 16:16] kj |
||
---|---|---|---|
Řádek 12: | Řádek 12: | ||
==== Architektura Hadoopu ==== | ==== Architektura Hadoopu ==== | ||
- | |||
- | {{ :kj:arch_hadoop.png?400| }} | ||
* HDFS: distribuovaný FS | * HDFS: distribuovaný FS | ||
* velký soubor je rozdělen na 64 MB chunky a třikrát replikován | * velký soubor je rozdělen na 64 MB chunky a třikrát replikován | ||
- | |||
- | |||
* YARN: plánovač úloh a alokátor zdrojů | * YARN: plánovač úloh a alokátor zdrojů | ||
* Application Master – alokuje zdroje | * Application Master – alokuje zdroje | ||
* Resource Manager – globální správce zdrojů pro cluster. řeknu mu o paměť, RAM, on mi řekne, zda to jde | * Resource Manager – globální správce zdrojů pro cluster. řeknu mu o paměť, RAM, on mi řekne, zda to jde | ||
* Node Manager – podřízený správce zdrojů na nodu, kouká se, zda je dost místa pro danou operaci | * Node Manager – podřízený správce zdrojů na nodu, kouká se, zda je dost místa pro danou operaci | ||
+ | * MapReduce | ||
+ | * Zookeeper - sdílení konfiguračních souborů, komunikace clusterů | ||
+ | * zvěřinec nad tím: Hive, Spark, HBase (NoSQL databáze), Kafka (messaging), Flume (ukládání logů), Sqoop (integrace z DB), Oozie (workflow scheduler), ... | ||
{{ https://2xbbhjxc6wk3v21p62t8n4d4-wpengine.netdna-ssl.com/wp-content/uploads/2012/08/yarnflow1-600x371.png?400| }} | {{ https://2xbbhjxc6wk3v21p62t8n4d4-wpengine.netdna-ssl.com/wp-content/uploads/2012/08/yarnflow1-600x371.png?400| }} | ||
| | ||
- | * MapReduce | ||
- | * Zookeeper - sdílení konfiguračních souborů, komunikace clusterů | ||
- | * zvěřinec nad tím: Hive, Spark, HBase (NoSQL databáze), Kafka (messaging), Flume (ukládání logů), Sqoop (integrace z DB), Oozie (workflow scheduler), ... | ||
kj/hadoop-a-hdfs.txt · Poslední úprava: 18.09.2017 16:16 autor: kj