Rozdíly
Zde můžete vidět rozdíly mezi vybranou verzí a aktuální verzí dané stránky.
| Obě strany předchozí revize Předchozí verze | Poslední revize Obě strany příští revize | ||
|
kj:mapreduce [31.08.2017 16:48] kj |
kj:mapreduce [31.08.2017 16:53] kj |
||
|---|---|---|---|
| Řádek 54: | Řádek 54: | ||
| * chci znát nějaké specifické rozdělení (např. věkové kategorie) | * chci znát nějaké specifické rozdělení (např. věkové kategorie) | ||
| * mám velmi nevyvážené klíče (jeden klíč se vyskytuje abnormálně často) | * mám velmi nevyvážené klíče (jeden klíč se vyskytuje abnormálně často) | ||
| + | * klíče jsou z shuffle&sort poslány do partitioneru, který rozhoduje, do kterého reduceru půjde | ||
| + | * Partitioner je funkce, která hashuje klíč a vezme modulo tohoto hashe a počtu reduceru, aby zjistil, který reducer dostane daný pár klíč-hodnota. jelikož hash jednoho klíče bude pořád stejný, všechny páry klíč-hodnota se stejným klíčem budou poslány do stejného reduceru | ||
kj/mapreduce.txt · Poslední úprava: 18.09.2017 15:50 autor: kj