http://wiki.wladik.net/ Wed, 15 Apr 2026 01:43:11 +0200 FeedCreator 1.7.2-ppt DokuWiki http://wiki.wladik.net/lib/tpl/machim/images/favicon.ico http://wiki.wladik.net/ http://wiki.wladik.net/kj/databases?rev=1499691480&do=diff * Stanford course: <https://lagunita.stanford.edu/login?next=/courses/Engineering/db/2014_1/> * tutorialspoint: <https://www.tutorialspoint.com/sql/> kj Mon, 10 Jul 2017 14:58:00 +0200 http://wiki.wladik.net/kj/git?rev=1499692346&do=diff * If you erase or change some files accidentaly, you can revert it in two steps # the files need to be tracked first git add . # then the changes can be undone git reset hard * kj Mon, 10 Jul 2017 15:12:26 +0200 http://wiki.wladik.net/kj/hadoop-a-hdfs?rev=1505744177&do=diff Hadoop * vhodné pro: velké soubory (čtení na disku až 100 MB/s, výhody sekvenčního čtení), streamovací přístup * nevhodné pro: spoustu malých souborů (hodně zpomalí rychlost disku, až na třeba 1 MB/s), náhodný přístup Důvody pro Hadoop kj Mon, 18 Sep 2017 16:16:17 +0200 http://wiki.wladik.net/kj/hadoop?rev=1504190702&do=diff * Připojení * Teorie kj Thu, 31 Aug 2017 16:45:02 +0200 http://wiki.wladik.net/kj/hive?rev=1505742705&do=diff HIVE * Snaha přivést SQL do světa Hadoop * Nástroj pro dotazování a manipulaci s daty * Vlastní jazyk HQL (variace na SQL) Přístup k datům * Přístup k datům je prostřednictvím „klasických DB“ tabulek * Data jsou ukládána v HDFS kj Mon, 18 Sep 2017 15:51:45 +0200 http://wiki.wladik.net/kj/index?rev=1503663266&do=diff KJ's notes * Databases * Linux * Hadoop * Git * R * Private workspace kj Fri, 25 Aug 2017 14:14:26 +0200 http://wiki.wladik.net/kj/linux?rev=1510822582&do=diff Linux Tipy and triky Seřazení velikostí složek podle velikosti du -k * | sort -n | cut -f2 | xargs -d '\n' du -sh Práva soubor adresář r čtení souboru čtení adresáře (výpis obsahu) kj Thu, 16 Nov 2017 09:56:22 +0200 http://wiki.wladik.net/kj/mapreduce?rev=1505742630&do=diff MapReduce Princip: * MAP * vstupní data ve formátu <KEY1, VALUE1> konvertuje na <KEY2,VALUE2> * často nás KEY1 nezajímá - může být offset souboru * REDUCE * vstupní data ve formátu <KEY2, LIST(VALUE2)> konvertuje na <KEY3,VALUE3> kj Mon, 18 Sep 2017 15:50:30 +0200 http://wiki.wladik.net/kj/pripojeni?rev=1504190714&do=diff * with Putty and Pagent connect with SSH key - load the private key into the connection, add tunnels (Connection -> SSH -> Tunnels, destination: localhost:####) * then kinit and insert password * on Hadoop server - /home/username * to get to HDFS: commands kj Thu, 31 Aug 2017 16:45:14 +0200 http://wiki.wladik.net/kj/r?rev=1505824098&do=diff R * R for Data Science book: <http://r4ds.had.co.nz/> * Legends: <http://www.cookbook-r.com/Graphs/Legends_(ggplot2)/> Knit R to Word Návod, jak nastavit vlastní formát wordu a spustit ho v eRku: <http://rmarkdown.rstudio.com/articles_docx.html> kj Tue, 19 Sep 2017 14:28:18 +0200 http://wiki.wladik.net/kj/spark?rev=1503065931&do=diff Spark * systém pro distribuované výpočty na clusteru * vylepšení původního map-reduce, o 2 řády rychlejší * zpracování v paměti – méně I/O operací, vhodné pro iterativní algoritmy nebo analýzu dat * optimalizace operací před zpracováním kj Fri, 18 Aug 2017 16:18:51 +0200 http://wiki.wladik.net/kj/teorie?rev=1503064026&do=diff * Hadoop * MapReduce * HIVE * Spark kj Fri, 18 Aug 2017 15:47:06 +0200