Kafemlejnek.TV 7. - Kafka, Samza, Druid.io
V tomto pokračování rozhovoru s Lukášem Havrlantem se věnujeme technologiím optimalizovaným pro zpracování a analýzu velkého množství událostí. Kafka - distribuovaná replikovaná fronta s možností "vracení se v čase", Samza - stream processor zjednodušující zpracování událostí z časové řady, Druid.io - sloupcová databáze na bázi agregovaných dat.
Lukáš nám osvětlil jak všechny tyto tři technologie pasují dohromady, s jakými těžkostmi se potýkali a jestli se to vyplatilo.
Obsah:
- co v iBillboardu děláte? 0:33
- trendy v online reklamě 5:50
- kdy se začíná vyplácet Kafka, Samza, Druid 7:02
- kdo stojí za zmíněnými technologiemi? 9:20
- jaké úlohy jednotlivé technologie řeší? 10:06
- o Kafce 11:10
- porovnání Kafky s ostatními Queue technologiemi 13:17 (tady jsem mylně uváděl, že ZeroMQ není distribuovaná ... je :)
- strategie pro využití multimaster (write) vlastností Kafky 16:31
- spolehlivost Kafky 20:46
- retence dat v Kafce 24:14
- humorné příhody (faily) ze života :) 25:14
- k čemu slouží Samza 27:52
- hosting 32:29
- poslední díl skládanky - Druid.io 35:21
- problém s počtem unikátních uživatelů 37:55
- HyperLogLog 40:00
- dotazovací jazyk Druida 46:25
- podpora agregačních a statistických funkcí 47:10
- Druid.io - data v paměti nebo na disku? 52:41
- ruid.io - data v paměti nebo na disku? 52:41
- elaborace na téma Lambda / Kappa architekura 54:40
Poděkování
Děkujeme firmě FG Forrest za kanceláře a firmě Flamesite za profesionální natočení a sestříhání dílu.
Kompletní obsah zde: https://kafemlejnek.tv/dil-7-kafka-samza-druid-io/
