V dnešním článku bych se s vámi rád podělil o své zkušenosti se zpracováním videozáznamů z konference jOpenSpace. Videozáznamy z konference připravujeme už řadu let a postupně se nám práci s tím podařilo zásadně zjednodušit a zefektivnit. Ještě před pár lety nám trvalo i víc než měsíc, než se nám podařilo záznamy zveřejnit a příprava popisků a zveřejnění na webu byla celkem pracná ruční práce. Už vloni se podařilo videa zveřejnit do týdne a letos nebýt mého vytížení v práci bychom to stihli do pár dnů. A ano, hádáte správně, za vším stojí automatizace a vibe coding.

Trochu s obavami jsme očekávali jaká situace bude v říjnu 2022 a o proto jsme registrace otevřeli až v září. Doba je skutečně turbulentní a kromě Covidu světem hýbe hned několik dalších krizí najednou. Proto jsme se Zdeňkem Henkem byli nakonec velmi mile překvapeni, když se registrační číslo přiblížilo třicítce a už na první pohled bylo jasné, díky jménům, které jsme v registrační listině viděli, že letošní ročník slibuje kvalitní obsah.

We have open-sourced a new Java library Proxycian. It is a small Java library for generating dynamic proxies on top of ByteBuddy or Javassist. You can generate data transfer objects, rich traits or even whole implicit DAO implementations dynamically at runtime easily. This library solves the complex stuff, so you can focus on application logic. Serializability and cloning are already solved by us. We also aim for transparent and easily debuggable proxies, because as we know proxies is usually part of “magic” for the team. Hence, the name of this library - Proxycian as a magician for the proxies ;)

MonkeyTracker byl nástroj pro sledování aktivit uživatele na webu. Snímal kliknutí na různá místa na stránce a také místo, kam uživatelé doscrollovali myší a kolik obsahu stránky tedy skutečně viděli (měli ochotu zhlédnout). Tyto informace jsou užitečné pro UX designery pro vylepšování uživatelského zážitku a při redesignech webů.

Projekt vznikl jako zaměstnanecký projekt v rámci pokusů vyzkoušet si projekt “produktového typu”, protože jinak se FG Forrest orientuje na zakázkový vývoj. Stáli jsme za ním tři – já a moji kolegové Jakub Kosař a Filip Hladík. Já jsem stál za přípravou backendu a provozem, kolegové si rozdělili frontendovou část – tedy JS, který monitoroval weby, a následně analytickou konzoli, která vykreslovala teplotní mapy z naměřených výsledků.

Stejně jako většina firem v našem průmyslu i my jsme založili náš byznys na otevřeném softwaru. Jsme trpaslíci, kteří stojí na ramenech obrů – nanos gigantum humeris insidentes. Celé roky využíváme software vývojářů, kteří nás svými znalostmi převyšují a kteří svoji práci poskytli zdarma ku prospěchu všech.

Mnohokrát jsme si pokládali otázku, jak tento dar oplatit. Jednou z možností bylo přispívat do některých z OSS nadací, ale usoudili jsme, že peníze lépe pomohou jinde. Jako vývojáři jsme tíhnuli spíše k tomu, vracet ušetřenou práci darovanou prací, a proto jsme se snažili publikovat, bavit a vzdělávat, spojovat či přispívat opravami. Stále jsme diskutovali o tom, že bychom mohli část naší práce open-sourcovat, ale měli jsme obavy, že:

Our e-commerce view engine (E.V.E.) works with matrices of sorted number on the lowest level of its application logic. I’d like to describe some of the algorithms we use to combine such matrices in logic operations.

Why do we keep data in matrices in sorted order? There is a price to be paid when adding new number to the matrix when sorted order is required - appending number on last position would be much faster. The reason is simple - when matrices contain only sorted data we may use much more efficient (faster) algorithms to combine them. We pay a price on updating matrices in order to gain better speed when combining them.

I’d like to start series of posts about problems we’re facing in e-commerce area and what algorithms we used to solve them. There are a lot of e-commerce sites on different levels of complexity in terms of feature richness, data amount, throughput requirements, consistency and realtime updates. Let me first introduce the situation we’re trying to handle and then move to the solution space.

Domain

Let’s look at example of some e-commerce site product listing:

MPTT it quite old and very clever way for transposing hierarchical - tree structure to a two-dimensional representation that is suitable for relational databases. MPTT allows to translate information about node tree position into two numbers - left and right bound. Two number fields can be easily indexed and look ups for records in the tree can take advantage of database indexes and perform really quickly.

I won’t go into details of the (well) documented MPTT algorithm itself, because there are a lot of sources where you can go for comprehensible explanation (better than I would be able to provide). If you are not familiar with the algorithm, please, go first and read these articles:

Rozhovor s Honzou Řehákem v NETIO Products byl poslední před vánocemi. Z výše uvedené věty je krásně vidět, jak dlouho nám trvá takový díl pro vás připravit (pravda měli jsme ještě něco předtočené ve frontě).

NETIO Products nás pozvali do svého sídla – rodinného domku na jihu Prahy. Jedná se o malý startup, který vyrábí a prodává chytré zásuvky po celé Evropě. Chytré zásuvky zvládají přesné měření protékajícího proudu, spotřeby a vzdálené řízení spínání. Zásuvky můžete programovat ve skriptovacím jazyce Lua, posílat jim XML, JSON, můžete jim zavolat přes SIP, nebo pingnout přes HTTP. Spínání můžete naschedulovat, jednoduše zajistíte autorestart neposlušných strojů na druhé straně zásuvky.

V druhé části rozhovoru s Pavlem Luptákem z Hacktrophy jsem popustil uzdy fantazii a ptal se Pavla na věci, které mě zajímaly v souvislosti s bezpečností na internetu.

Zajímalo mě třebas, jestli se v praxi využívají útoky postranními kanály procesoru (MeltDown, Spectre, TL Bleed). Probírali jsme i možné zranitelnosti Intel ME koprocesoru. Dozvěděl jsem se, že řešením řady zranitelností by mohla být tzv. kompartmentalizace na úrovni HW i SW.

Od Pavla padla zajímavá myšlenka – paradoxně nejsložitější aplikací, kterou používají běžní uživatelé je webový prohlížeč. Proto tam bude vždy plno prostoru pro různé zranitelnosti.

Poslední CzPodcast a následná diskuse na Twitteru mě vedla k nápadu popsat, jak fungujeme u nás ve Forrestu. Twitter je na hlubší myšlenky prostě moc omezený. Jsem si vědom toho, že to je risk, protože tohle je oblast citlivá a každý na ní má svůj názor. Nemám(e) patent na rozum a klidně si rád na Twitteru vyslechnu vaše komentáře. V článku spíš chci zmínit body / praktiky, které nám dávají smysl a považujeme je za funkční. Přes to všechno - chyby se stávají, a nic z toho, co tu budu psát nám nezaručuje bezchybné, bezproblémové a jedině ziskové projekty.

Po nějaké době se vracíme k bezpečnostní problematice a tentokrát jsme si pozvali jako hosta Pavla Luptáka ze společnosti Nethemba a Hacktrophy, člena skupiny Ztohoven. Pavel má 20 let zkušeností z oblasti hackingu, žije nomádským způsobem života a vůbec jsme moc rádi, že se nám jej podařilo před kameru dostat.

Společně se zakladatelem společnosti ESET a přáteli ze společnosti Citadelo založili před několika lety novou společnost Hacktrophy, která má za cíl zpřístupnit bug bounty programy i menším společnostem. Nabízí zprostředkování výzvy k etickému hackingu skupině hackerů, správného nastavení odměn, ověření nahlášených zranitelností a vyloučení false/positive hlášení a komunikaci mezi hackerem a zástupcem společnosti, která bug bounty program vypisuje.

Na natáčení s Honzou Zeleným – autorem české hry Mashinky, jsem se těšil celý rok. Vzhledem k tomu, že letos ještě pracoval na plný úvazek pro Bohemia Interactive a po večerech na Mashinkách, jsme se dohodli, že natáčet budeme, až vznikne nějaký prostor. A ta doba nastala až teď, kdy Honza odešel ze zaměstnání a začal se vývoji hry věnovat naplno.

Po třech letech jsem zase zavítal na polskou konferenci GeeCON, která se konala 18. – 19. října v Praze. Přiznávám, že jsem se těšil až zjistím, kam se pozornost řečníků za ta léta posunula. GeeCON si drží svou úroveň kvality a po technické a organizační stránce jsem nebyl zklamaný. Celkově jsem si z konference odnesl pocit toho, že Java jako ekosystém se definitivně posunul v hype cycle do „plaeau of productivity“. Nenarazil jsem na žádného řečníka, který by zaslepeně vychvaloval nějakou technologii, aniž by přiznal slabá místa a racionálně uvedl místa, kde se vyplatí a kde se naopak nevyplatí daný přístup použít.

Je jasné, že otvírák blockchainu nemohl ani zdaleka pokrýt témata, která jsme chtěli probrat. Pokračovali jsme tedy v rozhovoru s Lukášem Kolískem dál a chtěli jsme po něm nastínit možnosti využití blockchain technologie mimo kryptoměny.

Poznámka: před díl jsou připojeny medailonky partnerů ne-konference jOpenSpace, pokud vás nezajímají a chcete je přeskočit, skočte na 16 minutu 12 vteřinu.

Lukáš Kolísko se CA technologies věnuje průzkumu technologie blockchain a zároveň o tom poutavě bloguje. O blockchainu se posledních několik let hodně mluví, především v souvislosti s ruletou, která se odehrává na kryptoměnových burzách. Má však i řadu dalších možných použití, které jsme chtěli v tomto dvojdílu s Lukášem otevřít.

Pro začátek jsme si chtěli vysvětlit nějaké základní koncepty blockchainu. Jaké jsou odlišnosti v různých implementacích a také jsme si chtěli posvítit na notoricky známé problémy technologie, jako jsou rychlost, důvěra a energetická náročnost.

V druhém díle s Adamem Surákem z Algolia.com pokládáme techničtěji zaměřené otázky na jejich vyhledávací stroj. Dozvíte se v něm, že k dosažení 50ms odezev implementovali vyhledávací algoritmy v C++ jako nGinXový modul a provozují jej na vlastním bare metalu a jednom výkonném procesoru. Řeč bude i o SLA a čtyřech (respektive pěti interních) devítkách dostupnosti a jak jich dosahují.

Hostem tohoto dílu je Adam Surák - director of infrastructure ve společnosti Algolia.com, která se zabývá hostovaným vyhledáváním. Algolia vytváří vlastní databázové řešení, které se dá nejvíce přirovnat k Elastic Search. Kombinuje fulltextové vyhledávání s hledáním přes atributy uložených objektů. Algolia je hojně používaná na větších e-shopech a pohání např. platformu Twitch.tv.

Celkově jsme s Adamem Surákem natočili 2 interview, to první, které máte právě teď možnost shlédnout, je o Adamově historii a jak se do firmy Algolia dostal. Dále v něm rozebíráme vlastnosti jejich vlajkového produktu a jejich začátky. Pro techničtěji zaměřené posluchače je cílený druhý díl, kde se podíváme na zoubek postupům a technologiím, které v Algolii používají.

Na natáčení dalšího dílu, jsme se vydali jsme se do Kolína do společnosti Teco (nástupce Tesly Kolín), která vyrábí chytrou elektroinstalaci podobně jako Unipi, se kterou jsme natáčeli předchozí díl. Teco bylo v hledáčku Petra Ferschmanna už nějakou dobu, protože jeho komponenty pohání Petrovu chytrou domácnost. Náhoda tomu chtěla, že se nám podařilo dohodnout dva díly o hardware těsně po sobě.

V tomto díle jsme zpovídali technického ředitele Jindřicha Kubece na téma vývoje a výroby hardware a ten, kdo sleduje video formát uvidí také záběry z výroby této firmy.

Na pozvání Ferše si s námi přišel do prostor Apiary popovídat Adam Škorpík ze společnosti Unipi technology. Unipi vyrábí hardware pro chytrou elektroinstalaci (monitoring, automatizace) postavené nad platformou Rabsberry Pi.

V tomto díle si s námi můžete poslechnout jak se z firmy, která poskytuje internetové připojení stane výrobce hardware. Dozvíte se s jakými nástroji si můžete třeba vyrobit domácí automatizovaný kurník nebo řízený skleník. Adam také odkrývá kudy se chtějí v budoucnosti ubírat a že je univerzálnost propojení různých hardwarových platforem stále hudba vzdálené budoucnosti.