Programming

Připravujeme novou verzi našeho webu, jehož podstatná součást je uživatelská a vývojářská dokumentace. Není v našich silách udržovat dokumentaci aktuální ve více než jednom jazyce, a proto jsme zvolili angličtinu, ale ambice poskytovat dokumentaci v rodném jazyce vývojářů nás neopustila a v tomto článku nabízíme pohled na mechanismus, jak toho chceme dosáhnout.

V malém týmu není prakticky možné udržovat rozsáhlou dokumentaci, nedejbože ve více jazycích konzistentní a aktuální. Respektive toto tvrzení platilo do nedávné doby, ale s nástupem LLM se všechno radikálně mění. Jedna z vlastností, ve které řada LLM vyniká, jsou právě překlady mezi jazyky a díky agentním nástrojům je aktuálně možné ověřovat konzistenci a platnost mnohem větší dokumentace, než je možné prostou lidskou silou. Kupodivu jsem nenašel žádný nástroj, integrovatelný s Maven build systémem, který by umožňoval automatizovaný překlad MarkDown souborů, a tak jsem se na přelomu roku rozhodl vyzkoušet sílu vibe-codingu a napsat plugin vlastní. Jeho první verze je aktuálně hotova a vy si ho můžete sami hned vyzkoušet.

Stejně jako většina firem v našem průmyslu i my jsme založili náš byznys na otevřeném softwaru. Jsme trpaslíci, kteří stojí na ramenech obrů – nanos gigantum humeris insidentes. Celé roky využíváme software vývojářů, kteří nás svými znalostmi převyšují a kteří svoji práci poskytli zdarma ku prospěchu všech.

Mnohokrát jsme si pokládali otázku, jak tento dar oplatit. Jednou z možností bylo přispívat do některých z OSS nadací, ale usoudili jsme, že peníze lépe pomohou jinde. Jako vývojáři jsme tíhnuli spíše k tomu, vracet ušetřenou práci darovanou prací, a proto jsme se snažili publikovat, bavit a vzdělávat, spojovat či přispívat opravami. Stále jsme diskutovali o tom, že bychom mohli část naší práce open-sourcovat, ale měli jsme obavy, že:

Our e-commerce view engine (E.V.E.) works with matrices of sorted number on the lowest level of its application logic. I’d like to describe some of the algorithms we use to combine such matrices in logic operations.

Why do we keep data in matrices in sorted order? There is a price to be paid when adding new number to the matrix when sorted order is required - appending number on last position would be much faster. The reason is simple - when matrices contain only sorted data we may use much more efficient (faster) algorithms to combine them. We pay a price on updating matrices in order to gain better speed when combining them.

I’d like to start series of posts about problems we’re facing in e-commerce area and what algorithms we used to solve them. There are a lot of e-commerce sites on different levels of complexity in terms of feature richness, data amount, throughput requirements, consistency and realtime updates. Let me first introduce the situation we’re trying to handle and then move to the solution space.

Domain

Let’s look at example of some e-commerce site product listing:

MPTT it quite old and very clever way for transposing hierarchical - tree structure to a two-dimensional representation that is suitable for relational databases. MPTT allows to translate information about node tree position into two numbers - left and right bound. Two number fields can be easily indexed and look ups for records in the tree can take advantage of database indexes and perform really quickly.

I won’t go into details of the (well) documented MPTT algorithm itself, because there are a lot of sources where you can go for comprehensible explanation (better than I would be able to provide). If you are not familiar with the algorithm, please, go first and read these articles: