Što čini (dobru) križaljku?

Odijelo ne čini čovjeka. Ali što čini križaljku?

Ljeto je odmor za dušu i tijelo pa se vraćam na matematičke teme. Tu mislim na matematiku u širem smislu, jer križaljka i žongliranje riječima nisu drugo nego lijepa jezična kombinatorika. Pokušavam napraviti program koji će iz liste riječi hrvatskog (ili nekog drugog) jezika složiti križaljku. To nije nimalo jednostavno i trenutačno je moj program poprilično lošiji od ljudskih majstora enigmatičara. Mogu li ih sustići?

Da bismo osvijestili u čemu je stvar, potrudio sam se na jednom mjestu prikupiti komponente koje su važne za dobru križaljku. One nisu međusobno neovisne, nego uglavnom jedna podupire drugu, ali vrijedi razmotriti svaku ponaosob.

  • Broj crnih polja. Riječ je o “praznim” poljima koja u križaljci razdvajaju riječi (ostala polja sadrže slova). Ovo je osnovna i najlakše uočljiva metrika. Cilj je, naravno, da ih bude što manje. Enigmatičari lako dođu do cca 12%, a ispod 10% je majstorstvo.
  • Duljina riječi. Križaljka je ljepša i zanimljivija što su u njoj dulji pojmovi. Dobra križaljka često će imati nekoliko dugačkih pojmova koji prolaze cijelom križaljkom ili njenim većim dijelom. Također se gleda prosječna duljina riječi. Što dulje, to bolje! Ako je mnogo kratkih riječi (od 1-3 slova), to kvari dojam. S tim u vezi se, primjerice, u dobroj križaljci izbjegavaju jednoslovi i dvoslovi, koji se obično opisuju nekom pokratom ili inicijalima neke poznate ili ne baš poznate osobe.
  • Velike bjeline. Riječ je o nekom dijelu križaljke koji sadrži samo slova, tj. nema crnih polja. Jako je teško dobiti veliku bjelinu! Primjerice, na slici je križaljka Nebojše Dragomirovića – sastavljena na natjecanju unutar 2.5 sata – koja u sredini ima bjelinu dimenzija 6 x 7:
  • Prožetost. Dijelovi križaljke trebaju biti biti dobro povezani. To recimo znači da se izbjegavaju lanci crnih polja koji bi razdvojili križaljku na slabo povezana područja. Primjerice, ako imamo veći broj crnih polja poredanih dijagonalno, onda pojmovi s jedne i druge njihove strane nisu povezani – ne čine cjelinu, nego se križaljka raspada na dvije manje.
  • Zanimljivost sadržaja. Aktualni, a ne zastarjeli pojmovi; poznate osobe, mjesta, filmovi; zanimljive fraze (npr. krokodilske suze); uporaba niskofrekventnih pojmova umjesto onih koji su u križaljkama česti; tematske križaljke s većim brojem srodnih pojmova; izbjegavanje ponavljanja iste riječi ili korijena riječi (npr. Francis i Francuska).
  • Rješivost, izbjegavanje vrlo opskurnih pojmova; normiranost riječi (nominativ, infinitiv i slično).

Ovo nije sve; moguće je u križaljci biti kreativan na razne načine, primjerice u njenom obliku ili nekoj lijepoj pravilnosti rasporeda crnih polja. A o programu koji pokušavam napraviti i njegovom algoritmu, koji će vjerojatno ostati nedorastao većini ovih zahtjeva, bit će riječi u nekoj od idućih objava. Kao što bi rekao Robert Wyatt, if you’re still there – stay tuned!

I tako sve

Kad sam bio mali, imali smo neku ogromnu debelu ilustriranu enciklopediju na njemačkom. Nisam znao njemački, ali listajući i gledajući te slike zaključio sam da je to knjiga o svemu. Mislio sam to sasvim doslovno: bio sam uvjeren da na svijetu ne postoji pojam kojeg nema u toj knjizi. Kad smo u školi počeli čitati prve knjige, pa su neki pričali da doma imaju knjigu o ovome ili onome, ja sam se hvalio da imam knjigu o SVEMU. Baš svemu. To nije bilo moguće nadmašiti. “Jeste li čuli, Satja ima knjigu o SVEMU!”

S vremenom, sam, naravno, spoznao onu Hamletovu (“There are more things in heaven and earth, Horatio, than are dreamt of in your philosophy“) i shvatio da ta knjiga ne može biti baš o svemu.

Neki filozofi (poput Davida Lewisa) tvrde da postoji baš sve što je moguće, drugim riječima, postoje svi mogući svjetovi. To bi čak moglo vrijediti ako je naš svemir samo divovska matematička struktura i ako on postoji naprosto zato što sve konzistentne matematičke strukture (poput prirodnih brojeva) postoje same po sebi, kako tvrdi Max Tegmark.

Matematičari su početkom dvadesetog stoljeća shvatili da ne postoji skup svih skupova. (Kad bi on postojao, postojao bi i njegov podskup X koji sadrži samo one skupove koji ne sadrže sami sebe kao element – ali onda bi X sadržavao sebe ako i samo ako se ne sadrži, što je kontradikcija, odnosno Russelov paradoks. Osim toga, partitivni skup skupa svih skupova prema Cantorovu teoremu morao bi biti još veći skup, što opet vodi u kontradikciju.)

Iako ne postoji skup svih skupova, sasvim sigurno postoji beskonačnost. Aristotel je razlikovao potencijalnu i aktualnu beskonačnost. Aktualna je ona koja je potpuna – “gotova” i već sadrži svih beskonačno mnogo elemenata, dok potencijalna nikad nije potpuna nego se u nju uvijek mogu dodavati elementi, ali nikad svih beskonačno. S vremenom je u matematici aktualna (“dovršena”) beskonačnost postala prihvaćena i uobičajena, ali ona nije intuitivna. Kao djeca shvaćamo da prirodnih brojeva ima beskonačno mnogo zato što svakom broju možemo dodati jedan – ali to je potencijalna beskonačnost, ona koja raste u nedogled, a ne sadrži “sve odjednom”.

Ipak, nedavno sam upoznao fantastičnu osobu koja umjesto fraze “i tako dalje” ponekad kaže “i tako sve”. Dakle, umjesto potencijalnog – aktualno! Nema onog neodređenog “dalje“, nego odmah “sve“. Riječ je dakle o intuiciji koja je (barem iz matematičke perspektive) na visokoj razini.

Na kraju, jedan moj doživljaj od prije nekoliko godina. Organizirao sam neko informatičko natjecanje i bio je neki problem, nešto smo sjebali, možda neki zadatak ili tako nešto. Idućeg dana na poslu sam pričao s Antom Đerekom (koji je prije mene organizirao ta natjecanja) i rekao mu da se grizem zbog te pogreške. On je tada izgovorio tu jednostavnu, tihu rečenicu: “A ne možeš sve.”

Možda je još nešto rekao, ali ovo je bio dovoljno, ta kratka rečenica puna razumijevanja, empatije i mudrosti. Napravio si mnogo, ali ne možeš sve. Ne postoji knjiga o svemu, ne postoje svi mogući svjetovi, ne postoji skup svih skupova i u životu će uvijek biti stotinu grešaka i nedovršenih stvari – nikad nećeš biti gotov. Ipak se kaže “i tako dalje”. Ne možeš sve.

FAQ ili Često postavljana pitanja o logaritamskoj krivulji

Logaritamskoj, ne blogaritamskoj! Zasjala je ovdje iznad, u headeru stranice koji je doživio mali makeover ili barem beauty tretman kao što je bio i zaslužio. Vidite je?

Otkud uopće logaritam u nazivu bloga? Najprije kao simbol matematike. Potom, budući da je mnogo objava bilo vezano za algoritamske zadatke, kao riječ koja je slična riječi algoritam, a ujedno se javlja u vremenskoj složenosti mnogih algoritama (npr. N log N). I naravno, kao igra riječima. Može li bolje?

Logaritamski rast, kao što vidimo iz gornje krivulje, ide najprije brzo a onda sve sporije i sporije. Kad bismo je pratili još neko vrijeme, krivulja bi postajala sve sličnija horizontalnoj liniji – ali i dalje bi uvijek rasla.

Evo nekoliko primjera. Kad počnemo redovito vježbati i pratiti svoj učinak (npr. prosječnu brzinu trčanja ili masu koju možemo podići), on na početku – dok stječemo formu – raste brzo, a poslije sve sporije. Onaj tko nema naviku trčanja lako može poboljšati svoje vrijeme za nekoliko sekundi, ali profesionalac vrlo teško. Slično je s učenjem nove vještine, novog jezika, ili s produktivnosti općenito: ako nismo uopće produktivni, mali hakovi (poput gašenja mobitela i interneta na nekoliko sati) mogu višestruko povećati učinak; no što smo više produktivni, to je teže biti još produktivniji.

Suprotna je, recimo, eksponencijalna funkcija (koji je upravo inverz logaritamske) koja raste sve brže i brže. Što si više bogat, to je lakše biti još bogatiji. To je znao i Isus: “onomu tko ima dat će se, a onomu tko nema oduzet će se i ono što ima“. Možda je mislio na kapitalizam, ali vjerojatnije je psihološko tumačenje: što imaš više ljubavi, lakše je imati još više. Ako ti manjka, imat ćeš još manje.

Ali i ovdje se možemo vratiti na logaritamski rast: poznato je da, recimo, sreća u ovisnosti o bogatstvu raste sve sporije i sporije. Tako razlika između jedne i dvije tisuće kuna primanja može subjektivno biti daleko veća nego između 10 i 20 tisuća kuna. Svaka nova kuna vrijedi sve manje, iako ju je sve lakše dobiti. Također, pretpostavljam da slično “raste” zdravlje u ovisnosti o navikama. Uvođenje jednog treninga tjedno (umjesto nijednog) pomoći će mnogo više nego uvođenje četvrtog treninga kad već imamo tri. Kad je stanje loše, prednost je što su mali pomaci zapravo golemi. Jedno brzinsko pospremanje učinit će mnogo za neuredan prostor, više nego temeljito čišćenje za onaj koji je već relativno uredan. Kad ti se ne da raditi, prvi riješeni zadatak učinit će najveću razliku u raspoloženju. Jedan topao telefonski poziv učinit će najviše onda kada nije očekivan. Nešto je uvijek beskonačno puta bolje od ničega. Iz rupe se možda i nije toliko teško izvući.

Na kraju, ako se zarotira u smjeru suprotnom od kazaljke sata, logaritamska krivulja postaje (stilizirano) slovo L – ono koje nedostaje u headeru, a ujedno i najljepše slovo abecede.

Koliko sam dobro trčao? (drugi dio)

Sanjao sam sfingu koja daje proročanstva i mogao sam postaviti jedno pitanje. Pitao sam: kada će na Blogaritmu ponovno osvanuti nešto normalno, matematičko? Sfinga je odgovorila: hokus pokus, bogovi su odlučili, to će biti danas!

Ovo je nastavak objave Koliko sam dobro trčao? (prvi dio) u kojoj sam pitao:

Ako sam pretrčao S metara u T sekundi, koliko sam uspješno trčao?

I evo, tijekom ovog sunčanog vikenda riješio sam taj problem.

Nakon što sam pri kraju te objave zaključio da je uspjeh dobro računati kao kombinaciju doprinosa prijeđenog puta S i prosječne brzine V (= S / T), te u međuvremenu kratkim istraživanjem po webu shvatio da je riječ o približno eksponencijalnom odnosu, odlučio sam da formula treba biti umnožak oblika:

S^\beta V^\gamma

s parametrima \beta i \gamma takvima da se iznos kreće od 0 do 100 – pri čemu bi svjetski rekord dao rezultat 100. Da bismo izračunali dotične parametre, valja pogledati te svjetske rekorde – osim sprinteva (S < 1000) u kojima su principi malo drugačiji. Ako je, recimo, (s, v) jedan konkretan rekord, onda treba vrijediti:

s^\beta v^\gamma = 100 \quad\Rightarrow\quad \beta \log s + \gamma \log v = 2.

Ako u matricu X po redcima stavimo parove (\log s, \log v) za sve promatrane svjetske rekorde, iz gornjih jednadžbi dobivamo preodređeni sustav jednadžbi:

X [\beta \, \,\, \gamma]^T = [2, 2, ..., 2]^T,

čije najpreciznije rješenje u smislu najmanjih kvadrata dobivamo na sljedeći način:

[\beta \,\,\, \gamma]^T = (X^T X)^{-1} X^T [2, 2, ..., 2]^T.

Konačno, formula za uspjeh trčanja (na osnovi liste svjetskih rekorda danih u donjem kodu), ako je S izražen u metrima, a V u metrima po sekundi, ispada približno:

uspjeh = S^{0.14} \cdot V^{1.81}

Primjerice, ako sam pretrčao 5 kilometara (S = 5000) u 25 minuta (V = 5000 / (25 \cdot 60) = 3.33), uspjeh ispada 5000^{0.14} \cdot 3.33^{1.81} = 29.1 od mogućih 100. Prilično loše, hahaha!

Evo i koda u Pythonu. Pokrenete li ga, vidjet ćete da formula nije potpuno precizna: uspjesi svjetskih rekordera kreću se između 97 i 103.

#!/usr/bin/python3
from math import log
import numpy as np

csv = "1000,no,131.96,male,track,Noah Ngeny,1999-09-05\n\
1500,yes,206.00,male,track,Hicham El Guerrouj,1998-07-14\n\
1609.344,no,223.13,male,track,Hicham El Guerrouj,1999-07-07\n\
2000,no,284.79,male,track,Hicham El Guerrouj,1999-09-07\n\
3000,no,440.67,male,track,Daniel Komen,1996-09-01\n\
5000,yes,757.35,male,track,Kenenisa Bekele,2004-05-31\n\
10000,yes,1577.53,male,track,Kenenisa Bekele,2005-08-26\n\
10000,no,1604,male,road,Leonard Patrick Komon,2010-09-26\n\
15000,no,2473,male,road,Leonard Patrick Komon,2010-11-21\n\
20000,no,3386,male,track,Haile Gebrselassie,2007-06-27\n\
20000,no,3321,male,road,Zersenay Tadese,2010-03-21\n\
21097.5,no,3503,male,road,Zersenay Tadese,2010-03-21\n\
21285,no,3600,male,road,Haile Gebrselassie,2007-06-27\n\
25000,no,4345.4,male,track,Moses Mosop,2011-06-03\n\
25000,no,4310,male,road,Samuel Kosgei,2010-05-09\n\
30000,no,5207.4,male,track,Moses Mosop,2011-06-03\n\
30000,no,5257,male,road,Peter Cheruiyot Kirui,2011-09-25\n\
42195,yes,7418,male,road,Patrick Makau,2011-09-25"

x = []
y = []
for row in csv.split('\n'):
    data = row.split(',')
    s, t = float(data[0]), float(data[2])
    v = s / t
    x.append([np.log10(s), np.log10(v)])
    y.append(2)
x = np.array(x)
y = np.array(y)

beta, gamma = np.linalg.inv(x.T @ x) @ x.T @ y
print(beta, gamma)

for row in csv.split('\n'):
    data = row.split(',')
    s, t = float(data[0]), float(data[2])
    v = s / t
    print(s**beta * v**gamma)

Polumatematičke crtice s godišnjeg odmora

Posudio sam iz knjižnice debelu knjigu Number theory Andreja Dujelle, počeo je čitati i rješavati zadatke. Ide mi dobro, prisjećam se kako je to bilo vježbati za matematičke olimpijade. Ali ako velik dio dana provedem na taj način, osjećam se kao da sam gubio vrijeme. Jer sada, kada nemam neke vanjske motivacije za proučavanje teorije brojeva (niti se natječem niti se profesionalno bavim čistom matematikom), osjećaj je u istom rangu kao da rješavam sudoku: lijepo, ali beskorisno, ne doprinosi ničemu. Ne kažem da treba biti tako, samo da se ja tako osjećam, a osjećajima uglavnom ne možemo upravljati. Bolje se osjećam kada čitam nešto životnije.

Tako sam čitao Teda Chianga (inače odličnog SF pisca) i njegovu priču Division by zero. U toj priči on pokušava oslikati matematičarku kojoj je matematika daleko od sudokua i slične zabave: ona je praktički religiozno vezana za matematičke rezultate, baš kao i neki veliki vjernik za dogme u koje vjeruje. Poznajete li nekog takvog matematičara? Ja ga baš i ne poznajem. Kao što keramičaru neće svijet propasti ako mu se razbije paket pločica, tako je i većini matematičara vjerojatno svejedno je li Goldbachova ili Riemannova hipoteza istinita ili nije; zapravo im je vjerojatno stalo samo do toga da oni sami uspiju dati neki doprinos. Je li rezultat pet ili šest, koga briga, jer ništa se u svemiru ni u našim životima neće promijeniti. Ja sam kao mali, u osnovnoj školi, bio vatreni matematičar i možda mi je stvarno bilo stalo do tih rezultata. Sad više nije toliko, i ne znam nikoga tko je toliko “religiozan” u matematici da mu je doista stalo. Sve je to sudoku.

Uglavnom, u spomenutoj priči Division by zero, Ted Chiang uspijeva uvjerljivo opisati takvu duboku matematičarku Renee. (Tekst koji slijedi sadrži spoilere.) Što je najgore što se takvoj osobi može dogoditi? Kao što bi vatrenom vjerniku ili teologu najgora spoznaja bila da nema Boga, tako Renee – na svoje veliko zaprepaštenje – uspijeva dokazati da je matematika u sebi kontradiktorna, tj. da je moguće bez greške dokazati da je 1 = 2 (ili bilo koju drugu jednakost). Sve matematičke tvrdnje postaju jednako istinite i jednako neistinite. Njezinim je kolegama manje-više svejedno, ali Renee pada u tešku depresiju. Ali genijalnost leži tek u drugoj, paralelnoj radnji priče: kao što se Renee bori sa svojom spoznajom o kontradiktornosti matematike, tako se njezin suprug Carl bori sam sa sobom, sa spoznajom da više ne može razumjeti Renee, da se njegova ljubav prema njoj gasi, da je mora napustiti. Dok Renee gubi vjeru u matematiku koja je njezin život, Carl gubi vjeru u život i samoga sebe. U zadnjem odjeljku, koji je prikladno označen kao “1 = 2”, Carl napokon shvaća što osjeća Renee – jer on osjeća to isto, samo u drugoj domeni. Ali ta ih “jednakost” razdvaja, kao što jednakost 1 = 2 uništava matematiku.

*

Postoji teorem (tzv. Intermediate value theorem) koji kaže da ako imamo neprekidnu funkciju za koju je f(a) negativan i f(b) pozitivan, onda mora postojati neki c između a i b takav da je f(c) = 0. Prilično intuitivno, zar ne? Što ćemo onda sa sljedećim pitanjem: ako sa a = 15 godina nisi odrastao čovjek, a sa b = 35 godina jesi odrastao čovjek, u kojem se točno trenutku događa prijelaz? Ne mora on biti isti za svakoga, jer funkcija ne raste istom brzinom za svakoga, ali za svakoga tko će ikad odrasti očito mora postojati neki trenutak kada on počinje biti odrastao. (Žalite se teoremu, ne meni.)

Taj se prijelaz dogodi, a nitko ga ne primijeti. U pjesmi Time, Floydi govore upravo o tome, te između ostalog kažu: “No one told you when to run, you missed the starting gun.” Ali ja ipak mislim da sam uočio taj trenutak. Noćas sam se probudio usred noći te, idući prema WC-u, ugledao plosnati predmet za koji sam na trenutak (u tom uspavanom stanju) pomislio da je matematička knjiga; imao je i uzorak šahovnice na “naslovnici”. Kad sam bolje pogledao, shvatio sam da je to paket vlažnih krpa za pranje poda koje sam jučer upotrebljavao (kupljen u Kauflandu ili Mülleru), a onaj šahovski uzorak na njegovu omotu oslikava pločice. Život se mijenja; matematičku knjigu zamjenjuje nešto mnogo prizemnije, čak i u najdoslovnijem smislu riječi “prizemno”. Zgodna slika odrastanja.

Koliko sam dobro trčao? (prvi dio)

Neki će reći da je dobar trening svaki onaj od kojeg se dobro oznojiš, te da je dobar rezultat na nekoj dionici trčanja (recimo 5 km) ono vrijeme koje je bolje od tvog prethodnog vremena. Fair enough, ali matematičar u meni želi kvantizirati uspjeh treninga trčanja. Ako sam pretrčao S kilometara u T vremena, koliko sam dobro trčao?

Naravno, nije svejedno jesam li trčao konstantnom brzinom ili sam, recimo, naizmjence ubrzavao i usporavao; a ni parametre poput temperature zraka, nagiba staze i brzine vjetra ne treba uvijek zanemariti. Ipak, radi jednostavnosti, zanemarit ćemo ih i pretpostaviti idealne uvjete, te da se brzina nije mnogo mijenjala tijekom trčanja, tj. da nije riječ o intervalnom treningu (koji je često efektivniji, ali to je druga tema).

I dalje, moguća su različita shvaćanja gornjeg pitanja:

  1. Koliko bi odrađeni trk bio uspješan u kontekstu neke utrke, odnosno, koliko je uspješan s obzirom na sposobnost koju pokazuje?
  2. Koliko je iscrpljujući?

Prvo shvaćanje rangiralo bi vrhunski otrčan sprint daleko bolje od osrednje otrčanog maratona, dok bi drugo shvaćanje učinilo upravo suprotno.

Što se tiče drugog pitanja (iscrpljujući), jedna je moguća strategija procijeniti utrošene kalorije, a one (ako sam dobro shvatio guglajući) najviše ovise o prijeđenom putu, dakle, o umnošku brzine i vremena. U tom bi smislu sporo otrčan maraton bio izjednačen s brzo otrčanim maratonom (“while running it doesn’t matter what speed you run a given distance, you will burn the same amount of calories as long as the distance is the same”, izvor). Čak mi se iz formula koje se spominju na webu (recimo ovdje) čini da bi sporiji trk na istoj udaljenosti potrošio malo više kalorija, jer se formula (kad zanemarimo masu i druge konstante) svodi na nešto tipa vrijeme * (0.2*brzina + 3.5) = 0.2*put + 3.5*vrijeme. To mi je neobično jer bi nas vremenski kraći trk na istoj dionici trebao više iscrpiti. S druge strane, možda se stvarno utroši manje energije jer imamo manje doticaja s tlom. Ako netko zna više, neka napiše u komentar.

Prvo je pitanje zanimljivije i u nastavku teksta okrećem se njemu. Pretpostavimo, dakle, da trčimo S metara za T sekundi konstantnom brzinom od V = S/T metara u sekundi. Najprije primijetimo:

  • veća brzina uvijek povećava uspjeh trka (bilo da fiksiramo vrijeme, bilo da fiksiramo put),
  • dulji put uvijek povećava uspjeh trka (bilo da fiksiramo vrijeme, bilo da fiksiramo brzinu),
  • ali vrijeme tako izravno ne utječe na uspjeh (ako je brzina fiksna, bolje je veće vrijeme; ako je put fiksan, bolje je kraće vrijeme).

Možemo stoga reći da je uspjeh neka kombinacija puta i brzine, S*V ili tako nešto. Što točno? O tome ću idući put, a ako imate ideju, napišite u komentar.

Refreshaj koliko hoćeš

Jeste li ikad bjesomučno refreshali neku stranicu čekajući neku vijest ili promjenu? (Recimo, popis pozvanih na Državno natjecanje koji se danas očekuje?)

Možda ste znali, a možda i niste, da se to refreshanje može automatizirati.

Postoje online alati za to (recimo, https://www.followthatpage.com/), ali zašto ne bismo zasukali rukave i sami napisali odgovarajuću skripticu?

Ovo je moja:

"""
Usage: refresh.py [full_url] [refresh_interval_in_seconds] [optional: string_to_search]

If the search string is given, then refreshes until the string is found in page text.
Otherwise, refreshes until the page is changed.
"""

import urllib.request
import sys
from time import sleep
from bs4 import BeautifulSoup

def get_text(url):
    text = str(urllib.request.urlopen(url).read())
    soup = BeautifulSoup(text, 'html.parser')
    [s.extract() for s in soup(['style', 'script', '[document]', 'head', 'title'])]
    text = soup.getText()
    # ignore numbers
    for z in '0123456789':
        text = text.replace(z, '')
    return text

try:
    interval = int(sys.argv[2])
    url = sys.argv[1]
except:
    print(f'usage: {sys.argv[0]} [full_url] [refresh_interval_in_seconds] [optional: string to search]')
    exit(0)
if len(sys.argv) > 3:
    word = sys.argv[3]
else:
    word = None
print(f'reading {url} ...')
previous_text = get_text(url)
while True:
    sleep(interval)
    print(f'refreshing {url} ...', end=' ')
    text = get_text(url)
    if word: 
        if word in text:
            print(f'String "{word}" found in page text!')
            exit(0)
        else:
            print(f'string "{word}" not found')
    else:
        if text != previous_text:
            print(f'Page has changed!')
            exit(0)
        else:
            print('no change')
    previous_text = text

Ovaj dio s promjenom ne radi na stranicama s oglasima (npr. portali) jer su svaki put drugačije reklame pa skripta misli da se stranica promijenila. Možda ima i još bugova ili prostora za poboljšanje, slobodno komentirajte.

Napomena: Ne postavljajte refresh interval na manje od nekoliko sekundi; prečesto slanje requestova može biti nepristojno ili čak zabranjeno. Related: https://softwareengineering.stackexchange.com/a/304767

Komunikacijska složenost – ili – kako zakodirati partiju šaha

Na IOI-u 2010. prvi put smo se susreli s tipom zadatka u kojemu treba poslati neku informaciju u što manje bitova. Zadatak se zvao Saveit i trebalo je, za zadani graf, najkraće udaljenosti (između zadanih posebnih vrhova do svih ostalih) poslati kao bitovni niz iz jednog programa (encoder) u drugi program (decoder) koji će taj niz znati protumačiti, tj. iz binarnog niza rekonstruirati tražene udaljenosti. Trebalo je, naravno, napisati oba programa.

Naivno je rješenje svaku udaljenost poslati kao binaran broj, što rezultira prevelikim ukupnim brojem bitova. Ključna ideja bila je iskoristiti činjenicu da, ako su X i X’ susjedi u grafu, udaljenost(X, Y) razlikuje se od udaljenosti(X’, Y) najviše za 1. Zato je za ovu drugu udaljenost, pod pretpostavkom da smo već poslali prvu, dovoljno poslati samo razliku (-1, 0 ili 1) što možemo dvama bitovima. Ili, još bolje, konstruiramo ternarni niz koji prije slanja pretvorimo u binarni. Detalje ostavljamo čitateljici za vježbu, a cijelo rješenje imate npr. ovdje (napisala ga je moja malenkost, doduše poslije natjecanja).

Tako se na IOI-u pojavila nova tema, koju smo u Hrvatskoj ponekad zvali komunikacijskom složenošću jer se radi o veličini poruka između dvaju programa. Riječ je još i o zadatcima Parrots iz 2011., Supper iz 2012. i Stations iz 2020., a i na CEOI-u 2016. pojavio se zadatak Trick.

Ima to veze i s kompresijskim algoritmima, npr. onima koji smanje veličinu datoteka kad ih zipate, ali za razliku od tih algoritama koji su prilično generički (ne tumače sadržaj datoteka), u ovim problemima traži se kompresija specifična za dani problem. Tako mi je palo na pamet sljedeće pitanje: kako zakodirati partiju šaha, u smislu poteza koji su odigrani? Naravno, pitanje je prilično beskorisno budući da tekstualni zapis šahovske partije nije uopće velik, vjerojatno ste ga i vidjeli (riječ je o Portable Game Notation – PGN), primjerice:

1. e4 e5 2. Nf3 Nc6 3. Bb5 a6 4. Ba4 Nf6 5. O-O Be7 6. Re1 b5 7. Bb3 d6 8. c3 O-O 9. h3 Nb8 10. d4 Nbd7 11. c4 c6 12. cxb5 axb5 13. Nc3 Bb7 14. Bg5 b4 15. Nb1 h6 16. Bh4 c5 17. dxe5 Nxe4 18. Bxe7 Qxe7 19. exd6 Qf6 20. Nbd2 Nxd6 21. Nc4 Nxc4 22. Bxc4 Nb6 23. Ne5 Rae8 24. Bxf7+ Rxf7 25. Nxf7 Rxe1+ 26. Qxe1 Kxf7 27. Qe3 Qg5 28. Qxg5 hxg5 29. b3 Ke6 30. a3 Kd6 31. axb4 cxb4 32. Ra5 Nd5 33. f3 Bc8 34. Kf2 Bf5 35. Ra7 g6 36. Ra6+ Kc5 37. Ke1 Nf4 38. g3 Nxh3 39. Kd2 Kb5 40. Rd6 Kc5 41. Ra6 Nf2 42. g4 Bd3 43. Re6 1/2-1/2

Ali čemu tražiti svrhu, ni većina drugih informatičkih zadataka nije u ovom smislu korisna. Najbolje stvari su beskorisne. Razmislimo onda kako bismo zakodirali ovakav niz poteza u što manju (binarnu ili tekstualnu) datoteku. Želite li se sami zabaviti razmišljajući o tome, slobodno ovdje prestanite čitati…

Na prvi pogled nije lako jako nadmašiti gornji PGN zapis, ali neke redukcije možemo smisliti relativno brzo. Primjerice: nema potrebe navoditi redni broj poteza; moguće je izostaviti i razmake; ne trebaju nam znakovi x (za jedenje) i + (za šah). Moguća su i sitnija poboljšanja: rezultat na kraju može se zapisati samo jednim znakom, a ponekad (npr. u slučaju mata ili pata) on nije ni potreban jer slijedi iz pozicije; rokadu je moguće prikazati jednim znakom; neka jedenja od strane pješaka (npr. hxg5) dovoljno je pisati kao običan potez (g5) ako ne može doći do zabune, tj. ako u tom trenutku ne postoje dva pješaka koji mogu jesti na g5. Tu ideju možemo proširiti i na druge figure pa pisati npr. e1 umjesto Ke1 ako u tom trenutku samo kralj može odigrati na e1. Nisu ta poboljšanja nimalo loša, ali… zasad smo još uvijek vrlo bliski PGN formatu; i dalje nam trebaju 2-3 znaka po potezu. Ako je jedan znak jedan bajt, riječ je o približno 20 bitova po prosječnom potezu. To je nekoliko puta manje od originalnog PGN zapisa, ali može i bolje!

Dobra je ideja odustati od tekstualnog zapisa, od znakova, jer 8 bitova za jedan znak nije dobar deal. Ono što zapravo zapisujemo polja su šahovske ploče, a njih je 64 = 26, što znači da je za zapis jednog polja dovoljno samo 6 bitova. Zapisujemo li potez kao par (početno polje, završno polje), dovoljno je 12 bitova po potezu – mnogo bolje od tekstualnog zapisa! Ipak, postoje i posebni potezi koje nije moguće tako zapisati: mala/velika rokada, završetak partije (kao predaja bijelog/crnog ili dogovoreni remi) ili izvlačenje nove figure gdje treba precizirati izvlači li se kraljica ili nešto drugo. Srećom, možemo se izvući tako da svaki od tih nekoliko posebnih poteza zapišemo kao neki potez koji je inače nemoguć. Recimo, mala rokada može biti zapisana kao da je riječ o potezu a1-b8, velika kao a1-c8, predaja bijelog kao a1-d8, itd. I dalje smo na 12 bitova po potezu!

Slijedi zamjedba da je umjesto početnog polja (6 bitova) bolje zakodirati figuru koja odigrava potez, jer budući da igrač ima samo 16 figura, svaka može biti određena 4-bitnim kodom. Posebne poteze i ovdje možemo zakodirati kao poteze koji su inače nemogući (npr. za bijelog pješak na a1, b1…, a za crnog pješak na a8, b8…). Već smo na 10 bitova po potezu!

Prethodni odlomci navode nas na pomisao da kompresija još uvijek nije optimalna jer postoji nemogući potezi. Ali ne samo potezi koji su uvijek nemogući, poput bijelog pješaka na prvi red ploče ili bjelopoljnog lovca na crno polje, nego i mnoštvo poteza koji su nemogući u danom trenutku partije. Pozicija na ploči, u bilo kojem trenutku, dopušta samo vrlo ograničen skup poteza i nema potrebe koristiti cijeli skup od 210 šahovskih poteza da bismo zapisali što je u tom trenutku odigrano. Drugim riječima, većina kodova uopće ne opisuje dozvoljene poteze i to je očit znak da smo još uvijek rastrošni. To je pogotovo jasno, recimo, na početku partije kada se mogu micati samo pješaci i skakači, ili u završnici kad većine figura više i nema na ploči. Ako je u nekom trenutku samo desetak dozvoljenih poteza, ne bi li nam četiri bita trebala biti dovoljna?

Kako ostvariti tu ideju? Evo kako. Za trenutačnu poziciju odredimo sve dopuštene poteze, sortiramo ih “abecedno” (ili bilo kojim drugim kriterijem), pronađemo onaj indeks u tom nizu na kojem se nalazi potez koji je zaista odigran, i zakodiramo taj indeks. Našao sam na webu podatak (dobiven empirijski) da je prosječan broj dopuštenih poteza u nekoj poziciji približno 31. To znači da bi prosječno 5 bitova trebalo biti dovoljno. Na prvi pogled može biti nejasno kako to iskoristiti jer broj dopuštenih poteza može, naravno, biti i veći – poznata je pozicija iz stvarne partije gdje je taj broj bio 79, a teoretski se on može popeti i do 218 pa nam može zatrebati i 8 bitova. Treba li nam onda neki “separator” koji će dijeliti broj s manje bitova od onog s više bitova? Ne, jer dekoder u svakom trenutku – ako prati poziciju – može znati koliko je dopuštenih poteza, a time i koliko idućih bitova treba pročitati da bi odredio indeks odigranog poteza u tom nizu. Na primjer, ako je 14 dopuštenih poteza, pročitat će četiri iduća bita da otkrije indeks odigranog (makar on bio i 0000).

Dakle, prosječno samo 5 bitova po potezu! Mana je ovog rješenja što i enkoder i dekoder moraju biti programi koji znaju igrati šah, ili barem znaju njegova pravila, jer moraju znati odrediti dopuštene poteze (te ih sortirati po istom kriteriju). Ali čini se da bolje rješenje ne postoji: uočite da svaki proizvoljno dug niz bitova (bio on i slučajan), osim pri samom kraju gdje mu može “nedostajati” bitova, opisuje neku legalnu partiju – što za prijašnja rješenja ni izdaleka ne vrijedi. Ne može bolje! Ili?

Imam i nedovršenu ideju za bolje rješenje. Dosjetka je u tome da, iako pozicija nudi 30ak mogućih poteza, nisu svi jednako vjerojatni: postoje dobri i loši potezi te, što je potez bolji, veća je vjerojatnost da je odigran. To vrijedi i za partije potpunih amatera: u svakoj poziciji postoji značajan broj zbilja besmislenih poteza koje nitko normalan neće odigrati. Kako to iskoristiti? Ovdje nam, nažalost, nije dovoljno da enkoder i dekoder znaju igrati šah. Za ovo rješenje oni bi morali dobro igrati šah, procjenjujući (na jednak način) koliko je koji potez dobar. Pa dobro, to nije neostvarivo, mogu koristiti isti šahovski engine. No što dalje? Umjesto da sortiramo dopuštene poteze po abecedi, sortirat ćemo ih po kvaliteti poteza. Tako će bolji potezi (koji se češće igraju) imati manji indeks pa će za njihov zapis trebati manje bitova. Tako, as a side effect, kvalitetu igrača možemo mjeriti duljinom zapisa njegovih poteza.

No ovdje se javlja problem koji sam natuknuo u jednom od prethodnih odlomaka. Ako postoje, recimo, 32 dopuštena poteza (5 bitova), a odigran je šesti potez po kvaliteti, želimo iskoristiti činjenicu da je indeks mali i zapisati ga koristeći 3 bita. Ali kako će dekoder znati da treba pročitati samo iduća 3 bita, a ne 5? Treba nam, možda, neki separator, ali i on mora biti binaran, i ne smije zauzeti previše bitova… Ako netko ima pametnu ideju kako ovo riješiti, neka napiše u komentar.

Poluosvrt na vrijeme kada je natjecanje bilo offline

Prije dvije godine napisao sam Poluosvrt na EJOI 2018. Ako je to bio poluosvrt, dakle pola osvrta, gdje je onda druga polovica? Napisat ću onda sada poluosvrt na EJOI 2017. u Bugarskoj gdje sam bio stručni voditelj. Iako je od tada prošlo više od tri godine, ali eto, slučajno sam naišao na ove fotografije i došlo mi je da se prisjetim kako je to bilo kad natjecanja nisu bila online. (Pola osvrta na EJOI 2018. i pola osvrta na EJOI 2017. daju jedan osvrt na… ne znam što.)

EJOI 2017. bila je prva europska juniorska olimpijada. Ondje sam na nekom bugarskom placu kupio stanovitu frulu s dvije cijevi, dvojanku:

Kupio sam je za dvadeset eura od nekog tipičnog “plac trgovca” koji nije znao engleski pa mi je na bugarskom objašnjavao da je to ozbiljan instrument, da voli Hrvatsku i da je bio u Splitu i na Korčuli. Kako god bilo, kupio bih taj egzotični instrument i da je bio dvostruko skuplji. To je bilo na nekom izletu; pokušavao sam odmah skužiti kako se frula svira i je li slična blok-flauti. Zapitkivao sam okolo ljude jesu li išli u glazbenu školu i mogu li čuti je li interval između dvaju tonova mala ili velika sekunda kad im odsviram. U busu sam uspio približno odsvirati melodiju iz uvoda pjesme Lipe cvatu (ne onu prvu nego onu drugu, normalniju). Nervirao sam ljude, netko me zamolio da prestanem.

EJOI 2017. bilo je jedino natjecanje na kojemu sam se ošišao. Zašto ne, pomislio sam; imao sam vremena i kosa mi je bila zrela za šišanje. Uspio sam se nekako sporazumjeti s frizerkom; ondje iz nekog razloga traže fotografiju kako da te ošišaju. Ošišao sam se vrlo kratko jer je to najbolja strategija kad ne znaš koliko je frizer sposoban. Potom sam u šetnji otkrio predivnu zgradu:

Kad sam je obišao da je bolje pogledam, još sam se više oduševio:

Poslije sam na mobitelu mjerio frekvencije tonova dvojanke. Lijeva cijev nema rupa i daje uvijek isti ton frekvencije oko 485 Hz. Desna cijev ima šest rupa naprijed i jednu iza, a daje tonove frekvencija redom oko 426, 485, 527, 570, 629, 685, 757, 813 Hz pri čemu su mjerenja vrlo neprecizna jer variraju i ovise o jačini daha. Dakle, lijeva cijev kao dron daje osnovni ton, od kojeg s desnom cijevi možemo otići “jedan niže” ili “do šest više”. Međutim, iz frekvencija se vidi da ti tonovi ne odgovaraju našim standardnim tonovima, a ni intervali nisu standardni – omjer frekvencija susjednih tonova te “ljestvice” kreće se otprilike između 1.08 i 1.10, što je točno između male i velike sekunde (1.06 i 1.12), s iznimkom prvog intervala (onog “jedan niže”) koji je oko 1.14. Nema nigdje ni oktave. Precizno sviranje standardnih melodija, dakle, nije moguće, ali zato su moguće drugačije melodije na koje nismo navikli. Druga logika!

Ovdje sam pisao više o stvarima, a manje o ljudima: o druženju, našim i stranim natjecateljima, voditeljima, organizatorima, djevojkama koje su nas vodile uokolo (tzv. gajdice) i slično. O njima neću ništa napisati, dovoljno je podsjetiti da su ljudi još zanimljiviji od frule i zgrada. (U genijalnom tekstu ABBA-ine pjesme The Day Before You Came, pjevačica u detalje opisuje trivijalne sitnice koje su se dogodile prije nego što je došao taj netko, i iako o toj osobi i tom događaju nema ni jedne riječi, o njemu je zapravo cijela pjesma.)

A samog natjecanja i rezultata više se i ne sjećam. Natjecanje je važno, i važne stvari motiviraju život, ali sačinjavaju ga one nevažne, offline sitnice sa strane.

Znanost i algoritmi, drugi dio

Prije nekoliko mjeseci u postu Znanost i algoritmi pisao sam o nekim znanstvenim radovima u kojima glavnu ulogu igraju algoritmi ne toliko različiti od onih na natjecanjima. U međuvremenu sam se sjetio još dvaju dobrih primjera u kojima glavnu ulogu igraju naši algoritmaši. Za početak spomenimo članak u kojem su naši bivši uspješni natjecatelji (Goran Žužić i Filip Pavetić) objavili efikasan algoritam računanja sličnosti stringova. A o drugom primjeru treba napisati nešto više, pa krenimo.

Na 1. kolu HONI-ja 2012. postavio sam zadatak Mars. U njemu je riječ o potpunom binarnom stablu u kojemu možemo proizvoljno zamijeniti lijevo i desno podstablo bilo kojeg vrha – ili, ekvivalentno, odabrati permutaciju listova u kojoj svako podstablo i dalje pokriva uzastopan podniz – tako da zbroj “odbojnosti” susjednih listova (koja je definirana za sve parove u ulaznim podatcima) bude što manji.

Zanimljivo je da sam poslije naišao na znanstvene radove koji rješavaju isti problem. Ovaj članak rješava isti problem za PQ-stablo i primjenjuje ga na poznati problem trgovačkog putnika (Travelling Salesman Problem ili TSP). U ovom članku problem se rješava za K-arna stabla (u binarnom stablu je K = 2) i primjenjuje u bioinformatici za sortiranje gena. Algoritmi i jednog i drugog članka svode se na O(n^3) za binarno stablo, što je i složenost mog rješenja u zadatku Mars.

Ali to nije najbolja moguća složenost! Kao što pokazuje ovaj članak Urlika Brandesa, problem za binarna stabla moguće je riješiti u O(n^2 \log_2 n). Zanimljivo je da je jedan natjecatelj na samom natjecanju pronašao takvo, brže rješenje (o kojem je, dakle, netko prethodno napisao znanstveni rad) – to je bio Luka Kalinovčić na COCI natjecanju. Nakon što sam proučio njegovo rješenje, opisao sam ga (uz vlastito) u službenim rješenjima, tada još ne znajući za cijelu ovu priču. Svaka čast Luki!

Spomenimo i da navedeni Brandesov članak navodi još neke primjene ovog problema kao što je sortiranje piksela u svrhu sažimanja slika, te je predloženi algoritam zbog memorijske složenosti od O(n) bolji od algoritma iz članka koji se izvorno bavi tim praktičnim problemom.