X-Labs · Metodologija
Dvadeset pitanja za koja očekujete da će pogriješiti
Prvi krug ocjenjivanja pravnog enginea i pravila po kojima će biti ocijenjen. Ne pitamo da li se ljudima sviđa. Tražimo od ljudi koji profesionalno čitaju propise da pošalju pitanja za koja očekuju da će pasti, a mi ćemo objaviti koliko ih je palo i na koji od pet načina.
On this page
- Napisao
- Aldin Smajkan
- Vrsta
- Metodologija
- Objavljeno
- 15 September 2026
- Zadnja izmjena
- 16 September 2026
- Verzija
- 2
- Projekat
- Vremensko stanje propisa u Bosni i Hercegovini
Na šta ovaj tekst odgovara: kako će se tačnost enginea testirati, ko to radi i po kojim pravilima ocjenjivanja — zapisanim prije nego je išta ikome poslano. Ako prvo hoćete vidjeti šta se testira, to je na Pitajte svojim riječima i radnom stolu.
Sada postoji nešto što se može isprobati, a ne samo pročitati. Ova stranica je poziv da to pokušate slomiti, i pravila po kojima će rezultat biti ocijenjen, napisana prije nego što je iko išta poslao.
Molba je jedna rečenica: nemojte nam reći da li vam se sviđa. Pošaljite dvadeset pitanja za koja očekujete da će pogriješiti.
Zašto baš to
Većina onoga što novi sistem nauči od prvih korisnika je bezvrijedna, jer većina prvih korisnika odgovori na pitanje koje im je postavljeno, a postavljeno im je "šta mislite". Ljudi su pristojni, a sistem kojem je rečeno da je obećavajuć nije naučio ništa.
Koristan odgovor je suprotan. Ko profesionalno čita propise već zna gdje mašinsko čitanje zakona skreće, jer je gledao ljude kako to rade pogrešno. Zna koja odredba izgleda kao da rješava pitanje a ne rješava ga. Zna koji se odgovor potpuno mijenja jednu entitetsku granicu dalje. Lista takvih slučajeva vrijedi više od stotinu ljudi koji kažu da je sučelje uredno.
To je ujedno najjeftiniji način da ovaj projekat pošteno umre. Ako dvadeset pitanja od tri čitaoca proizvede dvadeset samouvjerenih pogrešnih odgovora, to je nalaz i bit će objavljen kao nalaz.
Šta biste gledali
Radni sto je forma. Otvorena je, ne traži nalog, i namjerno nije pretraživač. Stranica je na engleskom; tekst koji vi unosite je vaš i na vašem jeziku.
Unesete odredbu: njen tekst, šta po vama ona postavlja, i pod kojim uslovom. Onda joj postavite pitanje. Engine mehanički primijeni vaše čitanje i ispiše šta iz njega slijedi, uključujući i ono što ne slijedi. Dolazi popunjen radnim primjerom iz pregleda izvora, pa se ništa ne mora kucati da bi se vidjelo kako radi.
Tri stvari vrijedi znati prije nego što ga ocijenite.
Ne drži nijedan propis. Iza njega nema baze zakona, ništa se ne dohvata i ništa što unesete se ne pamti. Tekst je vaš i ostaje vaš. To je odluka o dizajnu, a ne granica onoga što je dozvoljeno: službeni tekstovi nemaju autorskopravnu zaštitu, ali *zbirka* takvih tekstova je zaštićena, pa se korpus ovdje gradi tako što ljudi unose odredbe, a ne preuzimanjem nečijih zbirki.
Ne čita tekst. Ne raščlanjuje odredbu i ne zaključuje šta ona znači. Vi dajete čitanje; engine daje posljedicu, i posljedica je ono što se ocjenjuje. Ako mislite da bi i samo čitanje trebalo biti automatsko, recite to - to je nalaz o dizajnu, i veći od bilo kojeg pojedinačnog pogrešnog odgovora.
Ne može smjestiti tekst u vrijeme. Svaki odgovor koji ispiše završava sa AS OF / Not established. Nijedan pregledani izvor ne objavljuje dva datuma koja bosanskohercegovački akt mora navesti u obliku koji mašina može čitati, pa engine odbija da se pretvara. To je najveći otvoreni problem projekta, već je objavljen kao takav, i to nam ne morate slati.
Šta se broji kao greška
Pet klasa. Razlika je važna, jer nisu jednako loše, a dvije bi projekat zaustavile umjesto smanjile.
- Granica koju tekst ne podržava. Engine navede donju granicu, gornju granicu ili obavezu koju odredbe, onako kako ste ih vi deklarisali, ne postavljaju. Ova mora biti nula. To je greška zbog koje cijeli dizajn i postoji, i jedan potvrđen slučaj zaustavlja krug dok se ne razumije.
- Neimenovana činjenica koja nedostaje. Odgovor zavisi od nečega što niko nije dao - godine, staž, djelatnost, koji poslodavac - a izlaz to ne navodi kao nedostajuće. Imenovati ono što nedostaje ovdje jeste odgovor; ne imenovati znači predstaviti djelimično čitanje kao potpuno.
- Neimenovano upućivanje. Tekst prepušta odluku kolektivnom ugovoru, pravilniku, ugovoru ili podzakonskom aktu, a izlaz to ne kaže. To je klasa od koje je sagrađen primjer sa godišnjim odmorom, pa je najvjerovatnije pretjerano prilagođena njemu.
- Odgovorena šutnja. Korpus o toj tački ne kaže ništa, a engine ipak proizvede odgovor umjesto da kaže da šuti.
- Zanemarena nadležnost. Pitanje ne kaže gdje, ili kaže jedno mjesto, a engine odgovori kao da akt važi svuda.
Sve što ne stane u tih pet i dalje vrijedi poslati. Šesta klasa koje se nismo sjetili bolji je rezultat od punog pogotka u prvih pet.
Šta se ne mjeri
Ne sučelje. Ne brzina. Ne koliko propisa pokriva, jer ne pokriva nijedan. Ne da li je formulacija odgovora prijatna.
I ne da li se engine slaže sa vašim čitanjem odredbe. On o tome nema mišljenje i ne treba da ga ima. Test je da li izvlači tačne posljedice iz nekog čitanja, i da li je iskren o posljedicama koje ne može izvući.
Šta se dešava sa onim što pošaljete
Ništa što se ukuca u radni sto ne dolazi do nas. Ništa se ne pamti, ništa se ne loguje i ništa se nigdje ne šalje - u buildu postoji test koji pada ako se takav kod ikad doda. Mi vidimo samo ono što vi odlučite da nam napišete.
Od toga objavljujemo samo sama pitanja i šta je engine s njima uradio, i to samo u obliku koji ste prvo vidjeli. Ništa prepoznatljivo kao stvaran predmet stvarne osobe ne objavljuje se uopšte, ni u kakvom obliku. Ako je pitanje nastalo iz takvog predmeta, prepravite ga u hipotetički prije slanja - a ako to promijeni odgovor, i to nam vrijedi reći.
Potpis birate vi: imenom, samo institucijom, ili anonimno. Podrazumijevano je anonimno, i za promjenu to morate izričito reći.
Šta dobijate nazad
Vaša pitanja pokrenuta, sa izlazom, i klasifikaciju svake greške prema pet klasa iznad. Zatim jedan objavljen izvještaj: koliko je pitanja poslano, koliko ih je dalo pogrešan odgovor, i u koju klasu je svako palo.
Taj izvještaj se objavljuje kako god brojevi ispadnu. Metod koji objavljuje samo kad pobijedi nije metod, a radna pravila ovog sajta to detaljnije kažu.
Veličina ovog kruga
Tri do pet čitalaca. Otprilike dvadeset pitanja po osobi. Jedna nadležnost i jedna uska oblast prava po učesniku, koju bira učesnik - krug koji se rasipa po svemu ne mjeri ništa.
Završava kada su pitanja odgovorena i izvještaj objavljen. Niko se ne traži za trajnu obavezu i nema se šta potpisati.
Šta se ne tvrdi
Ovo nije pravni savjet, nije pravna baza i nije proizvod. Niko ovaj rad nije recenzirao, nijedna institucija ne stoji iza njega, i niko ga nije podržao. Ništa na ovoj stranici ne treba čitati drugačije, a ako se to ikad promijeni, promijenit će se i rečenica koju upravo čitate.
Kako učestvovati
Pišite na adresu iz kontakt linije u podnožju ove stranice, sa *reading bench* u naslovu. Recite koju biste oblast prava koristili, i pošaljite pitanja kada budu spremna - dovoljno je i jedno za početak.
Ispravke
Ovaj tekst je mijenjan nakon objave. Zadržava adresu i identitet; ispod stoji šta je promijenjeno i kada.
- 16 September 2026Dodana orijentaciona linija na vrhu koja imenuje pitanje na koje ovaj tekst odgovara, i upućena je na kutiju za pitanje na /labs/ask, koja nije postojala kad je ovo pisano. Nijedna tvrdnja, izvor, datum ni obaveza nisu promijenjeni, dodani ni uklonjeni.
Još sa ovog projekta
-
Šta je neki propis govorio na određeni datum, u Bosni i Hercegovini
Prijedlog, i pregled službenih izvora koji govori protiv većeg dijela tog prijedloga. Državna pravila za izradu propisa traže dva odvojena datuma na svakom aktu; izvan Brčkog prečišćeni važeći tekst nije službeni akt; a praktično pitanje koje ljudi zaista postavljaju ne odgovara se brojem, nego imenovanjem dokumenata i činjenica koje nedostaju.
-
Prva radna verzija pravnog enginea
X-Protocols već odbija da "to ne držimo" pretvori u "ne". Napravili smo odvojen engine koji isto odbijanje primjenjuje na bosanskohercegovačke propise i pitali ga koliko dana godišnjeg odmora radnik ima. Odgovara donjom granicom koju zakon postavlja, trima dokumentima koji odlučuju ostatak, i činjenicama koje niko nije dao.