Aljaž Ambrožič, Jan Bavdek in Urban Pleša državni prvaki Tekmovanja o razvoju novih analitskih metod v medicini
Model seveda ni čarovnija, če mu poveš nesmisel, ti bo vrnil še večji nesmisel.
Letos smo se Aljaž Ambrožič, Jan Bavdek in Urban Pleša iz 3. a razreda udeležili tekmovanja RIS. Medicinski fiziki so leni, zato vsako leto najtežji problem spremenijo v tekmovanje, da ga rešijo študenti in dijaki namesto njih.
Letošnja naloga tekmovanja je bila razvoj modela, ki je sposoben avtomatizirano izluščiti ključne informacije o diagnozi malignega melanoma kože iz patohistoloških izvidov. Kot model si lahko predstavljamo ChatGPT, le da ga lahko brezplačno prenesemo na svoj računalnik in uporabljamo, kot želimo (z omejitvijo, kako dober računalnik imamo). Nam je bil pri tem na razpolago slovenski superračunalnik Vega za učenje in testiranje modelov.
V prvem krogu smo morali iz izvida izluščiti 10 spremenljivk, naloge pa smo se lotili takole:
- Namesto da podamo modelu izvid in nam izpiše vse spremenljivke, smo se odločili za pristop, ki bo modelu manj zahteven. Damo mu izvid in od njega zahtevamo samo 1 spremenljivko naenkrat. Torej mu isti izvid podamo 10-krat, da iz njega dobimo informacije, ki si jih želimo.
- Najpomembnejša stvar je model, ki ga uporabljamo. Dober model:
- razume slovensko,
- je dovolj velik, da ni več neumen,
- je dovolj majhen, da ni prepočasen in prezahteven za strojno opremo, ki nam je na voljo.
Po množičnem testiranju in zapolnjevanju celega terabajta na superračunalniku so nam najbolje ustrezali modeli Qwen, ki jih je naredila Alibaba (Kitajci). Zelo smo bili presenečeni nad sposobnostjo tega skromnega Qwena in obenem nesposobnostjo razvpitega Deepseeka, ki je njegov sorojak (tudi Kitajec).
- Model seveda ni čarovnija, če mu poveš nesmisel, ti bo vrnil še večji nesmisel. Bolj kot modele smo menjavali prompte oz. navodila, kaj in kako naj nam odgovori. Tako smo odstotek za odstotkom prilezli do trenutnega rezultata. Z dovolj časa bi verjetno lahko prilezli še nekaj odstotkov višje.
- UGIBANJE! Ne, recimo temu raje statistika ... Naš model je v 1. krogu v končnem stanju dosegel rezultat 63 %. Če pregledamo učne podatke in iz njih razberemo najpogostejšo rešitev ter nato namesto modela podamo samo najpogostejšo rešitev, dosežemo rezultat 62 %. Torej smo se slaba dva tedna trudili za 1 %? Na srečo ne, ali se splača ugibati ali ne, je odvisno od spremenljivke do spremenljivke, z združitvijo modela in ugibanja smo dosegli rezultat 76 %.
V 1. krogu smo na koncu dosegli 74 % in 4. mesto od devetih ekip, ki so oddale rešitev. Prvih šest ekip se je uvrstilo v 2. krog, kjer je bil cilj enak, le da je bilo sedaj 23 spremenljivk namesto samo 10. Večina dela je bila narejena že v 1. krogu, tako da smo model pustili enak, smo pa spisali veliko boljše prompte oz. navodila. To nas je popeljalo na 86 %, kar je bilo dovolj za 1. mesto! Skupaj s 1. mestom pa prideta še priznanje zlati RIS in denarna nagrada.
