O projektuAbout

U kontekstu autentikacije korisnika, unatoč značajnom tehnološkom napretku, vlastoručni potpis se još uvijek često koristi za identifikaciju pojedinaca. Postoje dvije kategorije prepoznavanja potpisa i rukopisa: statička (offline) i dinamička (online). Dok prva uključuje prepoznavanje rukom pisanoga sadržaja dobivenog iz slike, druga najčešće analizira rukopis izveden interakcijom na uređaju s dodirnim zaslonom. Za razliku od statičkog pristupa, koji se oslanja isključivo na slikovni prikaz potpisa, dinamička metoda uzima u obzir dodatne podatke kao što su brzina pisanja, položaj olovke, redoslijed poteza i razina pritiska na podlogu.

Jedan od ciljeva ovog projekta je razviti eksperimentalni postav za prikupljanje rukom pisanih uzoraka. Biometrijski podaci prikupljaju se pomoću uređaja s dodirnim zaslonom s različitim integriranim i eksternim osjetilima. Predloženo rješenje zasnovano je na konceptu fuzije osjetila, budući da se uz osnovni senzor dodira dodatno koriste magnetometar, akcelerometar, žiroskop, kamera i piezoelektrični kontaktni mikrofoni. Takav sustav može prikupljati sveobuhvatne podatke koji se odnose na detaljnu anatomiju dodirnih gesti, pritisak pokazne naprave, trajektoriju položaja olovke, promjene u ambijentalnom magnetskom polju i slično.

Prikupljanje podataka u opisanom postavu provest će se kontroliranim eksperimentom sa stvarnim korisnicima, dohvaćanjem rukom pisanih izraza, riječi, pojedinačnih slova i uzoraka potpisa kako bi se obogatio ciljani skup podataka.

Rezultantni podatkovni skup predstavlja okosnicu za daljnju analizu. U ovoj fazi istraživanja predviđa se razvoj programskog alata za vizualizaciju različitih aspekata potpisa i rukopisa, kao i korištenje tehnika strojnog (dubokog) učenja za identifikaciju korisnika na temelju gore navedenih biometrijskih značajki. U tom kontekstu, kao poseban izazov ističe se pronalazak takvog podskupa osjetila koji omogućava i jednostavno korištenje i učinkovitu/točnu identifikaciju korisnika. In the context of user authentication, despite significant technological advances, handwritten signature analysis is still widely used to identify individuals. There are two distinct categories of handwriting recognition: offline and online. While the former involves identifying and interpreting handwritten content obtained from an image, the latter involves recognizing handwriting derived from interaction with a touchscreen device. Unlike the offline strategy, which relies solely on an image-based representation of the signature, the online method considers additional data such as velocity, acceleration, pen position, stroke sequence, and pressure over time.

One of the goals of this project is to develop an experimental apparatus for capturing handwritten patterns. The biometric data is collected using a touchscreen device with various integrated and external sensors. The proposed apparatus is based on the sensor fusion concept, as a magnetometer, accelerometer, gyroscope, camera, and piezoelectric contact microphones are used in addition to the actual touch sensor. Such a system can collect comprehensive data related to the detailed anatomy of touch gestures, pointing device pressure, pen position trajectory, changes in the surrounding magnetic field, and the like.

Data acquisition with the described apparatus will be conducted in a controlled experiment with real users, capturing handwritten phrases, words, individual letters, and signature samples to expand the target dataset.

The resulting dataset will eventually form the backbone for further analysis. This phase of the research includes the development of a software tool to visualize various aspects of signatures and handwriting, as well as using machine (deep) learning techniques for user identification based on the aforementioned biometric features. In this context, finding such a subset of sensors that enables both ease of use and effective/accurate user identification is a particular challenge.

Projektni timProject Team

Sandi LjubićSandi Ljubic

Prof. dr. sc. Sandi Ljubić, voditelj projekta, ima bogato iskustvo u području HCI. U svom znanstvenostručnom radu, većinom se fokusira na empirijski pristup području interakcije čovjeka i računala, s posebnim naglaskom na domenu mobilnih aplikacija, metode unosa teksta, korištenje senzora za obogaćivanje interakcije, prediktivno modeliranje i vrednovanje interaktivnih sustava te inženjerstvo upotrebljivosti. U ulozi voditelja projekta, organizira, nadgleda i sudjeluje u svim fazama i aktivnostima projekta. Prof. Sandi Ljubic, PhD, project leader, has extensive experience in the field of HCI. In his scientific and professional work, he primarily focuses on an empirical approach to human-computer interaction, with particular emphasis on mobile applications, text input methods, the use of sensors for interaction enrichment, predictive modeling, evaluation of interactive systems, and usability engineering. As project leader, he organizes, supervises, and participates in all phases and activities of the project.

Alen SalkanovićAlen Salkanovic

Alen Salkanović je doktorand koji istražuje područje interakcije čovjeka i računala, s posebnim osvrtom na mobilnu domenu i ulogu osjetila u augmentaciji interakcije s mobilnim uređajima. Njegov doktorski rad u skladu je s ciljevima projekta, a bavi se biometrijskim odrednicama potpisa i rukopisa koji se izvode na zaslonima osjetljivima na dodir. Radi na implementaciji eksperimentalnog postava s fuzijom senzora, organizaciji i provedbi eksperimenata te razvoju i vrednovanju DL modela za prepoznavanje korisnika. Alen Salkanovic is a PhD student researching HCI, with a special focus on the mobile domain and the role of sensors in augmenting interaction with mobile devices. His doctoral thesis aligns with the project's goals and addresses biometric determinants of signatures and handwriting on touchscreens. He is implementing an experimental setup with sensor fusion, organizing and conducting experiments, and developing and validating deep learning models for user recognition.

Luka BatistićLuka Batistic

Dr. sc. Luka Batistić doktorirao je na istraživanju primjene strojnog učenja i umjetne inteligencije u području interakcije čovjeka i računala, konkretno na temi sučelja mozak-računalo. S obzirom na svoje iskustvo u provođenju empirijskih istraživanja u području HCI, analizi vremenskih signala te primjeni metoda AI, involviran je i u pripremi eksperimenata za prikupljanje podataka i u fazi suradnog razvoja i vrednovanja modela dubokog učenja za prepoznavanje korisnika. Luka Batistic, PhD, earned his doctorate for research on applying machine learning and artificial intelligence in human-computer interaction, with a specific focus on brain-computer interfaces. With experience in empirical research in HCI, time signal analysis, and AI methods, he prepares experiments for data collection and collaborates on developing and evaluating deep learning models for user recognition.

Ivan ŠtajduharIvan Štajduhar

Prof. dr. sc. Ivan Štajduhar vodi Laboratorij za umjetnu inteligenciju i ima bogato iskustvu u teoretskom i prkatičnom radu s modelima stronog i dubokog učenja. Njegovo istraživačko područje primarno obuhvaća primjenu AI metoda u biomedicinskim podacima / slikama. On savjetovatuje projektni tim u odabiru arhitektura neuronskih mreža, metodama validacije te interpretaciji rezultata. Njegova uloga posebno je važna u potvrđivanju znanstvene rigoroznosti i pouzdanosti rezultata. Prof. Ivan Štajduhar, PhD, leads the AI Lab and has extensive experience in both theoretical and practical work with machine and deep learning models. His research primarily focuses on applying AI methods to biomedical data and images. He advises the project team on selecting neural network architectures, validation methods, and interpreting results. His role is especially important in ensuring the scientific rigor and reliability of the results.

Ana PošćićAna Pošćić

Prof. dr. sc. Ana Pošćić je profesorica i predstojnica Katedre za europsko javno pravo na Sveučilištu u Rijeci. Njezin rad povezuje pravo EU tržišnog natjecanja s novim područjima poput umjetne inteligencije i održivosti, adresirajući regulatorne izazove na digitalnim tržištima. Sudjeluje kao savjetnica za pravne i etičke aspekte istraživanja, osobito u dijelu koji se odnosi na zaštitu biometrijskih podataka te pristanke sudionika za sudjelovanje u eksperimentu. Prof. Ana Pošćić, PhD, is a Professor and Head of the Department of European Public Law at the University of Rijeka. Her work links EU Competition Law with emerging fields such as AI and sustainability, addressing regulatory challenges in digital markets. She advises on legal and ethical aspects of research, especially regarding the protection of biometric data and obtaining participant consent for experiments.

Žiga EmeršičZiga Emersic

Doc. dr. sc. Žiga Emeršič, s Fakulteta za računarstvo i informatiku Sveučilišta u Ljubljani, renomirani je stručnjak u području biometrije s velikim iskustvom korištenja tehnika strojnog / dubokog učenja u tom području. S obzirom na svoju ekspertizu, posebno je aktivan u fazi predlaganja, testiranja i vrednovanja različitih arhitektura neuronskih mreža i ostalih metoda u postupku razvoja modela za prepoznavanje korisnika zasnovano na potpisu i rukopisu. Asst. Prof. Ziga Emersic, PhD, from the Faculty of Computer and Information Science at the University of Ljubljana, is a renowned expert in biometrics with extensive experience in applying machine and deep learning techniques in this field. Given his expertise, he is particularly active in proposing, testing, and evaluating various neural network architectures and other methods during the development of models for user recognition based on signatures and handwriting.

AktivnostiActivities

Ciljevi projektaProject Goals

• 🧩 Osmisliti i razviti apparatus za prikupljanje uzoraka pisanja na dodirnom zaslonu, uz dohvaćanje biometrijskih značajki putem fuzije osjetila Design and develop an apparatus that collects writing samples on a touchscreen and simultaneously retrieves biometric features using sensor fusion
• ✍️ Provesti kontrolirani eksperiment s 50+ korisnika i generirati odgovarajući podatkovni skup Conduct a controlled experiment with more than 50 users and generate the corresponding dataset
• 🤖 Razviti sustav za vizualizaciju biometrijskih značajki, kao i modele dubokog učenja za identifikaciju korisnika na temelju istih Develop a system to visualize biometric features and deep learning models for user identification using these features
• 📢 Diseminacija rezultata istraživanja (znanstveni časopisi i skupovi) te formiranje novih znanstveno-istraživačkih inicijativa Dissemination of research results (journals and conferences) and formation of new research initiatives

PublikacijePublications

• A. Salkanovic, D. Bacnar, D. Susanj, S. Ljubic: A Sensor-Fusion-Based Experimental Apparatus for Collecting Touchscreen Handwriting Biometric Features. Applied Sciences 2024, 14(23), 11234, pp. 1–30. [doi]
• A. Salkanovic, D. Susanj, L. Batistic, S. Ljubic: Beyond Signatures: Leveraging Sensor Fusion for Contextual Handwriting Recognition. Sensors 2025, 25(7), 2290, pp. 1–29. [doi]
• A. Salkanovic: A Deep Learning Model for Touchscreen Handwriting Recognition Based on a Sensor Fusion Approach. Doctoral Dissertation, University of Rijeka, Faculty of Engineering, 2025. [url]
• L. Batistic, S. Ljubic, K. Griparic, D. Susanj: Comparison of Image-Based Deep Learning Classification Models for Motor Imagery EEG Signals. In: Proc. 2025 MIPRO 48th ICT and Electronics Convention. MIPRO, Rijeka/Opatija, Croatia, 2025, pp. 174–179. [doi]
• L. Skrlj, A. Andrijasevic, M. Culina, S. Ljubic: TINRELIEF: Mobile Application for Tinnitus Sound Therapy. In: Proc. 4th International Conference on Innovations in Computing Research (ICR'25), Lecture Notes in Networks and Systems 1487 (2025), pp. 408–419. [doi]
• L. Krbavcic: Person recognition based on classification of a written input data. Bachelor Thesis, University of Rijeka, Faculty of Engineering, 2025. [url]
• M. Frankic: User Recognition Based on Touchscreen Drawing Patterns. Master Thesis, University of Rijeka, Faculty of Engineering, 2025. [url]

KontaktContact