Projekt: BIOHCI Project: BIOHCI

O projektuAbout

Biometrijska autentikacija uobičajeno se oslanja na fizičke karakteristike korisnika poput otiska prsta ili prepoznavanja lica. Međutim, uzorci svakodnevne interakcije čovjeka i računala također nose jedinstvene odrednice ponašanja koje mogu poslužiti kao biometrijski identifikatori. Ovaj projekt istražuje mogućnost prepoznavanja korisnika na temelju njegova načina interakcije s digitalnim sučeljima – uključujući izvođenje standardnih gesti direktnim dodirom ili putem pokaznih naprava.

Cilj projekta BIOHCI je razviti i vrednovati modele za biometrijsku autentikaciju zasnovanu na obrascima interakcije korisnika s različitim digitalnim platformama, pri čemu se u fokus stavljaju sučelja mobilnih i web aplikacija. Projekt spaja tri ključne discipline: interakciju čovjeka i računala, umjetnu inteligenciju i računalnu sigurnost, a doprinosi razvoju inovativnih metoda autentikacije koje ne zahtijevaju dodatne uređaje i promjenu konteksta niti ometaju korisnički fokus.

U sklopu istraživanja planira se izrada ispitnih aplikacija te organizacija i provedba eksperimenata sa stvarnim korisnicima. Prikupljat će se svi relevantni podaci o interakciji putem dodirnih zaslona i pokaznih naprava (stilus, prst, miš), uz paralelno dohvaćanje informacija s dostupnih senzora. Prikupljeni podaci koristit će se za razvoj i vrednovanje modela dubokog učenja koji prepoznaju korisnika na temelju specifičnog individualnog načina interakcije. Posebna pažnja posvetit će se mogućnostima integracije ovakvih modela u scenarije višefaktorske autentikacije, s ciljem povećanja sigurnosti pristupa digitalnim uslugama bez kompromitiranja korisničkog iskustva.

Znanstveni doprinosi projekta BIOHCI odnose se na detaljnu analizu biometrijskog potencijala interakcije čovjeka i računala (za širi spektar ciljanih platformi, uređaja te modaliteta interakcije) te razvoj izvornih pouzdanih modela za prepoznavanje korisnika u navedenom kontekstu. Biometric authentication is usually based on the physical characteristics of the user, such as fingerprints or facial recognition. However, everyday interaction patterns between humans and computers also contain unique behavioral characteristics that can serve as biometric identifiers. This project explores the possibility of recognizing users based on their interaction with digital interfaces, including the execution of standard gestures through direct touch or pointing devices.

The aim of the BIOHCI project is to develop and evaluate biometric authentication models based on user interaction patterns on different digital platforms, with a focus on mobile and web application interfaces. The project integrates three key disciplines: human-computer interaction, artificial intelligence, and cybersecurity. It contributes to the development of innovative authentication methods that do not require additional devices or context switching and that do not disrupt the user's focus.

Research includes developing experimental applications and conducting user studies. Relevant interaction data is collected via touchscreens and pointing devices (stylus, finger, mouse) as well as via available sensors. These collected datasets are used to train and evaluate deep learning models that are able to recognize users based on their individual interaction styles. Particular attention will be paid to the possibility of integrating such models into multi-factor authentication scenarios to improve digital security without compromising the user experience.

The scientific contributions of the BIOHCI project include a comprehensive analysis of the biometric potential of human-computer interaction (across a wider range of platforms, devices, and interaction modalities) and the development of novel and reliable models for user recognition in this context.

Projektni timProject Team

Sandi LjubićSandi Ljubic

Prof. dr. sc. Sandi Ljubić, voditelj projekta, ima bogato iskustvo u području HCI. U svom znanstvenostručnom radu, većinom se fokusira na empirijski pristup području interakcije čovjeka i računala, s posebnim naglaskom na domenu mobilnih aplikacija, metode unosa teksta, korištenje senzora za obogaćivanje interakcije, prediktivno modeliranje i vrednovanje interaktivnih sustava te inženjerstvo upotrebljivosti. U ulozi voditelja projekta, organizira, nadgleda i sudjeluje u svim fazama i aktivnostima projekta. Prof. Sandi Ljubic, PhD, project leader, has extensive experience in the field of HCI. In his scientific and professional work, he primarily focuses on an empirical approach to human-computer interaction, with particular emphasis on mobile applications, text input methods, the use of sensors for interaction enrichment, predictive modeling, evaluation of interactive systems, and usability engineering. As project leader, he organizes, supervises, and participates in all phases and activities of the project.

Alen SalkanovićAlen Salkanovic

Dr. sc. Alen Salkanović je poslijedoktorand koji istražuje područje interakcije čovjeka i računala, s posebnim osvrtom na mobilnu domenu i ulogu osjetila u augmentaciji interakcije s mobilnim uređajima. Njegov doktorski rad bavi se biometrijskim odrednicama potpisa i rukopisa koji se izvode na zaslonima osjetljivima na dodir, pri čemu podatke prikuplja izvornim apparatusom zasnovanim na fuziji senzora. S obzirom na stečeno iskustvo tijekom rada na doktoratu, radi na implementaciji eksperimentalnog postava, organizaciji i provedbi eksperimenata te razvoju prototipnog sustava autentikacije, a involviran je i u suradni razvoj i vrednovanje modela za prepoznavanje korisnika. Alen Salkanovic, PhD, is a postdoctoral fellow researching HCI, with a special focus on the mobile domain and the role of sensors in augmenting interaction with mobile devices. His doctoral thesis addresses the biometric determinants of signatures and handwriting performed on touch-sensitive screens, collecting data with an original apparatus based on sensor fusion. Building on experience gained during his doctoral work, he is implementing the experimental setup, organizing and conducting experiments, developing a prototype authentication system, and participating in the collaborative development and evaluation of user recognition models.

Luka BatistićLuka Batistic

Dr. sc. Luka Batistić doktorirao je na istraživanju primjene strojnog učenja i umjetne inteligencije u području interakcije čovjeka i računala, konkretno na temi sučelja mozak-računalo. S obzirom na svoje iskustvo u provođenju empirijskih istraživanja u području HCI, analizi vremenskih signala te primjeni metoda AI, involviran je i u pripremi eksperimenata za prikupljanje podataka i u fazi suradnog razvoja i vrednovanja modela dubokog učenja za prepoznavanje korisnika. Luka Batistic, PhD, earned his doctorate for research on applying machine learning and artificial intelligence in human-computer interaction, with a specific focus on brain-computer interfaces. With experience in empirical research in HCI, time signal analysis, and AI methods, he prepares experiments for data collection and collaborates on developing and evaluating deep learning models for user recognition.

Diego SušanjDiego Susanj

Izv. prof. dr. sc. Diego Sušanj radi na Tehničkom fakultetu Sveučilišta Jurja Dobrile u Puli, a njegovi istraživački interesi uključuju biometrijske sustave, strojno učenje, analizu podataka, distribuirane algoritme i enkripciju. Stoga, involviran je u aktivnostima koje se odnose na analizu podatkovnih skupova, predobradu podataka, te razvoj i vrednovanje modela dubokog učenja. Assoc. Prof. Diego Susanj, PhD, works at the Faculty of Engineering at Juraj Dobrila University in Pula. His research interests include biometric systems, machine learning, data analysis, distributed algorithms, and encryption. He is involved in activities related to dataset analysis, data preprocessing, and the development and evaluation of deep learning models.

Žiga EmeršičZiga Emersic

Doc. dr. sc. Žiga Emeršič, s Fakulteta za računarstvo i informatiku Sveučilišta u Ljubljani, renomirani je stručnjak u području biometrije s velikim iskustvom korištenja tehnika strojnog / dubokog učenja u tom području. S obzirom na svoju ekspertizu, posebno je aktivan u fazi predlaganja, testiranja i vrednovanja različitih arhitektura neuronskih mreža i ostalih metoda u postupku razvoja modela za prepoznavanje korisnika. Asst. Prof. Ziga Emersic, PhD, from the Faculty of Computer and Information Science at the University of Ljubljana, is a renowned expert in biometrics with extensive experience in applying machine and deep learning techniques in this field. Given his expertise, he is particularly active in proposing, testing, and evaluating various neural network architectures and other methods during the development of models for user recognition.

AktivnostiActivities

Ciljevi projektaProject Goals

• 📊 Generirati izvorne podatkovne skupove provođenjem kontroliranih eksperimenata za dohvaćanje biometrijskih odrednica interakcije čovjeka i računala Generate original datasets through controlled experiments to capture biometric determinants of human-computer interaction
• 🤖 Razviti i vrednovati modele dubokog učenja za prepoznavanje korisnika temeljem uzoraka interakcije na različitim uređajima Develop and evaluate deep learning models to recognize users based on interaction patterns across different devices
• 🔐 Integrirati i testirati razvijene modele u prototipnom sustavu višefaktorske autentikacije Integrate and test developed models in a prototype multi-factor authentication system
• 📢 Diseminacija rezultata istraživanja (znanstveni časopisi i skupovi) te formiranje novih znanstveno-istraživačkih inicijativa Dissemination of research results (journals and conferences) and formation of new research initiatives

PublikacijePublications

• TBA

KontaktContact