Digitalna era logopedije: automatizacija mjera sintaktičke složenosti u aplikaciji MultiDis

master's thesis

• Title (english): The digital era of speech-language pathology: automatization of syntactic complexity measures in the application MultiDis
• Author: Anđela Elinor Kožul
• Mentor: Gordana Hržica (mentor)
• Committee member: Gordana Hržica (predsjednik povjerenstva)
• Committee member: Jasmina Ivšac Pavliša (član povjerenstva)
• Committee member: Klara Popčević (član povjerenstva)
• Granter: University of Zagreb; Faculty of Education and Rehabilitation Sciences; Zagreb
• Defense date and country: 2024-06-18, Croatia
• Scientific / art field, discipline and subdiscipline: SOCIAL SCIENCES; Speech Therapy

Abstract

Digitalizacija u logopediji predstavlja iduću stepenicu u modernizaciji i unapređenju pružanja logopedskih usluga. Područje jezične procjene zasad ne ispunjava svoj potencijal u tom vidu. No, metoda analize jezičnog uzorka otvara tu priliku. Ova metoda, uz standardizirane jezične testove, sve se više ističe kao važan dio sveobuhvatne jezične procjene. Upravo za ovu metodu razvijeni su računalni programi koji omogućuju bržu i pouzdanu provedbu. Međutim, oni su složeni i nisu prilagođeni svim jezicima (većinom su razvijeni za engleski jezik). Posljednjih godina nastaje nova generacija programa temeljena na sofisticiranim jezičnim tehnologijama. Mrežna aplikacija MultiDis je primjer takvog programa koja za cilj ima omogućiti pouzdanu i preciznu analizu jezičnog uzorka na razini mikrostrukture za hrvatski jezik. Ona je još u razvoju te zahtijeva treniranje i provjeru.
Cilj je ovog rada stvoriti temelje za podučavanje modela i istražiti razinu podudarnosti dviju metoda izračuna mjere prosječne duljine komunikacijske jedinice, računalnog računanja unutar aplikacije MultiDis i ručnog izračuna. Drugi je cilj rada opisati dobivene nepodudarnosti te donijeti zaključke o mogućim razlozima istih kako bi se pospješilo daljnje treniranje modela te tako omogućilo precizniji i pouzdaniji izračun mjera.
Istraživanje je provedeno na 30 transkripata koji su preuzeti iz baze aplikacije MultiDis. Odabrani transkripti prikupljeni su na uzorku od 20 djece, izvornih govornika hrvatskog jezika (devet i deset godina). Transkripti su označeni u alatu Doccano. Označeni transkripti podignuti su u aplikaciju. Dobiveni rezultati uneseni su i uspoređeni u programu za statističku obradu podataka IBM SPSS Statistics, inačica 29. Usporedba dviju metoda testirana je Bland-Altmanovom analizom. Rezultati su pokazali da postoji visoki stupanj podudarnosti između računalnog izračuna mjere PDKJ i zlatnog standarda, to jest ručnog izračuna PDKJ. Navedeni rezultati upućuju na opravdanost uporabe nove i brže metode izračuna jezičnih mjera uz pomoć aplikacije MultiDis jer je pokazala visok stupanj podudarnosti u procesu segmentacije.
Rezultati detaljnije analize primjera neslaganja pokazali su da se kao najčešći uzroci ističu pogreške u procesu transkripcije. Validacija ove mjere važan je korak u procesu automatizacije pa tako i jedan korak manje na dugom putu ka što bržem i bezbolnijem procesu analize jezičnog uzorka za hrvatske logopede.

Abstract (english)

Digitalization of speech-language pathology represents the next step in the modernization and further development of service provision. The field of language assessment is not yet fully exploiting its potential in this respect. However, language sample analysis is increasingly being emphasized as an important component of comprehensive language assessment. Computer programs have been developed for this method, making it faster and more reliable. However, they are complex and not suitable for all languages (they have mainly been developed for English). Recently, a new generation of programs based on advanced language technologies has emerged. The web-based application MultiDis is an example of such a program, which aims to provide reliable and accurate analysis of language samples at the microstructure level for the Croatian language. It is still under development and needs to be trained and verified. The aim of this paper was to provide a basis for training the model and to investigate the degree of agreement between two methods of calculating the mean length of a communication unit, computer calculation within the MultiDis application and manual calculation. The second aim of the paper was to describe the discrepancies found and to draw conclusions about the possible reasons for them. The study was conducted on 30 transcripts from the MultiDis application database. The selected transcripts were collected from a sample of 20 native-speaking Croatian children (nine and ten years old). The transcripts were analysed using the Doccano tool. The marked transcripts were uploaded to the application. The results obtained were compared in IBM SPSS Statistics, version 29 (Bland-Altman analysis). The results show that there is a high degree of agreement between the computerised calculation of the MLCU measure and the gold standard, i.e. the manual calculation of the MLCU. The above results show that the use of a newer and faster method for calculating language measures with the MultiDis application is justified. The results of a more detailed analysis of examples of discrepancies showed that the most common causes were errors in the transcription process. The validation of this measure is a crucial step in the process of automatization and thus a step towards a faster and painless process of analysing language samples for Croatian speech-language pathologists.

• Keywords: aplikacija MultiDis; automatizacija; sintaktička složenost; treniranje modela
• Keywords (english): MultiDis application; automatization; syntactic complexity; model training
• Language: croatian
• URN:NBN: urn:nbn:hr:158:857952
• Study programme: Title: University graduate study of Speech and Language Pathology; Study programme type: university; Study level: graduate; Academic / professional title: sveučilišni magistar/magistra logopedije (sveučilišni magistar/magistra logopedije)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Open access
• Created on: 2024-07-10 11:46:42