Rastreador ocular como método de análise de percepção da prosódia da fala: uma revisão de escopo

Remildo Barbosa da Silva; Arthur Ronald Brasi Terto; Ebson Wilkerson Rocha da Silva; Miguel Oliveira Jr.

doi:10.25189/rabralin.v23i1.2287

Eye tracking as a method for analyzing speech prosody perception: a scoping review

Remildo Barbosa da Silva,

Arthur Ronald Brasi Terto,

Ebson Wilkerson Rocha da Silva,

Miguel Oliveira Jr.

V. 23, N. 1 (2024)
Submitted: Aug 6, 2024
Published: Dec 30, 2024
DOI 10.25189/rabralin.v23i1.2287

PDF

Abstract

The aim of this article is to report a scoping review on the use of eye trackers as an experimental method for analyzing the perception of speech prosody. We combined the PRISMA-ScR protocol guidelines with innovative methodological practices anchored in the use of various artificial intelligence tools, partially automating the process of exploring gray literature across different databases and the process of reading and tabulating data. Initially, we conducted a bibliographic search on Google Scholar using descriptors; subsequently, we expanded this search using the Litmaps platform's search algorithms. We observed that eye trackers are used to investigate the processing of prosodic aspects of speech through various techniques, such as pupillometry and the visual world paradigm. Furthermore, the studies reviewed reveal that this equipment has been employed to evaluate, based on various ocular data, how specific prosodic elements are perceived in real-time by listeners. By integrating traditional and innovative methods, this review provides a robust methodological foundation for future studies, contributing to scientific advancements in understanding speech perception.

References

ALMEIDA, R. A. S.; OLIVEIRA JR., M.; COZIJN, R. A influência da prosódia da fala na resolução de ambiguidade sintática: um estudo de processamento de sentença. Cadernos de Estudos da Linguagem, Campinas, v. 63, p. 1-23, 2021. Disponível em: https://doi.org/10.20396/cel.v63i00.8660603

AMICHETTI, N. M. et al. Adults with cochlear implants can use prosody to determine the clausal structure of spoken sentences. The Journal of the Acoustical Society of America, v. 150, n. 6, p. 4315–4328, 1 dez. 2021. Disponível em: https://doi.org/10.1121/10.0008899

ARKSEY, H; O’MALLEY, L. Scoping studies: towards a methodological framework. Int J Soc Res Meth, v. 8, n. 1, p. 19-32, 23 fev. 2007. Disponível em: https://doi.org/10.1080/1364557032000119616

AYDIN, Ö.; UZUN, İ. P. Pupil Dilation Response to Prosody and Syntax During Auditory Sentence Processing. Journal of Psycholinguistic Research, v. 52, p. 153-177, 14 jan. 2022. Disponível em: https://doi.org/10.1007/s10936-021-09830-y

BARBOSA, P. A. Conhecendo melhor a prosódia: aspectos teóricos e metodológicos daquilo que molda nossa enunciação. Rev. Est. Ling., Belo Horizonte, v. 20, n. 1, p. 11-27, 2012.

BEATTY, J. Task-evoked pupillary responses, processing load, and the structure of processing resources. Psychological Bulletin, v. 91, 276–292, 1982.

BÖGELS, S.; TORREIRA, F. Listeners use intonational phrase boundaries to project turn ends in spoken interaction. Journal of Phonetics, v. 52, p. 46–57. 2015. Disponível em: https://doi.org/10.1016/j.wocn.2015.04.004

CALDAS, V. G. Prosody and sentence processing in Brazilian Portuguese: a visual world paradigm study. Revista da ABRALIN, v. 23, n. 2, p. 161–188, 2024. Disponível em: 10.25189/rabralin.v23i2.2230

CARBONARI, C. R.; FERNANDES-SVARTMAN, F. R. O padrão entoacional das sentenças interrogativas do português brasileiro em fala manipulada. Estudos Linguísticos, v. 45, n. 1, p. 60–72, 2016. Disponível em: 10.21165/el.v45i1.1449

COUPER-KUHLEN, E. An introduction to English prosody. Tübingen: Max Niemeyer, 1985. 239 p.

CRUTTENDEN, A. Intonation. 2.ed. Cambridge: Cambridge University Press, 1997.

CUTLER, A.; PEARSON, M. On the analysis of prosodic turn-taking cues. In C. Johns-Lewis. Intonation in Discourse. London, Croom Helm, 1986, p. 139-155.

DUCHOWSKI, A. T. A breadth-first survey of eye-tracking applications. Behavior Research Methods, Instruments, and Computers, v. 34, n. 4, p. 455-470, 2002. Disponível em: 10.3758/bf03195475

ENGELHARDT, P. E.; FERREIRA, F.; PATSENKO, E. G. Pupillometry reveals processing load during spoken language comprehension. Quarterly Journal of Experimental Psychology, v. 63, n. 4, p. 639–645, abr. 2010. Disponível em: https://doi.org/10.1080/17470210903469864

FOLTZ, A. Using prosody to predict upcoming referents in the L1 and the L2. Studies in Second Language Acquisition, v. 43, n. 4, p. 753–780, 9 nov. 2020. Disponível em: https://doi.org/10.1017/S0272263120000509

HARRIS, J.; JUN, S.A. Using pupillometry to assess prosodic alignment in language comprehension. Proceeding of the 19th International Congress of Phonetic Sciences [s.l: s.n.], p. 2926-2930, 2020. Disponível em: https://www.internationalphoneticassociation.org/icphs-proceedings/ICPhS2019/papers/ICPhS_2975.pdf

HARRIS, J.; LAWN, A.; KAPS, M. Investigating sound and structure in concert: A pupillometry study of relative clause attachment. CogSci 2019. p. 1880-1886, 2020. Disponível em: https://dblp.org/rec/conf/cogsci/HarrisLK19.html

HUANG, Y. T.; SNEDEKER, J. Some inferences still take time: Prosody, predictability, and the speed of scalar implicatures. Cognitive Psychology, v. 102, n. 1, p. 105–126, maio 2018. Disponível em: https://doi.org/10.1016/j.cogpsych.2018.01.004

ITO, K.; KRYSZAK, E.; IBANEZ, T. Effect of Prosodic Emphasis on the Processing of Joint-Attention Cues in Children with ASD. Speech Prosody 2022, p. 110-114, 23 maio 2022. Disponível em: https://www.isca-archive.org/speechprosody_2022/ito22_speechprosody.pdf

KAISER, E. Experimental paradigms in psycholinguistics. In: PODESVA, R.; SHARMA, D. Research Methods in Linguistics. Cambridge: Cambridge University Press, 2013, p. 135-168.

KURUMADA, C. et al. Is it or isn’t it: Listeners make rapid use of prosody to infer speaker meanings. Cognition, v. 133, n. 2, p. 335–342, nov. 2014. Disponível em: http://dx.doi.org/10.1016/j.cognition.2014.05.017

MORETT, L.M. et al. Pupillometry and Multimodal Processing of Beat Gesture and Pitch Accent: The Eye's Hole is Greater than the Sum of its Parts. Cognitive Science, p. 1-6, 2018. Disponível em: https://uploads.strikinglycdn.com/files/9f5dcad0-c4e1-48e0-932b-46a2c10887f1/Morett_Roche_Fraundorf_McPartland_CogSci2018_FINAL_PDFA.pdf

MORETT, L. M. et al. Contrast Is in the Eye of the Beholder: Infelicitous Beat Gesture Increases Cognitive Load During Online Spoken Discourse Comprehension. Cognitive Science, v. 44, n. 10, p. 1-46, out. 2020. Disponível em: https://doi.org/10.1111/cogs.12912

NAKAMURA, C.; HARRIS, J.; JUN, S.A. Integrating prosody in anticipatory language processing: how listeners adapt to unconventional prosodic cues. Language, Cognition and Neuroscience, v. 37, n. 5, p. 1–24, 16 dez. 2021. Disponível em: https://doi.org/10.1080/23273798.2021.2010778

OLIVEIRA JR., M. 2000. Prosodic features in spontaneous narratives. 2000. 286f. Tese (Doctor of Philosophy) - Simon Fraser University, Vancouver, 2000.

OLIVEIRA JR., M.; CRUZ, R.; SILVA, E. W. A relação entre a prosódia e a estrutura de narrativas espontâneas: um estudo perceptual. Revista Diadorim / Revista de Estudos Linguísticos e Literários do Programa de Pós-graduação em Letras Vernáculas da Universidade Federal do Rio de Janeiro, Rio de Janeiro, v. 12, p. 38-53, 2012. Disponível em: https://doi.org/10.35520/diadorim.2012.v12n0a3971

PAULMANN, S.; TITONE, D.; PELL, M. How emotional prosody guides your way: evidence from eye movements. Speech communication, v. 54, n. 1, p. 92-107, 2012. Disponível em: https://doi.org/10.1016/j.specom.2011.07.004

SHABANOV, I. Here is my method to conduct (and automate) a literature review. Tucson, 05 mar. 2023. Twitter: @Artifexx. Disponível em: https://x.com/Artifexx/status/1632277025472888833. Acesso em: 01 de set de 2023

SCHAFFER, D. The role of intonation as a cue to turn taking in conversation. Journal of Phonetics 11, 1983, p. 243-257

SCHMIDTKE, J. Pupillometry in linguistic research. Studies in Second Language Acquisition, 1–21, 2017. Disponível em: https://doi.org/10.1017/s0272263117000195

SILVA, E. W. O papel da prosódia no processamento do discurso em língua portuguesa: um estudo de percepção em laboratório online. 2023. 77f. Tese (Doutorado em Linguística) - Faculdade de Letras, Universidade Federal de Alagoas, Maceió, 2023

SWERTS, M.; GELUYKENS, R. Prosody as a marker of information flow in spoken discourse. Language and Speech, v. 37, n. 1, p. 21–43, 1994.

TERTO, A.; OLIVEIRA JR, M. A prosódia do metadiscurso: uma análise a partir de dados do NURC Digital Recife. Cadernos de Linguística, v. 2, n. 4, p. e477, 2021. Disponível em: 10.25189/2675-4916.2021.v2.n4.id477

TRICCO, A. C. et al. PRISMA Extension for Scoping Reviews (PRISMA-ScR): Checklist and Explanation. Annals of Internal Medicine, v. 169, n. 7, p. 467-473, 2018. Disponível em https://doi.org/10.7326/M18-0850

TRUCKENBRODT, H.; SANDALO, F.; ABAURRE, B. Elements of Brazilian Portuguese intonation. Journal of Portuguese Linguistics, v. 8, n. 1, p. 75-114, 2009. Disponível em: https://doi.org/10.5334/jpl.122

WINN, M. B.; TEECE, K. H. Slower Speaking Rate Reduces Listening Effort Among Listeners With Cochlear Implants. Ear & Hearing, v. 42, n. 3, p. 584-595, 29 set. 2021. Disponível em: https://doi.org/10.1097/AUD.0000000000000958

WINN, M. B.; WENDT, D.; KOELEWIJN, T.; KUCHINSKY, S. E. Best practices and advice for using pupillometry to measure listening effort: an introduction for those who want to get started. Trends in Hearing, v. 22, p. 1-22, 2018. Disponível em: https://doi.org/10.1177/2331216518800869

ZHANG, Y.; CHEN, X.; CHEN, S.; MENG, Y.; LEE, A. Visual-auditory perception of prosodic focus in Japanese by native and non-native speakers. Frontiers in Human Neuroscience, v. 17, p. 1-16, 2023. Disponível em: https://doi.org/10.3389/fnhum.2023.1237395

ZELLIN, M. et al. In the eye of the listener: Pupil dilation elucidates discourse processing. International Journal of Psychophysiology, v. 81, n. 3, p. 133–141, set. 2011. Disponível em: https://doi.org/10.1016/j.ijpsycho.2011.05.009

PDF

Authorship

Remildo Barbosa da Silva

Doutorando e mestre em Linguística pelo Programa de Pós-graduação em Linguística e Literatura da Faculdade de Letras da Universidade Federal de Alagoas - Ufal e graduado em Letras pela mesma universidade. Atua na linha de pesquisa Teoria e Análise Linguística, com ênfase em prosódia e fonética acústica. É membro da Associação Brasileira de Linguística (Abralin) e integrante do grupo de pesquisa Estudos em Fonética e Fonologia (fonUFAL). Atualmente atua como professor efetivo da rede estadual de ensino do estado de Alagoas.

Universidade Federal de Alagoas

https://orcid.org/0000-0002-3224-657X

Arthur Ronald Brasi Terto

Master's student in Linguistics at the Graduate Program in Linguistics and Literature at the Federal University of Alagoas (PPGLL/UFAL). He works in the subfield of linguistic theory and analysis, with emphasis on prosody, experimental phonetics, and psycholinguistics. Since undergraduate studies, he has been investigating the following topics: discourse prosody; prosody and perception of spoken text structure; and the use prosody in narrative text processing. He is a member of the research group "Studies in Phonetics and Phonology at the Federal University of Alagoas", fonUFAL. With a bachelor's degree in English language and Literature, he has experience as an English language teacher in basic education and in free additional language courses.

Universidade Federal de Alagoas

https://orcid.org/0000-0003-4806-4946

Ebson Wilkerson Rocha da Silva

Doutor em Linguística pelo Programa de Pós-Graduação em Linguística e Literatura da Universidade Federal de Alagoas (PPGLL/UFAL), possui graduação em Letras Licenciatura em Língua Portuguesa pela Universidade Federal de Alagoas; Tem experiência como professor de Língua Portuguesa na educação básica. Compõe o grupo de estudos em Fonética e Fonologia da Universidade Federal de Alagoas (Fonufal); Trabalhou como Bolsista do projeto de pesquisa (PIBIC) intitulado "Percepção dos elementos prosódicos na narrativa espontânea" e como bolsista no projeto de pesquisa (PIBIC) em documentação linguística "NURC DIGITAL: Uma proposta de preservação dos dados do Projeto Nurc", orientado pelo Prof. Dr. Miguel Oliveira, Jr. Atua na linha de teoria e análise linguística, tendo como áreas de interesse a prosódia, a interface prosódia/discurso, a fonética experimental e a psicolinguística.

Universidade Federal de Alagoas

https://orcid.org/0000-0003-1980-7181

Miguel Oliveira Jr.

Professor associado na Faculdade de Letras da Universidade Federal de Alagoas (UFAL), onde coordena o grupo de pesquisa fonUFAL (fale.ufal.br/grupopesquisa/fonufal/), o Laboratório de Fonética e o Laboratório de Pesquisa da Linguagem, do Cérebro e do Comportamento Humano - Lapelc (fale.ufal.br/laboratorio/lapelc/). É membro da Direção do Comité International Permanent des Linguistes (CIPL) e coordenador do projeto Interfaces Prosódicas, da Asociación de Linguística y Filología de América Latina (ALFAL). É idealizador e editor do periódico Cadernos de Linguística (cadernos.abralin.org), que implementou pioneiramente para a área inúmeras ações associadas à política da Ciência Aberta. Foi presidente da Associação Brasileira de Linguística (Abralin) entre 2017-2021 e coordenador do Programa de Pós-graduação em Linguística e Literatura da UFAL (PPGLL - UFAL) entre 2018-2021. É doutor em Linguística pela Universidade Simon Fraser (Canadá). Recebeu, durante o seu doutoramento, os prêmios Dr. Tai Whan Kim Scholarship e Outstanding Achievement Award. Trabalhou como pesquisador associado na Universidade do Sul da Dinamarca, no Instituto de Linguística Teórica e Computacional, ILTEC (Portugal), na Universidade de Manchester (Reino Unido), no Instituto Max Planck de Antropologia Evolucionária, MPI (Alemanha) e na Universidade de St Andrews (Reino Unido). Foi pesquisador visitante no Laboratório de Pesquisa em Eletrônica (RLE) do Instituto de Tecnologia de Massachusetts (EUA), no Departamento de Psicologia da Universidade da California, Davis (EUA), no Language and Cognition Lab da University College London (Reino Unido) e no NILC (ICMC/USP).. Orientou dezenas de alunos de graduação (TCC, PIBIC e PIBITI) e de Pós-Graduação (mestrado e doutorado). Além disso, supervisionou diversos trabalhos de Pós-Doutorado. É autor de vários artigos publicados em periódicos nacionais e estrangeiros e de capítulos de livros publicados em importantes editoras nacionais e estrangeiras. É editor da série de popularização da Linguística "O que pode esta língua?", publicada pela Editora Mercado das Letras. Sua tese de doutorado é trabalho seminal na área da prosódia do discurso e tem sido amplamente citada em trabalhos sobre o tema. Organizou mais de dez livros e já apresentou resultados de suas pesquisas em mais de uma centena de eventos nacionais e internacionais. Tem ampla experiência em coordenação e participação de projetos internacionais. Já teve projetos financiados pelo CNPq, pela Capes, pela FACEPE, pela FAPEAL, e pela portuguesa FCT. Além disso, fez parte de projetos financiados pela europeia EC, pela americana NSF e pelas britânicas AHRC e ESRC. Colabora em projetos desenvolvidos pelo Centro de Pesquisa para Inteligência Artificial - C4AI (c4ai.inova.usp.br). Os seus estudos mais recentes envolvem pesquisas com técnicas experimentais online e têm contado com a colaboração de pesquisadores de universidades brasileiras e estrangeiras. Emite regularmente pareceres ad hoc para periódicos internacionais e para órgãos de fomento. Foi idealizador da série Abralin ao Vivo (aovivo.abralin.org), ação que tem promovido um diálogo internacional inédito e de grandes proporções entre pesquisadores da área, da primeira revista brasileira de divulgação científica na área de Linguística - Roseta (roseta.org.br), da plataforma de ensino a distância Abralin EAD (ead.abralin.org), da primeira conferência internacional de linguística no Twitter (linguistweets.org), evento de divulgação científica de grande impacto internacional, da Editora da Abralin (editora.abralin.org), primeira editora especializada em livros de linguística publicados em formato aberto e gratuito e do Projeto NURC Digital (fale.ufal.br/projeto/nurcdigital/).

Universidade Federal de Alagoas

https://orcid.org/0000-0002-0866-0535