Real-time Ultrasound-enhanced Multimodal Imaging of Tongue using 3D Printable Stabilizer System: A Deep Learning Approach

Auteurs-es

  • M. Hamed Mozaffari University of Ottawa http://orcid.org/0000-0002-2297-6114
  • Won-Sook Lee Professor, School of Electrical Engineering and Computer Science (EECS), University of Ottawa, Ottawa, Ontario, Canada, K1N 6N5

Résumé

Malgré une prise de conscience renouvelée de l'importance de l'articulation, les instructeurs ont toujours du mal à répondre aux besoins en prononciation des apprenants en langues. Il existe des outils pédagogiques relativement rares pour l’enseignement et l’apprentissage de la prononciation. Contrairement aux instructions inefficaces, les instructions de prononciation traditionnelles telles que l'écoute et la répétition, des systèmes de rétroaction visuelle électronique (EVF) tels que la technologie à ultrasons ont été utilisés dans de nouvelles approches.
Récemment, une méthode multimodale améliorée par ultrasons a été développée pour visualiser les mouvements de la langue d'un apprenant superposé au visage de la tête du locuteur. Ce système a été évalué pour plusieurs cours de langue via un paradigme d’apprentissage mixte au niveau universitaire.
Le résultat a été affirmé que la visualisation du système d’articulateur comme un biofeedback pour les apprenants en langues améliorerait considérablement l’efficacité de l’apprentissage de l’articulation.
Malgré l'utilisation réussie de la technique multimodale pour la formation à la prononciation, des travaux manuels et une manipulation humaine sont encore nécessaires. Dans cet article, nous souhaitons contribuer à cet ensemble croissant de recherches en abordant les difficultés des approches précédentes en proposant un nouveau système de formation complet, automatique et en temps réel, à la prononciation multimodale, bénéficiant de puissantes techniques d'intelligence artificielle.
L'objectif principal de cette recherche était de combiner les avantages de la technologie à ultrasons, de l'impression tridimensionnelle et des algorithmes d'apprentissage en profondeur pour améliorer les performances des systèmes précédents. Notre évaluation pédagogique préliminaire du système proposé a révélé une amélioration significative de la flexibilité, du contrôle, de la robustesse et de l’autonomie.

Biographie de l'auteur-e

M. Hamed Mozaffari, University of Ottawa

School of Electrical Engineering and Computer Science

Fichiers supplémentaires

Publié-e

2020-03-17

Comment citer

1.
Mozaffari MH, Lee W-S. Real-time Ultrasound-enhanced Multimodal Imaging of Tongue using 3D Printable Stabilizer System: A Deep Learning Approach. Canadian Acoustics [Internet]. 17 mars 2020 [cité 25 août 2024];48(1). Disponible à: https://jcaa.caa-aca.ca/index.php/jcaa/article/view/3305

Numéro

Vol. 48 No. 1 (2020)

Rubrique

Article - Sciences de la parole

Licence

Author Licensing Addendum

This Licensing Addendum ("Addendum") is entered into between the undersigned Author(s) and Canadian Acoustics journal published by the Canadian Acoustical Association (hereinafter referred to as the "Publisher"). The Author(s) and the Publisher agree as follows:

  1. Retained Rights: The Author(s) retain(s) the following rights:

    • The right to reproduce, distribute, and publicly display the Work on the Author's personal website or the website of the Author's institution.
    • The right to use the Work in the Author's teaching activities and presentations.
    • The right to include the Work in a compilation for the Author's personal use, not for sale.

  2. Grant of License: The Author(s) grant(s) to the Publisher a worldwide exclusive license to publish, reproduce, distribute, and display the Work in Canadian Acoustics and any other formats and media deemed appropriate by the Publisher.

  3. Attribution: The Publisher agrees to include proper attribution to the Author(s) in all publications and reproductions of the Work.

  4. No Conflict: This Addendum is intended to be in harmony with, and not in conflict with, the terms and conditions of the original agreement entered into between the Author(s) and the Publisher.

  5. Copyright Clause: Copyright on articles is held by the Author(s). The corresponding Author has the right to grant on behalf of all Authors and does grant on behalf of all Authors, a worldwide exclusive license to the Publisher and its licensees in perpetuity, in all forms, formats, and media (whether known now or created in the future), including but not limited to the rights to publish, reproduce, distribute, display, store, translate, create adaptations, reprints, include within collections, and create summaries, extracts, and/or abstracts of the Contribution.