Scientia et Securitas
Volume/Issue:
Volume 4: Issue 4
Enhancing bus safety: A modular driver monitoring system
Authors:
Viktor Nagy Széchenyi István University Győr Hungary; Széchenyi István Egyetem Győr Magyarország

Search for other papers by Viktor Nagy in
Current site
Google Scholar
PubMed Close
https://orcid.org/0000-0001-6212-3661
,
Patrik Bézi Széchenyi István University Győr Hungary; Széchenyi István Egyetem Győr Magyarország

Search for other papers by Patrik Bézi in
Current site
Google Scholar
PubMed Close
, and
Gábor Kovács Széchenyi István University Győr Hungary; Széchenyi István Egyetem Győr Magyarország
Institute of the Information Society, Ludovika University of Public Service Budapest Hungary; Nemzeti Közszolgálati Egyetem, Információs Társadalom Kutatóintézet Budapest Magyarország

Search for other papers by Gábor Kovács in
Current site
Google Scholar
PubMed Close
https://orcid.org/0000-0003-0166-6261
Pages:
274–284
Online Publication Date:
07 May 2024
Publication Date:
05 Aug 2024
Article Category:
Research Article
DOI:
https://doi.org/10.1556/112.2023.00191
Keywords:
Driver Monitoring System; drowsiness detection; machine vision; Mediapipe; YOLOv7;
Keywords (Hungarian):
Járművezető Monitoring Rendszer; álmosságérzékelés; gépi látás; Mediapipe; YOLOv7;
Open access

Summary.

In the area of road safety, the development of a Modular, Machine Vision-Based, Custom-Built Driver Monitoring System (DMS) for bus drivers has become imperative. This research presents a comprehensive system capable of detecting drowsiness, blinking patterns, and various forms of distraction, including the use of mobile phones, and one-handed driving. Leveraging the power of Mediapipe and YOLOv7 for real-time image analysis, as well as ROS2 for seamless data transfer, our system not only ensures the immediate safety of bus passengers but also offers expandable functionality, such as eye tracking and skeleton detection.

Összefoglalás.

A biztonságos tömegközlekedés iránti igény fokozza a járművezetőkre nehezedő nyomást a növekvő forgalmi torlódások miatt. Ezt súlyosbítja a közlekedési rendszer összetettsége és a fokozódó külső ingerek hatása, különösen városi környezetben. A közösségi közlekedésben alkalmazható, a közlekedésbiztonságot fokozó moduláris, gépi látáson alapuló, egyedi fejlesztésű járművezető-felügyeleti rendszer kifejlesztése az autóbuszvezetők monitorozására elengedhetetlen. Ez a kutatás egy olyan átfogó rendszert mutat be, amely képes érzékelni az álmosságot, a pislogási mintákat és a figyelemelterelés (disztrakció) különböző formáit, beleértve a mobiltelefon-használatot, és az egykezes vezetést. A Mediapipe és a YOLOv7 valós idejű képelemzésre, valamint a ROS2 adatátvitelre való felhasználásával rendszerünk nemcsak a busz utasainak biztonságát garantálja, hanem olyan bővíthető funkcionalitást is kínál, mint például szemkövetés és csontvázfelismerés (szkeleton).

A rendszer alapvető célja az, hogy a szemmozgás, fejtartás és testtartás elemzésével pontosan azonosítja a járművezető fáradtságát, figyeli a pislogási mintákat az álmosság jeleit, és felismeri a közúti biztonságot veszélyeztető disztrakciókat. Továbbá a rendszer moduláris felépítése lehetővé teszi további érzékelők, például szemmozgás-követő rendszer, telemetriai eszközök vagy 5G-adapterek egyszerű integrálását, ami átfogó megfigyelést és adatfúziót tesz lehetővé a valós környezetbe történő adaptálás elősegítésére.

A fejlesztett Járművezető Monitoring Rendszer a ROS2 keretrendszer segítségével integrált megoldást kínál a buszvezetők megfigyelésére. A rendszer alapvető képessége a fedélzeti kamerák által rögzített felvételeken a járművezető vizuális felismerése. Ezen túlmenően képes követni a vezető testén lévő kulcspontok, mint a fej, a törzs és a karok pozícióját, ami létfontosságú az ő testtartásának és mozgásának megértésében. Az egyediséget a vezetőfülke mérete és a buszvezető személygépjárműhöz mérten dinamikus mozgásképe adja. A rendszer az emberi arcot is részletesen elemzi, kiemelve a fontos arcpontokat, mint a szemek, orr és száj. Ez lehetővé teszi a tekintet irányának, arckifejezéseknek, valamint a fáradtság vagy stressz jeleinek azonosítását. Az adatok könnyebb értelmezése érdekében a rendszer egy vizuális ábrázolást is nyújt az észlelési folyamatról. Az adatok kezelése és kommunikációja a ROS2 keretrendszeren keresztül történik, amely strukturált módon rendezi az adatokat és támogatja a valós idejű feldolgozást és elemzést. Az összegyűjtött adatok tárolására a .rosbag fájlformátumot használjuk, amely lehetővé teszi az adatok hatékony rögzítését és későbbi felhasználását elemzésekhez és felülvizsgálatokhoz.

A tanulmány a moduláris járművezető-felügyeleti rendszer felépítését, megvalósítását és tesztelését mutatja be, részletesen közli az alkalmazott algoritmusokat és technológiákat. A valós körülmények között végzett kísérletek eredményei bizonyítják a rendszer hatékonyságát, valamint a rendszer szélesebb közlekedési ökoszisztémákba való integrálhatóságát.

A buszvezető monitorozása kapcsán kapott adatok hozzájárulhatnak a jármű és utasai biztonságának fokozásához. A járművezető figyelmének nyomon követése és a kognitív terhelés elemzése lehetőséget kínál a munkakörülmények optimalizálására és a balesetmegelőzési megoldások javítására.

  • 1

    Balam, V. P., & Chinara, S. (2021) Development of single-channel electroencephalography signal analysis model for real-time drowsiness detection: SEEGDD. Phys Eng Sci Med, Vol. 44. pp. 713–726. https://doi.org/10.1007/s13246-021-01020-3

  • 2

    Biondi, F., Coleman, J. R., Cooper, J. M., & Strayer, D. L. (2016) Average heart rate for driver monitoring systems. Int J Hum Factors Ergon, Vol. 4. pp. 282–291. https://doi.org/10.1504/IJHFE.2016.083521

  • 3

    Blades, L., Douglas, R., Early, J., Lo, C.Y., & Best. R. (2020) Advanced driver-assistance systems for city bus applications. SAE Technical Papers, April. https://doi.org/10.4271/2020-01-1208

  • 4

    Campos-Ferreira, A. E., Lozoya-Santos, J. de J., Tudon-Martinez, J. C., Mendoza, R. A. R., Vargas-Martínez, A., Morales-Menendez, R., & Lozano, D. (2023) Vehicle and driver monitoring system using on-board and remote sensors. Sensors, Vol. 23. https://doi.org/10.3390/s23020814

  • 5

    Chaves, D., Fidalgo, E., Alegre, E., Alaiz-Rodríguez, R., Jáñez-Martino, F., & Azzopardi, G. (2020) Assessment and estimation of face detection performance based on deep learning for forensic applications. Sensors (Switzerland), Vol. 20. pp. 1–21, https://doi.org/10.3390/s20164491

  • 6

    Dehzangi, O., Rajendra, V., & Taherisadr, M. (2004) Wearable driver distraction identification on-the-road via continuous decomposition of galvanic skin responses. Sensors (Switzerland), Vol. 18. pp. 1–16. https://doi.org/10.3390/s18020503

  • 7

    D’Orazio, T., Leo, M., Cicirelli, G., & Distante, A. (2004) An algorithm for real time eye detection in face images. Proceedings of the 17th International Conference on Pattern Recognition, 2004, ICPR 2004. Cambridge, UK. Vol. 3. pp. 278–281. https://doi.org/10.1109/ICPR.2004.1334521

  • 8

    European Parliament (2019) European Parliament REGULATION (EU) 2019/2144 of the European Parliament and of the Council. Official Journal of the European Union.

  • 9

    Eurostat (2023) Eurostat Passenger Transport by Buses and Coaches by Type of Transport - Vehicles Registered in the Reporting Country. 30/03/2023 23:00 2023.

  • 10

    Felix, M., Intriago Alvarez, M. B., Vanegas, E., Farfán Bajaña, M.J., Sarfraz, Z., Sarfraz, A., … & Cherrez-Ojeda, I. (2022) Risk of obstructive sleep apnea and traffic accidents among male bus drivers in ecuador: is there a significant relationship? Annals of Medicine and Surgery, Vol. 74. https://doi.org/10.1016/j.amsu.2022.103296

  • 11

    Fujiwara, K., Abe, E., Kamata, K., Nakayama, C., Suzuki, Y., Yamakawa, T., … & Kadotani, H. (2019) Heart rate variability-based driver drowsiness detection and its validation with EEG. IEEE Trans Biomed Eng, Vol. 66. pp. 1769–1778. https://doi.org/10.1109/TBME.2018.2879346

  • 12

    Ghazal, M., Abu Haeyeh, Y., Abed, A., & Ghazal, S. (2018). Embedded fatigue detection using convolutional neural networks with mobile integration. Proceedings – 2018 IEEE 6th International Conference on Future Internet of Things and Cloud Workshops, W-FiCloud 2018, August. pp. 129–133. https://doi.org/10.1109/W-FiCloud.2018.00026

  • 13

    Goh, K., Currie, G., Sarvi, M., & Logan, D. (2014) Factors affecting the probability of bus drivers being at-fault in bus-involved accidents. Accid Anal Prev, Vol. 66. pp. 20–26. https://doi.org/10.1016/j.aap.2013.12.022

  • 14

    Hallac, D., Sharang, A., Stahlmann, R., Lamprecht, A., Huber, M., Roehder, M., … & Leskovec, J. (2016) Driver identification using automobile sensor data from a single turn. IEEE Conference on Intelligent Transportation Systems, Proceedings, TSC 2016. pp. 953–958. https://doi.org/10.1109/ITSC.2016.7795670

  • 15

    Huhta, R., Hirvonen, K., & Partinen, M. (2021) Prevalence of sleep apnea and daytime sleepiness in professional truck drivers. Sleep Med, Vol. 81. pp. 136–143. https://doi.org/10.1016/j.sleep.2021.02.023

  • 16

    Karimi, S., Aghabayk, K., & Moridpour, S. (2022) Impact of driving style, behaviour and anger on crash involvement among iranian intercity bus drivers. IATSS Research, Vol. 46. pp. 457–466. https://doi.org/10.1016/j.iatssr.2022.07.003

  • 17

    Koay, H. V., Chuah, J. H., Chow, C. O., & Chang, Y. L. (2022) Detecting and recognizing driver distraction through various data modality using machine learning: A review, recent advances, simplified framework and open challenges (2014–2021). Eng Appl Artif Intell, Vol. 115. 105309. https://doi.org/10.1016/j.engappai.2022.105309

  • 18

    Li, G., & Chung, W. Y. (2015) A context-aware eeg headset system for early detection of driver drowsiness. Sensors (Switzerland), Vol. 15. pp. 20873–20893. https://doi.org/10.3390/s150820873

  • 19

    Lin, T.-Y., Maire, M., Belongie, S., Hays, J., Perona, P., Ramanan, D., ... & Zitnick, L. (2014) Microsoft COCO: Common objects in context. In: Fleet, D., Pajdla, T., Schiele, B., & Tuytelaars, T. (eds) Computer vision – ECCV 2014. ECCV 2014. Lecture notes in computer science, Vol. 8693. Springer. https://doi.org/10.1007/978-3-319-10602-1_48

  • 20

    Lugaresi, C., Tang, J., Nash, H., McClanahan, C., Uboweja, E., Hays, M., … & Grundmann, M. (2019) MediaPipe: A framework for building perception pipelines. arXiv:1906.08172

  • 21

    Maslać, M., Antić, B., Lipovac, K., Pešić, D., & Milutinović, N. (2018) Behaviours of drivers in Serbia: Non-professional versus professional drivers. Transp Res Part F Traffic Psychol Behav, Vol. 52. pp. 101–111. https://doi.org/10.1016/j.trf.2017.11.020

  • 22

    Nylen, A. B., Reyes, M. L., Roe, C. A., & McGehee, D. V. (2019) Impacts on driver perceptions in initial exposure to ADAS technologies. Transp Res Rec. https://doi.org/10.1177/0361198119847975

  • 23

    Otmani, S., Rogé, J., & Muzet, A. (2005) Sleepiness in professional drivers: Effect of age and time of day. Accid Anal Prev, Vol. 37. pp. 930–937. https://doi.org/10.1016/j.aap.2005.04.011

  • 24

    Rahman, N. A. A., Mustafa, M., Sulaiman, N., Samad, R., & Abdullah, N. R. H. (2022) EMG signal segmentation to predict driver’s vigilance state. Lecture Notes in Mechanical Engineering, pp. 29–42. https://doi.org/10.1007/978-981-16-4115-2_3

  • 25

    Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2015) You only look once: Unified, Real-time object detection. arXiv: 1506.02640.

  • 26

    Sahayadhas, A., Sundaraj, K., & Murugappan, M. (2012) Detecting driver drowsiness based on sensors: A review. Sensors (Switzerland), Vol. 12. pp. 16937–16953. https://doi.org/10.3390/s121216937

  • 27

    Sigari, M.-H., Pourshahabi, M.-R., Soryani, M., & Fathy, M. (2014) A review on driver face monitoring systems for fatigue and distraction detection. International Journal of Advanced Science and Technology http://sersc.org/journals/index.php/IJAST/index, Vol. 64. pp. 73–100. https://doi.org/10.14257/ijast.2014.64.07

  • 28

    Slootmans, F. (2021) European road safety observatory - Facts and figures - Light trucks. https://road-safety.transport.ec.europa.eu/system/files/2021-12/F%26F%20Light%20trucks%2020210712.pdf [Downloaded: 04/12/2023]

  • 29

    Thiffault, P., & Bergeron, J. (2003) Monotony of road environment and driver fatigue: A simulator study. Accid Anal Prev, Vol. 35. pp. 381–391. https://doi.org/10.1016/S0001-4575(02)00014-3

  • 30

    Young, Ch., Regan, M., & Hammer, M. (2003) Driver distraction: A Review of the literature (Report). Monash University Accident Research Centre, 66.

  • Collapse
  • Expand
Cover Scientia et Securitas
Scientia et Securitas
Online ISSN:
2732-2688

Editor-in-Chief:

Founding Editor-in-Chief:

  • Tamás NÉMETH

Managing Editor:

  • István SABJANICS (Ministry of Interior, Budapest, Hungary)

Editorial Board:

  • Attila ASZÓDI (Budapest University of Technology and Economics)
  • Zoltán BIRKNER (University of Pannonia)
  • Valéria CSÉPE (Research Centre for Natural Sciences, Brain Imaging Centre)
  • Gergely DELI (University of Public Service)
  • Tamás DEZSŐ (Migration Research Institute)
  • Imre DOBÁK (University of Public Service)
  • Marcell Gyula GÁSPÁR (University of Miskolc)
  • József HALLER (University of Public Service)
  • Charaf HASSAN (Budapest University of Technology and Economics)
  • Zoltán GYŐRI (Hungaricum Committee)
  • János JÓZSA (Budapest University of Technology and Economics)
  • András KOLTAY (National Media and Infocommunications Authority)
  • Gábor KOVÁCS (University of Public Service)
  • Levente KOVÁCS (Óbuda University)
  • Melinda KOVÁCS (Hungarian University of Agriculture and Life Sciences (MATE))
  • Miklós MARÓTH (Avicenna Institue of Middle Eastern Studies )
  • Judit MÓGOR (Ministry of Interior National Directorate General for Disaster Management)
  • József PALLO (University of Public Service)
  • István SABJANICS (Ministry of Interior)
  • Péter SZABÓ (Hungarian University of Agriculture and Life Sciences (MATE))
  • Miklós SZÓCSKA (Semmelweis University)

Ministry of Interior
Science Strategy and Coordination Department
Address: H-2090 Remeteszőlős, Nagykovácsi út 3.
Phone: (+36 26) 795 906
E-mail: scietsec@bm.gov.hu

DOAJ

2023  
CrossRef Documents 32
CrossRef Cites 15
Days from submission to acceptance 59
Days from acceptance to publication 104
Acceptance Rate 81%

2022  
CrossRef Documents 38
CrossRef Cites 10
Days from submission to acceptance 54
Days from acceptance to publication 78
Acceptance Rate 84%

2021  
CrossRef Documents 46
CrossRef Cites 0
Days from submission to acceptance 33
Days from acceptance to publication 85
Acceptance Rate 93%

2020  
CrossRef Documents 13
CrossRef Cites 0
Days from submission to acceptance 30
Days from acceptance to publication 62
Acceptance Rate 93%

Publication Model Gold Open Access
Submission Fee none
Article Processing Charge none

Scientia et Securitas
Language Hungarian
English
Size A4
Year of
Foundation		 2020
Volumes
per Year		 1
Issues
per Year		 4
Founder Academic Council of Home Affairs and
Association of Hungarian PhD and DLA Candidates
Founder's
Address		 H-2090 Remeteszőlős, Hungary, Nagykovácsi út 3.
H-1055 Budapest, Hungary Falk Miksa utca 1.
Publisher Akadémiai Kiadó
Publisher's
Address		 H-1117 Budapest, Hungary 1516 Budapest, PO Box 245.
Responsible
Publisher		 Chief Executive Officer, Akadémiai Kiadó
Applied
Licenses		 CC-BY 4.0
CC-BY-NC 4.0
ISSN ISSN 2732-2688

Monthly Content Usage

Abstract Views Full Text Views PDF Downloads
Apr 2024 0 0 0
May 2024 0 71 27
Jun 2024 0 46 23
Jul 2024 0 48 24
Aug 2024 0 74 18
Sep 2024 0 54 11
Oct 2024 0 37 5