search for




 

Usability and Educational Effectiveness of AI-based Patient Chatbot for Clinical Skills Training in Korean Medicine
한의학 임상실습교육을 위한 인공지능 기반 환자 챗봇의 사용성과 교육적 효과성
Korean J Acupunct 2024;41:27-32
Published online March 27, 2024;  https://doi.org/10.14406/acu.2024.001
© 2024 Society for Meridian and Acupoint.

Yejin Han
한예진

Department of Korean Medical Education, College of Korean Medicine, Wonkwang University
원광대학교 한의과대학 한의학교육실
Correspondence to: Yejin Han
Department of Korean Medical Education, College of Korean Medicine, Wonkwang University, 460 Iksan-daero, Iksan 54538, Korea
Tel: +82-63-850-6838, Fax: +82-63-850-6838, E-mail: yejinv2@wku.ac.kr
Received February 5, 2024; Revised February 26, 2024; Accepted February 27, 2024.
This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Abstract
Objectives : This study developed an AI-based patient chatbot and examined the usability and educational effectiveness of the chatbot in the context of Korean medicine education.
Methods : The patient chatbot was developed using the AI chatbot builder 'Danbee', and a total of five experts were surveyed and interviewed to determine the usability, effectiveness, advantages, disadvantages, and improvement points of the chatbot.
Results : The patient chatbot was found to have high usability and educational effectiveness. The advantages of the patient chatbot were 1) it provided students with practical experience in performing clinical skills, 2) it provided instructors with assessment materials while reducing their teaching burden, and 3) it could be effectively used for horizontal and vertical integration education. The disadvantages and improvements of the patient chatbot were 1) improving the accuracy of intention inference, 2) providing students with specific instructions for problem-solving activities, and 3) providing assessment results and feedback about students’ activities.
Conclusions : This study is significant in that it proposes a new training method to overcome the limitations of the existing doctor-patient simulation. It is hoped that this study will stimulate further research on the improvement of students’ clinical skills using artificial intelligence.
Keywords: artificial intelligence, patient chatbot, clinical skills training, Korean medicine
서 론

예비 한의사에게 임상교육은 매우 중요하다. 임상교육을 통해 현장에서 필요한 진료수행과 같은 다양한 술기 역량을 기를 수 있기 때문이다. 하지만 한의과대학 학생들은 실제 환자를 만나 상호작용을 해볼 수 있는 기회가 매우 적다. 학생의 환자 개인정보 접근 등의 법적 제약, 학생의 진료행위에 대한 환자의 인식 등의 현실적인 제약이 있기 때문이다1,2). 그동안 한의대 학생들에게 환자와의 상호작용 경험을 제공하기 위해 그동안 모의환자(simulated patient)나 표준화환자(standardized patient)가 활용되어 왔다3). 이에 더 나아가 최근에는 동료 역할극(peer role-play)을 활용하여 학습자가 서로 의사 역할과 환자 역할을 하는 시뮬레이션 훈련 방법을 적용하는 사례가 나타나고 있다4).

하지만 기존에 활용되어왔던 시뮬레이션 훈련 방법들은 다음과 같은 한계점을 가지고 있다. 모의환자나 표준화환자는 실제 환자와 같이 비슷하게 연기하도록 훈련시키는 데에 시간과 비용이 많이 든다는 단점이 있다4,5). 또한, 학생들이 원하는 공간이나 원하는 시간에 반복적으로 시뮬레이션을 해볼 수 없다는 점도 한계이다. 최근에 제안된 동료 역할극 방법4)은 학생들이 환자의 역할도 함께 해보면서 증상이나 질환에 대해 심도 있게 학습할 수 있다는 장점이 있다. 하지만 의사나 환자 역할을 실제로 할 학생을 무작위로 선정하기 때문에 학생 모두가 역할극에 참여해볼 수 없다는 제한점이 있다. 또한, 동료 역할극을 체계적으로 설계하고 원활하게 진행하기 위해서는 섬세한 사전 준비 작업이 필요하며, 동료 역할극을 진행하면서 발생할 수 있는 다양한 변수들을 고려해야하기 때문에 교수자의 부담이 커질 수 있다.

임상실습교육에 인공지능 챗봇(artificial intelligence-based chatbot)을 활용하면 앞서 언급한 다양한 한계점을 극복할 수 있다. 인공지능 챗봇은 자연어처리(natural language processing), 딥러닝(deep learning), 머신러닝(machine learning) 등의 인공지능 기술을 활용하여 사용자와 대화하는 에이전트이다6). 실제로 인공지능 챗봇이 환자(내담자) 역할을 하도록 개발된 사례로 Clientbot이 있다. Clientbot은 상담 맥락에서 내담자 역할을 하도록 개발되었으며, 예비 상담자의 상담기법 훈련에 효과적이라고 보고되었다7). 이렇게 환자 역할을 하는 인공지능 챗봇을 활용하면 학생들은 시공간의 제약 없이 진료 수행을 연습해볼 수 있으며, 실제 사람을 대상으로 하는 것이 아니기 때문에 부담 없이 반복적으로 학습할 수 있다는 이점이 있다8).

본 연구는 기존 한의학 임상실습교육에서 활용되어오던 의사-환자 시뮬레이션 훈련의 한계점을 극복하기 위해, 인공지능 환자 챗봇을 개발하고 전문가 검토를 통해 챗봇의 사용성과 효과성을 확인해보고자 하였다.

본 론

1. 인공지능 기반 환자 챗봇 개발

인공지능 기반 환자 챗봇은 인공지능 챗봇 빌더 플랫폼인 단비(https://danbee.ai/)를 활용하여 구현하였다. 단비를 통해 구현한 인공지능 챗봇은 사용자의 의도를 파악하는 과정에서 패턴 매칭, 형태소 분석, 머신러닝 등의 자연어처리 기술을 사용한다. 인공지능 기반 환자 챗봇을 개발하기 위해 인공지능 챗봇에 의사와 환자의 대화 시나리오를 학습시키고, 학생이 의사의 역할로 질문을 할 경우 챗봇은 환자처럼 대답하도록 구현하였다. 의사와 환자 시나리오는 조은별 등(2022)의 연구4)에서 사용된 시나리오를 활용하였다. 이 시나리오는 특정 증상과 질환에 대한 의사의 질문과 환자의 대답으로 구성되어 있으며, 본 연구에서는 상복통(증상)과 위궤양(질환)을 주제로 한 시나리오를 활용하였다. 인공지능 챗봇이 학생의 발화 의도를 정확하게 파악할 수 있도록 하기 위해 의사의 각 질문에 대한 핵심 키워드를 추가로 학습시켜 추론하도록 하였다.

환자 챗봇과의 상호작용은 1) 상황지침 제시, 2) 질문과 답변, 3) 검사 및 진단 자료 제공, 4) 질환 맞추기 순으로 진행되도록 설계하였다(Fig. 1). 먼저 상황지침으로 환자와 대화를 시작하기 전에 환자에 대한 기본 정보(이름, 생년월일, 성별, 주소증)를 제공하였다. 또한 혈압, 맥박, 호흡, 체온, 체중, 신장에 대한 활력징후 정보를 제공하였다. 다음으로, 의사 역할을 하는 학생이 질문을 시작하면 챗봇은 미리 학습한 시나리오를 바탕으로 환자처럼 대답을 하는 과정이 진행된다. 구체적으로, 주소증 및 동반증상, 과거력, 가족력, 사회력, 한의학적 문진과 관련된 질문에 대해 챗봇은 환자처럼 대답한다. 이 과정에서 엑스레이 검사, 심전도 검사, 혈액 검사, 설문 검사, 맥진, 설진, 복진 등을 검사 결과를 학생이 확인할 수 있도록 시청각 자료를 제공하였다. 마지막으로 질환 맞추기 단계에서는 학생이 환자 챗봇과의 대화를 끝으로 예상되는 질환을 입력하면 정답 혹은 오답을 챗봇이 알려주도록 하였다. 오답일 경우 학생이 계속 도전하여 질환을 맞출 수 있는 기회를 제공하였다.

Fig. 1. Examples of the interactions with the patient chatbot.

2. 전문가 검토

인공지능 기반 환자 챗봇에 대해 전문가 검토를 실시하기 위해 설문지와 면담지를 개발하였다. 설문지는 챗봇의 사용성(5문항)과 교육적 효과성(5문항)에 대한 문항으로 구성하였다. 각 문항은 Chang 등(2012)의 연구9)에서 사용된 문항을 본 연구에 적합하게 번안하여 5점 리커트 척도 형태로 구성하였다. 설문에 대한 전문가 응답은 평균과 표준편차를 계산하여 분석하였다. 다음으로, 면담지는 챗봇의 장점, 단점, 개선점에 대한 질문으로 구성하였으며, 수집된 질적 응답은 Braun과 Clarke (2006)10)의 주제분석(Thematic Analysis) 방법을 통해 주요 주제를 도출하는 방식으로 분석을 진행하였다. 총 5인의 전문가(한의과대학 진단학, 병리학, 경혈학, 약리학 교수)가 챗봇에 대한 검토를 실시하였다. 연구자는 챗봇을 개발한 목적과 배경을 설명하고, 챗봇의 주요 기능을 설명하였다. 전문가는 직접 챗봇을 활용해보고 이어지는 설문과 면담에 참여하였다.

1) 챗봇의 사용성과 교육적 효과성에 대한 설문 결과: 챗봇에 대한 사용성과 교육적 효과성에 대한 설문조사를 실시한 결과(Table 1), 사용성에 대한 전체 평균은 4.4점으로 나타났다. 전문가는 학생들이 챗봇의 사용 방법을 매우 쉽게 배울 수 있으며, 챗봇에 사용된 용어가 학생들이 이해하기 쉽다고 응답하였다. 다음으로, 교육적 효과성에 대한 전체 평균은 4.6점으로 나타났다. 전반적으로 전문가들은 챗봇을 학습에 활용하는 것을 매우 긍정적으로 생각하였으며, 챗봇이 학생들의 진료수행 역량 향상에 도움이 된다고 응답하였다.

Result of the usability and educational effectiveness of the AI-based patient chatbot

Category Survey questions M (SD)
Usability This chatbot is easy for students to use 4.6 (.49)
The terms used in this chatbot are easy for students to understand 4.8 (.40)
It is easy for students to find the features or information they want in this chatbot 4.8 (.40)
This chatbot is easy for students to learn how to use 4.0 (1.10)
The chatbot will not cause students to make mistakes (e.g., operation miss) 3.8 (1.47)
Total 4.4 (.98)
Educational effectiveness This chatbot helps students improve their diagnostic skills 4.6 (.49)
This chatbot is effective in improving student’s diagnostic skills 4.4 (.49)
This chatbot improves student’s diagnostic skills 4.6 (.49)
I am positive about using this chatbot 4.8 (.40)
I am willing to use this chatbot in my course or lecture 4.6 (.49)
Total 4.6 (.49)


2) 챗봇의 장점에 대한 면담 결과: 면담을 실시한 결과, 챗봇의 장점으로 1) 학습자에게 실제적인 진료 수행 경험 제공, 2) 교수자에게 평가 자료 제공 및 실습 교육 부담 경감, 3) 수평 및 수직 통합 교육을 위한 활용 가능성이 도출되었다. 먼저, 본 연구에서 개발한 챗봇은 학습자에게 실제적인 진료 수행의 경험을 제공하는 것으로 나타났다. 기존 임상술기교육에서 실시되었던 동료 역할극에서는 학생들이 실제 아동이나 노인과 같은 환자 역할을 해야 하는 경우도 있는데, 학생과 환자의 인구학적 특성이 불일치할 경우 의사 역할을 하는 학생이 환자에게 공감하거나 진료에 몰입하기 어렵다는 한계점이 있었다. 본 연구에서 개발한 챗봇은 다양한 특성을 가진 환자로 설계할 수 있으며, 의사 역할을 하는 학생이 대상에 대한 인지부조화를 겪지 않고 진료 수행에 몰입할 수 있도록 할 수 있다. 또한, 챗봇이 다양한 시청각 자료 형태의 검사 결과를 제시해주기 때문에 학생들은 이학적, 신경학적, 영상 검진 결과 등을 즉각적으로 활용할 수 있다.

챗봇의 두 번째 장점으로 교수자에게 평가 자료를 제공할 수 있으며, 실습 교육에 대한 부담을 줄여줄 수 있다는 점이 제시되었다. 그동안의 임상술기실습 강의에서는 교수자가 학생의 실습 상황을 일일이 지켜보면서 학생의 학습 상태를 평가해야 하는 번거로움이 있었다. 하지만 본 연구에서 개발한 챗봇을 활용하면 학생의 모든 활동이 로그 데이터(log data)로 축적되기 때문에 교수자는 보다 손쉽게 학생의 학습 상태나 결과를 평가할 수 있다. 더불어, 다양한 증상이나 질환을 가진 챗봇을 미리 개발해두면 임상실습 교육을 동료 역할극으로 진행하는 것에 비해 교수자의 부담을 줄여줄 수 있다는 장점도 도출되었다.

챗봇의 세 번째 장점으로 수평 및 수직 통합 교육을 위해 챗봇이 효과적으로 활용될 수 있는 가능성이 제시되었다. 최근 한의학 교육과정의 수평 및 수직 통합이 강조되고 있는데, 수평 통합은 특정 학년 혹은 같은 시기에 주제 간 통합을, 수직 통합은 다른 학년 혹은 다른 시기에 기초와 임상 간 통합을 의미한다. 학생이 환자 챗봇의 증상을 확인하고, 예상되는 질환을 추론하고, 환자 챗봇과 대화하는 과정에서 임상의학(진단학 등) 뿐만 아니라 한의학기초(병리학 등)나 의료인문학(의학윤리 등)에 대한 다양한 지식을 통합적으로 활용해야하기 때문에 본 연구에서 개발한 환자 챗봇은 수평 및 수직 통합 교육에 효과적으로 활용될 수 있다.

3) 챗봇의 단점 및 개선점에 대한 면담 결과: 챗봇의 단점 및 개선점으로는 1) 의도 추론 정확도의 향상 필요성, 2) 지시문 제공의 필요성, 3) 평가 및 피드백 제공의 필요성이 제시되었다. 먼저, 학생의 질문에 대해 챗봇이 질문의 의도를 추론하는 능력을 향상시킬 필요성이 있다는 의견이 제시되었다. 의사 역할을 하는 학생이 같은 의도이더라도 다양한 형태로 질문할 수 있기 때문에 챗봇은 그 의도를 정확하게 파악하여 답변할 수 있도록 고도화될 필요가 있다. 이를 위해서 의사 질문의 형태를 다양화한 방대한 데이터를 챗봇에게 학습시키거나, 자연어처리 시 발화 의도 추론의 정확도가 높은 인공지능 모델을 활용하는 것이 방안이 될 수 있다.

챗봇의 두 번째 단점 및 개선점으로 학생에게 지시문을 제공할 필요성이 있다는 점이 도출되었다. 현재 환자 챗봇은 대화 시작 전 환자에 대한 기본적인 인구통계학적 정보와 활력징후 정보를 제공하고 있지만, 의사 역할을 하는 학생이 이 챗봇을 통해서 어떠한 문제를 해결해야하는지에 대한 정보를 제공하고 있지 않다. 따라서 학생에게 “이 환자에 대해서 문진, 이학적 및 신경학적 진단, 설문 검사 등을 활용해서 어떤 질환을 가지고 있는지 임상추론을 수행하시오.”와 같은 구체적인 지시문을 제공하여 학습 활동을 안내할 필요가 있다.

챗봇의 세 번째 단점 및 개선점으로 학생의 활동에 대한 평가와 피드백이 제공되어야 한다는 점이 제시되었다. 본 연구에서 개발한 챗봇의 경우 환자와 대화를 마치고 나서 의사 역할을 하는 학생이 예상되는 질환을 입력하면 정답인지 오답인지에 대한 여부만을 알려준다. 여기에서 더 나아가 학생이 왜 그러한 임상추론을 하였는지에 대한 이유를 작성하게 하여, 임상추론 과정이 적절하게 진행되었는지에 대한 피드백을 제공할 수 있다. 또한 학생이 틀린 답을 입력하였을 경우 정답과 함께 정확한 임상추론의 과정을 해설로 제공해주는 것이 필요하다. 이러한 평가와 피드백을 통해 학생은 자신이 수행했던 임상추론의 과정을 성찰하고 오개념을 바로 잡을 수 있다.

고찰 및 결론

본 연구는 한의학교육 맥락에서 임상실습을 위한 인공지능 기반 환자 챗봇을 개발하여 챗봇의 사용성과 교육적 효과성을 확인하였다. 선행연구에서 개발된 인공지능 기반 챗봇은 텍스트를 통해서만 대화가 가능하였다면11), 본 연구에서는 학생이 다양한 시청각 검진 자료를 활용할 수 있도록 개발하였다. 전문가 검토 결과, 환자 챗봇의 사용성과 교육적 효과성은 높은 것으로 나타났다. 구체적으로 환자 챗봇은 학생에게 실제적인 진료 수행의 경험을 제공하였는데, 이러한 가상 환자(virtual patient)를 활용한 교육이 전통적인 교육 방법과 비교하여 학생의 지식과 기술을 효과적으로 향상시킬 수 있다는 연구결과가 보고되고 있다12). 더불어, 교수자에게 학습 상태를 평가할 수 있는 자료를 제공하면서 동시에 실습 교육의 부담을 줄여줄 수 있다. 그리고 환자 챗봇이 수평 및 수직 통합 교육에 효과적으로 활용될 수 있다는 가능성도 확인하였다. 한편, 환자 챗봇의 의도 추론 정확도를 향상시킬 필요가 있으며, 문제해결 활동을 구체적으로 안내하는 지시문을 학생에게 제공하고, 학생의 활동을 평가하여 피드백을 제공할 필요가 있다는 것이 개선점으로 나타났다. 나아가 학생에게 모범 사례나 자신의 활동에 대한 성찰의 기회를 제공한다면 효과적으로 학습을 촉진할 수 있을 것이다13).

본 연구는 기존 한의학교육 맥락에서 진행되었던 의사-환자 시뮬레이션 방법의 한계를 극복하기 위해, 인공지능 기술을 활용하여 새로운 훈련 방법을 제안하였다는 점에서 의의가 있다. 기존의 임상실습 훈련 방법이 가지고 있는 이점도 분명히 존재하기 때문에, 본 연구에서 제안한 훈련 방법을 통합적으로 활용한다면 임상 실습의 효과가 극대화될 수 있을 것이다. 본 연구는 전문가를 대상으로만 사용성이나 교육적 효과성을 확인하였다는 한계점이 있다. 추후 연구로 실제 환자 챗봇을 사용하게 될 학습자를 대상으로 환자 챗봇이 진료 수행 역량 향상에 효과가 있는지를 검증할 필요가 있다. 또한, 향후 비대면 진료를 위한 인공지능 기반 환자 챗봇의 교육적 활용 방안, 인공지능 기반 환자 챗봇과 관련된 윤리적 이슈에 대한 연구가 진행될 필요가 있다. 본 연구를 통해 한의학 임상교육에서 인공지능 기술이 적극적으로 활용되고, 이를 통해 실제적으로 진료 역량을 향상시키는 연구들이 활성화되기를 기대한다.

Acknowledgement

None.

Funding

None.

Data availability

The authors can provide upon reasonable request.

Conflicts of interest

저자는 아무런 이해 상충이 없음을 밝힌다.

References
  1. Yoon TY, Lee JK, Oh IH. Changes in the clerkship in Korean medical schools: the prospect of a student internship. Korean Medical Education Review. 2013 ; 15(2) ; 75-81. https://doi.org/10.17496/kmer.2013.15.2.075
    CrossRef
  2. Kang YS, Chae YB, Ko HY, Kim HH, Kim HS, Hong JS, et al. A study on the improvement of the national examination system for Korean medicine doctors. Institute of Korean Medicine Education & Evaluation. RE02-1802-03.
  3. Jo HJ, Roh JD, Sung HK, Park JS. A survey on students’ perception of clinical performance examination (CPX) in college of Korean medicine using student standardized patients. Journal of Society of Preventive Korean Medicine. 2020 ; 24(3) : 1-13. https://doi.org/10.25153/spkom.2020.24.3.001
    CrossRef
  4. Cho EB, Jung HJ, Leem JT. Peer role-play in a college of Korean medicine to improve senior students’ competencies in patient care and communication: a case analysis and proposal for a model. The Journal of Korean Medicine. 2022 ; 43(3) : 49-64. https://doi.org/10.13048/jkm.22030
    CrossRef
  5. Park HK. Medical education using standardized patients. Hanyang Medical Reviews. 2012 ; 32(1) : 35-44. http://dx.doi.org/10.7599/hmr.2012.32.1.35
    CrossRef
  6. Smutny P, Schreiberova P. Chatbots for learning: a review of educational chatbots for the Facebook messenger. Computers & Education. 2020 ; 151 : 103862. https://doi.org/10.1016/j.compedu.2020.103862
    CrossRef
  7. Tanana MJ, Soma CS, Srikumar V, Atkins DC, Imel ZE. Development and evaluation of clientbot: patient-like conversational agent to train basic counseling skills. Journal of Medical Internet Research. 2019 ; 21(7) : e12529. https://doi.org/10.2196/12529
    Pubmed KoreaMed CrossRef
  8. Kleinsmith A, Rivera-Gutierrez D, Finney G, Cendan J, Lok B. Understanding empathy training with virtual patients. Computers in human behavior. 2015 ; 52 : 151-8. https://doi.org/10.1016/j.chb.2015.05.033
    Pubmed KoreaMed CrossRef
  9. Chang CC, Yan CF, Tseng JS. Perceived convenience in an extended technology acceptance model: mobile technology and english learning for college students. Australasian Journal of Educational Technology. 2012 ; 28(5) : 809-26. https://doi.org/10.14742/AJET.818
    CrossRef
  10. Braun V, Clarke V. Using thematic analysis in psychology. Qual. Res. Psychol. 2006 ; 3 : 77-101. https://doi.org/10.1191/1478088706qp063oa
    CrossRef
  11. Suárez A, Adanero A, Díaz-Flores García V, Freire Y, Algar J. Using a virtual patient via an artificial intelligence chatbot to develop dental students’ diagnostic skills. Int J Environ Res Public Health. 2022 ; 19(14) : 8735. https://doi.org/10.3390/ijerph19148735
    Pubmed KoreaMed CrossRef
  12. Kononowicz AA, Woodham LA, Edelbring S, Stathakarou N, Davies D, Saxena N, et al. Virtual patient simulations in health professions education: systematic review and meta-analysis by the digital health education collaboration. J Med Internet Res. 2019 ; 21(7) : e14676. https://doi.org/10.2196/14676
    Pubmed KoreaMed CrossRef
  13. Plackett R, Kassianos AP, Mylan S, Kambouri M, Raine R, Sheringham J. The effectiveness of using virtual patient educational tools to improve medical students’ clinical reasoning skills: a systematic review. BMC Med Educ. 2022 ; 22(1) : 365. https://doi.org/10.1186/s12909-022-03410-x
    Pubmed KoreaMed CrossRef


March 2024, 41 (1)
Full Text(PDF) Free


Cited By Articles
  • CrossRef (0)
Social Network Service
Services