🤖 Model Arena Evaluation

Compare two model simulations and choose the better one!

Situation

• This scenario assumes that the patient called the hospital's administrative office for an outpatient inquiry.

• Depending on the patient, some may already know their condition because they have diagnostic records from a smaller clinic they previously visited, while others may only know their symptoms since it’s their first visit to the hospital.

Procedure and Explanation

• First step: Arena! Please choose which of the two simulations you think is better.

• Second step: After making your choice, a scoring panel will appear. Please rate each simulation on a scale of 1 to 5.

• Regardless of which one you selected in step 1, please rate each simulation indepentently based on the criteria below.

• There’s no required number! Just do as many as you feel like, and hit the submit button before you leave. You can always come back and do a few more later if you’re bored!.

Evaluation Criteria

If the simulation satisfies all four criteria below, please give it 5 points. Deduct 1 point for each criterion that is not met. If none of the criteria are satisfied, assign a score of 1 point.

• Patient: The patient expresses symptoms naturally without using excessive medical jargon.

• Staff : The staff does not diagnose like a doctor or provide treatment based on previous medical records, but instead focuses on asking appropriate questions within the scope of symptom checking, registration, and guidance. The tone of language is empathetic and polite.

• Flow : The conversation proceeds naturally in the following order — greeting → patient information collection → symptom collection → department assignment — and each stage achieves its intended purpose.

• Overall: The conversation overall feels realistic, resembling an actual hospital reception scenario (sentences are concise and the closing expressions sound natural).

상황

• 환자가 병원 원무과에 외래 진료 문의를 위해 전화한 상황을 가정합니다.

• 환자에 따라 이전 작은 병원에서 받은 진단 기록을 가지고 있어 자신의 질병을 이미 알고 있는 경우도 있고, 병원을 처음 방문해 증상만 알고 있는 경우도 있습니다.

과정 및 설명

• First Step: Arena! 두 개의 시뮬레이션 중에서, 실제 병원 원무과 직원과의 대화가 더 현실적 것을 선택해주세요.

• Second step: Rate! 선택이 끝나면 점수판이 뜹니다. 각각의 시뮬레이션에 1~5점 사이 점수를 매겨주세요. 평가 기준은 아래 섹션을 참고 해주세요!

• 1번에서 어떤 걸 골랐는지와 상관없이, 두 시뮬레이션을 보고 아래 평가 기준에 맞춰서 점수를 매겨주세요.

• 개수는 상관 없습니다(그래도 최소 10개정도만 부탁드려용).. 그냥 적당히 하실만큼 하시다가 다하고 나가시기 전에 꼭 submit 버튼만 눌러주시면 돼요! 그리고 나중에 심심하시면 쫌쫌따리 해주셔도 좋아여..

점수 평가 기준

아래의 4가지 기준을 모두 만족하면 5점, 기준을 충족하지 못한 항목이 하나 있을 때마다 1점씩 감점해 주세요. 모든 기준을 만족하지 못한 경우는 1점을 부여하면 됩니다.

• Patient: 증상 호소가 자연스럽고, 과도한 의학 전문 용어가 사용되지 않았는지.

• Staff : 의사처럼 진단하거나 혹인 이전 진단 기록을 바탕으로 치료를 하지 않고, 증상 확인·접수·안내 범위 내에서 질의를 잘 수행했는지, 언어 톤이 공감 있고 친절했는지.

• Flow : 인사 → 환자 정보 수집 → 증상 수집 및 이전 진단 기록 여부 → 진료과 배정 순서로 자연스럽게 진행되었고, 각 단계의 목적이 모두 달성되었는지.

• Overall: 전체적으로 실제 병원 접수 상황처럼 느껴지는지(문장 표현이 간결하고, 대화의 끝맺음이 자연스러운지 등).

기타

편의를 위해 LLM 번역 기능을 추가했는데(Change language), 번역하는 데 시간이 걸릴 수 있습니다. GPT-5 Nano 모델을 사용하고 있어서 부정확할 수 있으니 번역본은 참고용으로만 해주시면 감사하겠습니다.

• 가령 'I am sorry to hear that'이라는 문장을 '듣기에 죄송합니다' 이렇게 이상하게 해석되는 경우가 있을 수 있는데, 번역해서 읽다가 이상한 부분은 영어로 잠깐 바꿔서 원문을 봐주시면 됩니다. 이러한 경우 번역의 오류이므로 이 부분은 감안하고 점수를 매겨주시기 바랍니다.