طراح‌آزمون: چارچوبی نیمه‌خودکار مبتنی بر مدل زبانی بزرگ برای تحلیل رده‌شناختی نظام مطابقه در گویش بختیاری ایذه

نوع مقاله : مقاله پژوهشی

نویسندگان

1 گروه کامپیوتر، واحد دزفول، دانشگاه آزاد اسلامی، دزفول، ایران.

2 گروه زبان شناسی، واحد بوشهر، دانشگاه آزاد اسلامی، بوشهر، ایران.

چکیده

مستندسازی سریع گویش‌های درخطر ایرانی به دلیل روش‌های دستی وقت‌گیر با بحران مقیاس مواجه است. این مطالعه با هدف طراحی و ارزیابی یک چارچوب نیمه‌خودکار مبتنی بر مدل زبانی بزرگ (LLM) برای تسریع تحلیل‌های رده‌شناختی انجام شد. در یک روندکار «انسان-در-حلقه»، از مدل Llama 3.1 و یادگیری چندمثاله‌ای برای استخراج الگوهای نظام مطابقه از یک پیکره ۵۴۰۰ جمله‌ای از گویش بختیاری ایذه استفاده شد. عملکرد مدل بر روی یک مجموعه آزمون حاشیه‌نویسی‌شده طلایی (۴۵۰ جمله) با معیارهای دقت، بازیابی و F1 ارزیابی و خطاها به طور کیفی تحلیل شدند.

مدل به دقت کلی ۸۷.۴٪ و نمره F1 معادل ۸۷.۴ دست یافت. تحلیل کیفی ۱۲.۶٪ خطاها، دو محدودیت اصلی را آشکار کرد: ۱) سوگیری مدل به ساختارهای پرتکرار، و ۲) دشواری در پردازش پدیده‌های واجی-صرفی خاص (مانند جمع‌های مکسر). از منظر کارایی، این چارچوب صرفه‌جویی ۷۸٪ در زمان و امکان پردازش ۴.۶ برابر داده بیشتر در واحد زمان را محقق کرد. یافته‌ها نشان می‌دهد مدل‌های زبانی بزرگ در قالب یک سیستم همکار انسان‌محور، می‌توانند سرعت و مقیاس مستندسازی زبان‌های کم‌منبع را به طور چشمگیر و بدون کاهش دقت افزایش دهند. این چارچوب الگویی عملی برای شتاب‌بخشی به مطالعات میدانی زبان‌شناسی ایرانی ارائه می‌کند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Design-Test: A Semi-Automated LLM-Based Framework for Typological Analysis with Human-in-the-Loop – A Case Study of Agreement Systems in the Bakhtiari Dialect of Izah

نویسندگان [English]

  • Saeed Mazraeh 1
  • Naser Alifar 2
1 Department of Computer, Dez.C., Islamic Azad University, Dezful, Iran.
2 Department of Linguistics, Bu.C., Islamic Azad University, Bushehr, Iran.
چکیده [English]

The rapid documentation of endangered Iranian dialects is hampered by a scalability crisis due to time-intensive manual methods. This study aimed to design and evaluate a semi-automated framework based on a Large Language Model (LLM) to accelerate typological analysis. Employing a human-in-the-loop workflow, the Llama 3.1 model and few-shot learning were used to extract agreement system patterns from a 5,400-sentence corpus of the Bakhtiari dialect of Izah. The model's performance was evaluated on a gold-standard annotated test set (450 sentences) using precision, recall, and F1-score metrics, followed by a qualitative error analysis.

The model achieved an overall accuracy of 87.4% and an F1-score of 87.4. Qualitative analysis of the 12.6% errors revealed two main limitations: 1) the model's bias towards high-frequency structures, and 2) its difficulty in processing specific morphophonological phenomena (e.g., broken plurals). In terms of efficiency, the framework yielded a 78% reduction in analysis time and enabled the processing of 4.6 times more data per unit of time. The findings demonstrate that LLMs, when embedded within a human-centric collaborative system, can dramatically enhance the speed and scale of low-resource language documentation without compromising accuracy. This framework provides a practical model for accelerating fieldwork in Iranian dialectology.

کلیدواژه‌ها [English]

  • Human-in-the-Loop
  • Iranian Dialects
  • Large Language Models (LLMs)
  • Natural Language Processing (NLP)
  • Syntactic Typology

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 13 مهر 1405
  • تاریخ دریافت: 24 اردیبهشت 1405
  • تاریخ بازنگری: 23 خرداد 1405
  • تاریخ پذیرش: 13 تیر 1405