سنتز روش شناختی در شیوه گزارش در تحقیقات کمی زبان دوم : مقایسه مجلات ایرانی و بین المللی در طول یک دهه

اهمیت روش‌های کمی دقیق در زمینه SLA غیر قابل بحث است. سنتز روش‌شناختی «نه تنها به دنبال توصیف، بلکه به دنبال ارزیابی و اظهار نظر در مورد شیوه‌های این حوزه با هدف بهبود تحقیقات آینده نیز هست» (پلانسکی و گونولال، ۲۰۱۵، ص ۱۲). با این حال، تلاش کمی برای توضیح «چگونگی SLA» انجام شده، و حتی کمتراز آن به صراحت به «کیفیت تلاش های تجربی» پرداخته اند (پلانسکی، ۲۰۱۳، ص ۶۵۶). به طور خاص، تعداد کمی از مطالعات به بررسی مسائل روش شناختی در حوزه داخلی ایران پرداخته اند. پژوهش حاضر با مقایسه جامع کیفیت مطالعه و شیوه‌های گزارش‌دهی در مجلات منتخب ایرانی و بین‌المللی و الگوی تغییر آنها در طول زمان، سعی در پیروی از این خط تحقیقاتی دارد. سیصد و سی و شش مقاله تجربی از نه مجله چاپ داخلی و سیصد و هشتاد و دو مقاله از هفت مجله بین المللی برای این مطالعه انتخاب شدند. از یک طرح کدگذاری یکپارچه و تعدیل شده استفاده شد و دو کدگذار مقالات را از طریق فرم گوگل کدگذاری کردند. سپس، آمار توصیفی برای هر مجموعه از مجلات و عملکرد آنها طی سه دوره مورد بررسی قرار گرفت. علاوه بر این، از روش تحلیلی کای اسکوئر برای تعیین تفاوت‌های آماری معنی‌دار بین دو مجموعه از مجلات در جنبه های کیفیت مطالعه استفاده شد. نتایج پایبندی قابل قبولی به استانداردهای کیفیت روش شناختی، مانند حجم نمونه، پیش آزمون، گزارش آماری توصیفی و استنباطی، و گزارش قابلیت اطمینان ابزارها و ارزیاب ها در هر دو مجموعه مجلات را نشان داد. با این حال، ضعف‌هایی در ویژگی‌های مختلف کیفیت مطالعه مشاهده شد که در طول زمان تقریباً ثابت بوده یا اندکی بهبود یافته اند. در نهایت، تفاوت های آماری معنی داری در چند جنبه بین دو گروه مجلات مشاهده شد. نتایج این مطالعه می تواند به دانشجویان کارشناسی ارشد و دکتری و همچنین محققانی که به دنبال پیروی از یک رویکرد جامع و مشارکتی برای تحلیل روش‌شناختی هستند، کمک شایانی کند.

Abstract

The importance of meticulous quantitative methods in the SLA field is out of question. Methodological synthesis “seeks not only to describe but to evaluate and comment on the field’s practices with the intention to improve future research as well” (Plonsky & Gonulal, ۲۰۱۵, p. ۱۲). However, a few academic efforts in this area have attempted to explain the “how of SLA”, and even fewer have explicitly addressed “the quality of empirical efforts” (Plonsky, ۲۰۱۳, p. ۶۵۶). More specifically, very few studies have investigated methodological issues in the Iranian context. The current study endeavored to follow this line of research by comprehensively comparing study quality and reporting practices in the selected Iranian and international journals and their changing pattern over time. Three hundred and thirty-six experimental articles from nine locally-published journals and three hundred and eighty-two from seven top-tier international journals were selected for this study. An Integrated-moderated coding scheme was used, and two coders coded the articles via Google form. Next, the descriptive statistics for each set of journals and their practices throughout three periods were scrutinized. Moreover, chi-square analyses were conducted to determine if there are any statistical significant differences among the two sets of journals for the study quality facet. The results revealed acceptable adherence to methodological quality standards, such as sampling size, pretesting, descriptive and inferential statistics reporting, and reliability reporting for instruments or raters in both sets of journals. However, weaknesses were observed in various features of the study quality, which were almost consistent or slightly improved over time. Finally, statistically significant differences were observed in several aspects between the two groups of journals. The results of this study may be of great help to master's and Ph.D. students as academicians and as well as primary researchers who aspire to follow a holistic and collaborative approach to methodological

analysis.