COVID-19 вирусын цар тахлаас үүдэн 2020 оны хавар болон намар явуулсан цахим сургалтын шалгалтыг багш нар цахимаар авсан билээ. Багш нар "Шалгалтын үеэр оюутнууд цахимаар харилцаж асуултын хариу дамжуулж байна. Улмаар сүүлийн хэдхэн минутад л бүгд хариулаад дуусгаж байна" гэх зэргээр ярьж байсныг би өөрийн чихээр сонсож байлаа. Шалгалт өгч буй оюутнуудыг багш нар биеэчлэн хянах боломжгүй бас янз бүрийн шалтгааны улмаас хүн бүрт өөр өөр асуулт оноох боломжгүй байснаас өргөн хуулалт явсан болов уу. Энэ байдал миний ойр тойронд байдаг зарим нэг оюутан дүү нараас ч тодорхой мэдрэгдэж байлаа.

Харин миний би өөрийн заасан хичээлүүдийн хувьд шалгалтын нөхцөл байдал ямар байсныг одоо ийнхүү статистик аргаар судалж зарим хэдэн дүгнэлт гаргаснаа та бүхэнтэй хуваалцаж байна. Би шалгалтаа авахдаа өөрийнхөө хөгжүүлсэн веб сайтаа ашигласан тул шалгалтын бүхий л процессын талаарх мэдээллийг бүрэн цуглуулж чадсан. Үүнд хэн, хэзээ, хаанаас буюу IP хаягаас хандсан болон ямар бодлого оногдсон бас хариулт нь зөв байсан эсэх зэрэг багтана. Тус өгөгдлийг github.com/galaamn/source-code-on-statistics цахим хуудсаас татан авах боломжтой.

Шалгалтын хугацаа

Эхлээд хамгийн энгийн асуудал болох шалгалтын хугацааг авч үзье. Оюутнуудад учрах харилцаа холбооны техник, технологийн бэрхшээлийг бодолцож шалгалтын хангалттай урт хугацаа бүр тодруулбал бүтэн хоёроос гурван өдөр олгосон. Дор харуулсан гистограммын хувьд шалгалт 64 цагийн турш нээлттэй байсан.

Ингээд 64 цагийн турш нээлттэй байсан шалгалтын систем уруу нэр бүхий 88 оюутан тус бүрдээ чухам хэдийд анх хандаж шалгалтаа өгч эхэлснийг олж улмаар дүрсжүүлж харахын тулд дээрх гистограмм байгуулсан. Эндээс нийт оюутнуудын 90 орчим хувь нь сүүлийн өдөрт л шалгалтаа өгснийг харж болно. Бусад хэдэн шалгалтын хувьд ч ийм дүр зураг ажиглагдсан. Ийнхүү шалгалт нэг өдөр үргэлжлэхэд хангалттай гэсэн дүгнэлт гарлаа.

Хэрэв хуулах боломжийг хязгаарлах зэрэг өнцгөөс харвал шалгалтын хугацааг улам богиносгох шаардлагатай болов уу. Би хувьдаа тестийн хариуг шууд дамжуулж хуулахаас сэргийлэхийн тулд асуулт, бодлогыг санамсаргүйгээр оноох эсвэл өгөгдөл болон параметрийг нь автоматаар сольж өөрчлөх зэрэг арга хэмжээ авсан. Энэ тал дээр бэлэн шалгалтын систем ашиглаагүй буюу өөрийн гараар бичиж хөгжүүлсний хэрэг гарсан. Гэсэн хэдий ч хуулах оролдлого гарсан нь бараг л гарцаагүй гэж тааварлаж байна. Ингээд шалгалтын протоколоос хуулалтын шинж тэмдэг илрүүлэхээр оролдож үзье.

Цахим шалгалтын үеэр хуулах байдал

Урт хугацаанд үргэлжилсэн шалгалтын хувьд хуулалтын нөлөө нь алдаатай хариултын тохиолдол ба хугацааны холбоо хамаарлаар илэрнэ гэж үзэж байна. Өөрөөр хэлбэл хугацааны эхэнд шалгалт өгсөн оюутнууд илүү алдаж байснаа хугацааны төгсгөл уруу шалгалт өгсөн оюутнууд бага алдаж эхэлбэл оюутнууд нэг нэгнээсээ хуулж байна хэмээн сэжиглэнэ. Ингээд үүнийг тогтоохын тулд зөв ба буруу хариултын хоёр бүлэг хугацааны хувьд байрлалын ялгаатай эсэхийг t шинжүүрийн тусламжтай шалгая. Шинжүүрийн үр дүн дараах байдалтай гарав.

	Welch Two Sample t-test

data:  time by correctness
t = 4.2094, df = 158.4, p-value = 4.279e-05
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 3.174694 8.787332
sample estimates:
mean in group incorrect   mean in group correct 
               55.54648                49.56547

Дээрх үр дүнг харвал зөв ба буруу хариулт хугацааны хувьд байрлалын ялгаагүй гэсэн тэг таамаглал няцаагджээ. Ингээд дээрх сэжиг баттай боллоо доо гэж бодох гэтэл хоёр бүлгийн дунджийн харьцаа үүнтэй зөрчилдөж байна. Тодруулбал эхэлж шалгалт өгсөн оюутнууд цөөн алдаа гаргаж байсан бол харин сүүлд өгсөн нь олон алджээ. Яг үнэндээ t шинжүүр энэхүү ялгааг л нотолжээ. Ийнхүү шинжилгээг цааш гүнзгийрүүлэн явуулах шаардлага тулгарлаа.

Улмаар дээр авч үзсэн шиг шалгалт өгч эхлэх эгшинг сонирхож үзэв.

Эндээс найман оюутан шалгалтын хоёр дахь өдөр шалгалт өгсөн, тийнхүү өгөхдөө цаг хугацааны хувьд бүр маш ойрхон өгсөн байгаа нь анхаарал татна. Ингээд эдгээр 8 оюутны алдааны хувийг шалгалтын сүүлийн өдөр шалгуулсан бусад оюутнуудын алдааны хувьтай харьцуулахад мэдэгдэхүйц ялгаа гарсан. Харин эсрэгээрээ дээрх таамаглалыг шалгалтын хоёр өдрийн хувьд тус тусад нь салгаж байгаад шалгаж үзэхэд магадлалын утгууд нь 0.49 болон 0.62 гэж гарсан. Өөрөөр хэлбэл өдөр өдрөөр нь салгасан үед зөв ба буруу хариулах явдал дахь цаг хугацааны нөлөө батлагдахгүй байна.

Ийнхүү эцсийн хувилбар болох тэдгээр 8 оюутан шалгалтыг хамтарч өгсөн хэмээх таамаглал дэвшүүллээ. Энэ нь цаг хугацааны хувьд няцаагдахгүй байгааг тэмдэглэе. Хэрэв хамгийн эхэнд буй гистограм дээрх шиг түрүүлж шалгуулсан оюутнууд хугацаан шулуун дээр тарж байрласан бол ийнхүү сэжиглэхгүй байх билээ. Ингээд энэ явдал дараагийн шалгалт дээр дахин давтагдах эсэхийг шалгав. Удаах шалгалт дээр ч бас л 8 оюутан шалгалтын хоёр дахь өдөр шалгуулсан нь тогтоогдов. Мөн тэдгээр оюутнууд өмнөх шалгалтынхтай адил бусдаасаа илт ялгаатай өндөр оноо авсан нь t шинжүүрээр 0.0003 магадлалын утгатайгаар батлагдсан.

Улмаар эхний болон сүүлийн шалгалтын мэдээллээс тэдгээр найм, найман оюутнуудын ID (миний хөгжүүлсэн шалгалтын системийн дотоод ID дугаар) дугаарыг шүүж гаргав.

104, 106, 109, 118, 120,      125, 126, 127
     106, 109, 118, 120, 122, 125, 126, 127

Гэтэл 106, 109, 118, 120, 125, 126, 127 долоон ширхэг дугаар ахин давтагдав. Ийнхүү эдгээр 7 оюутан шалгалтаа өгөхдөө өөр хоорондоо холбоо харилцаа тогтоож байна гэсэн сэжиг цаг хугацаа болон зөв ба буруу хариулах байдал гэсэн хоёр зүйлээр үнэний ортой болов.

Бусдын нэрийн өмнөөс шалгалт өгөх явдал

Өөрийнхөө нэрийн өмнөөс хэн нэгнийг шалгалтад оруулах явдал бүр танхимын сургалтын үеэр ч тохиолддог хэмээн багш нар өгүүлдэг билээ. Энэ нь алсын зайнаас авч буй цахим шалгалтын хувьд бүр илүү бодитой явдал болно. Үүнийг илрүүлэхийн тулд IP хаяг ашиглав. Тухайлбал сүүлд авч үзсэн шалгалтын хувьд 202.126.89.45 ба 202.126.90.67 хоёр IP хаяг дээрээс хэд хэдэн оюутан шалгалт өгчээ. Үүнээс нэн ялангуяа 202.126.90.67 IP хаяг илүү анхаарал татаж байна. Яагаад гэвэл энэ хаягаас шалгалтын сүүлийн өдөр цаг хугацааны хувьд ойролцоодуу боловч үл давхацсан байдлаар нийтдээ 6 оюутан шалгалт өгсөн байна. Үүнийг хайрцган диаграммаар дүрсжүүлснээ дор оруулав.

Тус IP хаягийг шалгаж үзэхэд Mobicom корпорацийн хөдөлгөөнт интернэт үйлчилгээний IP хаяг болох нь тогтоогдсон. Хэрэв манай сургуулийн IP хаяг байсан бол үүнийг хичээлийн байр эсвэл оюутны дотуур байраас интернэтэд холбогдсон олон өөр оюутан гэж тайлбарлаад миний сэжгийг няцааж болох л юм. Гэвч тус шалгалтыг 12 сарын 24-25-ны өдрүүд буюу хөл хорио тогтоосон, оюутны байраас оюутнуудыг гаргаж орон нутаг уруу нь буцаасан, хичээлийн байр уруу оюутнуудыг нэвтрүүлэхгүй байсан цаг үед авсан учраас нэг оюутан 5 өөр оюутны өмнөөс шалгалт өгсөн гэж сэрдэх бүрэн үндэслэлтэй болж байгаа юм. Харин тус IP хаяг Моби-гийн хөдөлгөөнт интернэтийнх бас шалгалтын асуултад хариулсан байдал нь цаг хугацааны хувьд үл давхацсан мөртөө өөр хоорондоо нэлээд ойролцоо байгаа явдал нь нэг оюутан өөр 5 оюутны нэрийн өмнөөс шалгалт өгсөн гэсэн сэжгийг улам лавшруулж байна.

Дүгнэлт буюу шийдвэр

Дээрх үр дүнгүүдийг эш үндэс болгон цахим шалгалтын үеэр хуулах явдлыг хүндрүүлэхийн тулд санамсаргүй асуулт, даалгавар өгөхөөс гадна шалгалтын үргэлжлэх хугацааг богиносгох бүр танхимын шалгалттай ижил 90 минут болгох, бусдын нэрийн өмнөөс шалгалт өгөх явдлыг бууруулахын тулд шалгалтаас оюутан чөлөөлөхгүй байх болон шалгалтын үргэлжлэх хугацааг богиносгох зэрэг дүгнэлт буюу шийдвэр гаргалаа.