Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2020 Dec;51(4):610-616.
doi: 10.1016/j.jmir.2020.09.009. Epub 2020 Oct 10.

Evaluation of academic integrity of online open book assessments implemented in an undergraduate medical radiation science course during COVID-19 pandemic

Curtise Kin Cheung Ng  1
Affiliations

Evaluation of academic integrity of online open book assessments implemented in an undergraduate medical radiation science course during COVID-19 pandemic

Curtise Kin Cheung Ng. J Med Imaging Radiat Sci. 2020 Dec.

Abstract
in English, French

Introduction: Online open book assessment has been a common alternative to a traditional invigilated test or examination during the COVID-19 pandemic. However, its unsupervised nature increases ease of cheating, which is an academic integrity concern. This study's purpose was to evaluate the integrity of two online open book assessments with different formats (1. Tightly time restricted - 50 min for mid-semester and 2. Take home - any 4 h within a 24-h window for end of semester) implemented in a radiologic pathology unit of a Bachelor of Science (Medical Radiation Science) course during the pandemic.

Methods: This was a retrospective study involving a review and analysis of existing information related to the integrity of the two radiologic pathology assessments. Three integrity evaluation approaches were employed. The first approach was to review all the Turnitin plagiarism detection software reports with use of 'seven-words-in-a-row' criterion to identify any potential collusion. The second approach was to search for highly irrelevant assessment answers during marking for detection of other cheating types. Examples of highly irrelevant answers included those not addressing question requirements and stating patients' clinical information not from given patient histories. The third approach was an assessment score statistical analysis through descriptive and inferential statistics to identify any abnormal patterns that might suggest cheating occurred. An abnormal pattern example was high assessment scores. The descriptive statistics used were minimum, maximum, range, first quartile, median, third quartile, interquartile range, mean, standard deviation, fail and full mark rates. T-test was employed to compare mean scores between the two assessments in this year (2020), between the two assessments in the last year (2019), between the two mid-semester assessments in 2019 and 2020, and between this and last years' end of semester assessments. A p-value of less than 0.05 was considered statistically significant.

Results: No cheating evidence was found in all Turnitin reports and assessment answers. The mean scores of the end of semester assessments in 2019 (88.2%) and 2020 (90.9%) were similar (p = 0.098). However, the mean score of the online open book mid-semester assessment in 2020 (62.8%) was statistically significantly lower than that of the traditional invigilated mid-semester assessment in 2019 (71.8%) with p < 0.0001.

Conclusion: This study shows the use of the online open book assessments with tight time restrictions and the take home formats in the radiologic pathology unit did not have any academic integrity issues. Apparently, the strict assessment time limit played an important role in maintaining their integrity.

Introduction: L’évaluation à livres ouverts en ligne est une solution de rechange courante aux tests et examens sous surveillance traditionnels durant la pandémie de COVID-19. Cependant, l'absence de supervision rend la tricherie plus facile, ce qui constitue une source de préoccupation d'intégrité. Cette étude vise à évaluer l'intégrité de deux évaluations à livres ouverts en ligne sous différents formats (1. Restriction de temps serrée – 50 min pour un examen de mi-session, et 2. Examen à la maison – toute période de 4 heures dans une fenêtre de 24 heures pour l'examen de fin de session) dans une unité de pathologie radiologique d'un cours de baccalauréat en sciences (Sciences de la radiation médicale) durant la pandémie.

Méthodologie: Il s'agit d'une étude rétrospective comportant l'examen et l'analyse de l'information existante à l’égard de l'intégrité de deux évaluations en pathologie radiologique. Trois approches d’évaluation de l'intégrité ont été utilisées. La première consistait à évaluer tous les rapports Turnitin à l'aide du critère « sept mots en ligne » afin d'identifier toute collusion possible. La deuxième approche consistait à rechercher les réponses fortement non pertinentes à l’évaluation durant la notation afin de reconnaître les autres formes de tricherie. Les exemples de réponses fortement non pertinentes comprennent celles qui ne répondent pas aux exigences de la question et qui donnent des renseignements cliniques sur le patient qui n'apparaissent pas dans les antécédents fournis pour le patient. La troisième approche faisait appel à une analyse de la notation utilisant les statistiques descriptives et déductives afin d'identifier les modèles anormaux susceptibles d'indiquer une tricherie. Un exemple de modèle anormal est une note d’évaluation élevée. Les statistiques descriptives utilisées étaient les notes minimum et maximum, le premier quartile, la médiane, le troisième quartile, l’écart interquartile, la moyenne, l’écart-type, l’échec et le taux d’étudiants ayant obtenu la note parfaite. Un test T a été utilisé pour comparer les notes moyennes entre les deux évaluations de cette année (2020), entre les deux évaluations de l'année dernière (2019), entre les deux évaluations de mi-session (2020 et 2019), et entre l’évaluation de fin de session de cette année et celle de l'an dernier. Une valeur p inférieure à 0,05 était jugée statistiquement significative.

Résultats: Aucune évidence de tricherie n'a été constatée dans les rapports Turnitin et les réponses aux évaluations. Les notes moyennes de l’évaluation de fin de session de 2019 (88,2%) et 2020 (90,9%) étaient similaires (p = 0,098). Cependant, la note moyenne de l’évaluation de mi-session à livres ouverts en 2020 (62,8%) était plus basse de façon statistiquement significative à celle de l’évaluation sous surveillance traditionnelle de mi-session de 2019 (71,8%) avec p < 0,0001.

Conclusion: Cette étude montre que l'utilisation de l’évaluation à livres ouverts en format de durée restreinte et d'examen à la maison pour l'unité de pathologie radiologique n'a pas entraîné de problèmes d'intégrité académique. Apparemment, la durée strictement limitée de l’évaluation a joué un rôle important dans le maintien de l'intégrité.

Keywords: Academic integrity; Authenticity; COVID-19; Cheating; Online open book assessment; Radiologic pathology.

PubMed Disclaimer

Figures

Fig. 1
Fig. 1
A box plot of the mid-semester and end of semester assessment scores in 2019 and 2020. Assessment passing score: 50%.
See this image and copyright information in PMC

Comment in

References

    1. Rakes G.C. Open book testing in online learning environments. J Interact Online Learn. 2008;7(1):1–9.
    1. Deakin University Ensuring academic integrity and assessment security with redesigned online delivery. 2020. http://wordpress-ms.deakin.edu.au/dteach/wp-content/uploads/sites/103/20... Available at:
    1. The University of Adelaide COVID-19 updates: assessment and grades. 2020. https://www.adelaide.edu.au/covid-19/student-information/assessment-and-... Available at:
    1. Jervis C.G., Brown L.R. The prospects of sitting “end of year” open book exams in the light of COVID-19: a medical student’s perspective. Med Teach. 2020;42(7):830–831. - PubMed
    1. Macquarie University Online exam delivery tips: the online open-book examination. 2020. https://teche.mq.edu.au/2020/04/online-exam-delivery-tips-the-online-ope... Available at:

MeSH terms