Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2021 May 16;5(3):e10601.
doi: 10.1002/aet2.10601. eCollection 2021 Jul.

The revised Approved Instructional Resources score: An improved quality evaluation tool for online educational resources

Andrew Grock  1   2 , Jaime Jordan  2   3 , Fareen Zaver  4 , Isabelle N Colmers-Gray  5 , Keeth Krishnan  6 , Teresa Chan  7   8 , Brent Thoma  9   10 , Charlotte Alexander  1   2   3   4   5   6   7   8   9   10 , Mohammed Alkhalifah  1   2   3   4   5   6   7   8   9   10 , Abdulaziz S Almehlisi  1   2   3   4   5   6   7   8   9   10 , Saeed Alqahtani  1   2   3   4   5   6   7   8   9   10 , Scott Anderson  1   2   3   4   5   6   7   8   9   10 , Shelaina Anderson  1   2   3   4   5   6   7   8   9   10 , Colin Andrews  1   2   3   4   5   6   7   8   9   10 , Jocelyn Andruko  1   2   3   4   5   6   7   8   9   10 , Nikytha Antony  1   2   3   4   5   6   7   8   9   10 , Diptesh Aryal  1   2   3   4   5   6   7   8   9   10 , Barbra Backus  1   2   3   4   5   6   7   8   9   10 , Jennifer Baird  1   2   3   4   5   6   7   8   9   10 , Andrew Baker  1   2   3   4   5   6   7   8   9   10 , Sarah Batty  1   2   3   4   5   6   7   8   9   10 , Jared Baylis  1   2   3   4   5   6   7   8   9   10 , Braeden Beaumont  1   2   3   4   5   6   7   8   9   10 , Chris Belcher  1   2   3   4   5   6   7   8   9   10 , Brent Benavides  1   2   3   4   5   6   7   8   9   10 , Michael Benham  1   2   3   4   5   6   7   8   9   10 , Julian Botta  1   2   3   4   5   6   7   8   9   10 , Elyse Berger Pelletier  1   2   3   4   5   6   7   8   9   10 , Nicholas Bouchard  1   2   3   4   5   6   7   8   9   10 , Victoria Brazil  1   2   3   4   5   6   7   8   9   10 , Emily Brumfield  1   2   3   4   5   6   7   8   9   10 , Anthony Bryson  1   2   3   4   5   6   7   8   9   10 , Wisarut Bunchit  1   2   3   4   5   6   7   8   9   10 , Kat Butler  1   2   3   4   5   6   7   8   9   10 , Lindy Buzikievich  1   2   3   4   5   6   7   8   9   10 , David Calcara  1   2   3   4   5   6   7   8   9   10 , Rob Carey  1   2   3   4   5   6   7   8   9   10 , Maria Rosa Carrillo  1   2   3   4   5   6   7   8   9   10 , Stephen Carroll  1   2   3   4   5   6   7   8   9   10 , Casey Lyons  1   2   3   4   5   6   7   8   9   10 , Louise Cassidy  1   2   3   4   5   6   7   8   9   10 , Kirsty Challen  1   2   3   4   5   6   7   8   9   10 , Kathryn Chan  1   2   3   4   5   6   7   8   9   10 , Tim Chaplin  1   2   3   4   5   6   7   8   9   10 , Natasha Chatham-Zvelebil  1   2   3   4   5   6   7   8   9   10 , Eric Chen  1   2   3   4   5   6   7   8   9   10 , Lucy Chen  1   2   3   4   5   6   7   8   9   10 , Sushant Chhabra  1   2   3   4   5   6   7   8   9   10 , Alvin Chin  1   2   3   4   5   6   7   8   9   10 , Eric Chochi  1   2   3   4   5   6   7   8   9   10 , Tina Choudhri  1   2   3   4   5   6   7   8   9   10 , Jeremy Christensen  1   2   3   4   5   6   7   8   9   10 , Kimberly Connors  1   2   3   4   5   6   7   8   9   10 , Veronica Coppersmith  1   2   3   4   5   6   7   8   9   10 , Abby Cosgrove  1   2   3   4   5   6   7   8   9   10 , Gregory Costello  1   2   3   4   5   6   7   8   9   10 , Kevin Cullison  1   2   3   4   5   6   7   8   9   10 , Andrew D'Alessandro  1   2   3   4   5   6   7   8   9   10 , Kerstin Wit  1   2   3   4   5   6   7   8   9   10 , Marie Decock  1   2   3   4   5   6   7   8   9   10 , Rayan Delbani  1   2   3   4   5   6   7   8   9   10 , William Denq  1   2   3   4   5   6   7   8   9   10 , Julianna Deutscher  1   2   3   4   5   6   7   8   9   10 , Brendan Devine  1   2   3   4   5   6   7   8   9   10 , Maia Dorsett  1   2   3   4   5   6   7   8   9   10 , Taylor Duda  1   2   3   4   5   6   7   8   9   10 , Justin Dueweke  1   2   3   4   5   6   7   8   9   10 , Teresa Dunphy  1   2   3   4   5   6   7   8   9   10 , Sean Dyer  1   2   3   4   5   6   7   8   9   10 , Karthryn T Eastley  1   2   3   4   5   6   7   8   9   10 , Marcia Edmonds  1   2   3   4   5   6   7   8   9   10 , Ken Edwards  1   2   3   4   5   6   7   8   9   10 , Robert Ehrman  1   2   3   4   5   6   7   8   9   10 , Youness Elkhalidy  1   2   3   4   5   6   7   8   9   10 , Preston Fedor  1   2   3   4   5   6   7   8   9   10 , Brian Ficiur  1   2   3   4   5   6   7   8   9   10 , Caley Flynn  1   2   3   4   5   6   7   8   9   10 , Bill Fraser  1   2   3   4   5   6   7   8   9   10 , Meagan Fu  1   2   3   4   5   6   7   8   9   10 , James Fukakusa  1   2   3   4   5   6   7   8   9   10 , Eric Funk  1   2   3   4   5   6   7   8   9   10 , Damjan Gaco  1   2   3   4   5   6   7   8   9   10 , Viktor Gawlik  1   2   3   4   5   6   7   8   9   10 , Kenn Ghaffarian  1   2   3   4   5   6   7   8   9   10 , Laleh Gharahbaghian  1   2   3   4   5   6   7   8   9   10 , Andrew Griffith  1   2   3   4   5   6   7   8   9   10 , Phil Griffith  1   2   3   4   5   6   7   8   9   10 , Tanner Gronowski  1   2   3   4   5   6   7   8   9   10 , Cathy Grossman  1   2   3   4   5   6   7   8   9   10 , Jaroslaw Gucwa  1   2   3   4   5   6   7   8   9   10 , Pawan Gupta  1   2   3   4   5   6   7   8   9   10 , Alexandra Gustafson  1   2   3   4   5   6   7   8   9   10 , Andrew Guy  1   2   3   4   5   6   7   8   9   10 , Mary Haas  1   2   3   4   5   6   7   8   9   10 , Stanislaw Haciski  1   2   3   4   5   6   7   8   9   10 , Emina Hajdinjak  1   2   3   4   5   6   7   8   9   10 , Andrew K Hall  1   2   3   4   5   6   7   8   9   10 , Regina Hammock  1   2   3   4   5   6   7   8   9   10 , Jan Hansel  1   2   3   4   5   6   7   8   9   10 , Alexander Hart  1   2   3   4   5   6   7   8   9   10 , Larissa Hattin  1   2   3   4   5   6   7   8   9   10 , Brandon Herb  1   2   3   4   5   6   7   8   9   10 , SueLin Hilbert  1   2   3   4   5   6   7   8   9   10 , Jeff Hill  1   2   3   4   5   6   7   8   9   10 , Jesse Hill  1   2   3   4   5   6   7   8   9   10 , Amy Ho  1   2   3   4   5   6   7   8   9   10 , Emily House  1   2   3   4   5   6   7   8   9   10 , Nina House  1   2   3   4   5   6   7   8   9   10 , Simon York Ming Huang  1   2   3   4   5   6   7   8   9   10 , James Huffman  1   2   3   4   5   6   7   8   9   10 , Charlie Inboriboon  1   2   3   4   5   6   7   8   9   10 , Alex Ireland  1   2   3   4   5   6   7   8   9   10 , Ali Jamal  1   2   3   4   5   6   7   8   9   10 , Mohammad Ali Jamil  1   2   3   4   5   6   7   8   9   10 , Victor Jansen  1   2   3   4   5   6   7   8   9   10 , Zach Jarou  1   2   3   4   5   6   7   8   9   10 , Vivian Jia  1   2   3   4   5   6   7   8   9   10 , Levi Johnston  1   2   3   4   5   6   7   8   9   10 , Drew Kalnow  1   2   3   4   5   6   7   8   9   10 , Puneet Kapur  1   2   3   4   5   6   7   8   9   10 , Seth Kelly  1   2   3   4   5   6   7   8   9   10 , Kyle Kelson  1   2   3   4   5   6   7   8   9   10 , William Kent  1   2   3   4   5   6   7   8   9   10 , Rishi Khakhkhar  1   2   3   4   5   6   7   8   9   10 , Jaasmit Khurana  1   2   3   4   5   6   7   8   9   10 , Ashley Kilp  1   2   3   4   5   6   7   8   9   10 , Scott Knapp  1   2   3   4   5   6   7   8   9   10 , Sebastian Kohler  1   2   3   4   5   6   7   8   9   10 , Ivanna Kruhlak  1   2   3   4   5   6   7   8   9   10 , Nadim Lalani  1   2   3   4   5   6   7   8   9   10 , Samantha Lam  1   2   3   4   5   6   7   8   9   10 , Patrick Lank  1   2   3   4   5   6   7   8   9   10 , Zander Laurie  1   2   3   4   5   6   7   8   9   10 , Kristina Lea  1   2   3   4   5   6   7   8   9   10 , Ernest Leber  1   2   3   4   5   6   7   8   9   10 , Ching-Hsing Lee  1   2   3   4   5   6   7   8   9   10 , Haakon Lenes  1   2   3   4   5   6   7   8   9   10 , Nilantha Lenora  1   2   3   4   5   6   7   8   9   10 , Jesse Leontowicz  1   2   3   4   5   6   7   8   9   10 , Kelly Lien  1   2   3   4   5   6   7   8   9   10 , Michelle Lin  1   2   3   4   5   6   7   8   9   10 , Yingchun Lin  1   2   3   4   5   6   7   8   9   10 , Andrew Little  1   2   3   4   5   6   7   8   9   10 , Harry Liu  1   2   3   4   5   6   7   8   9   10 , Ivy Liu  1   2   3   4   5   6   7   8   9   10 , Steve Liu  1   2   3   4   5   6   7   8   9   10 , Stephanie Louka  1   2   3   4   5   6   7   8   9   10 , Elise Lovell  1   2   3   4   5   6   7   8   9   10 , David Lowe  1   2   3   4   5   6   7   8   9   10 , Ashley Lubberdink  1   2   3   4   5   6   7   8   9   10 , Jessica Luc  1   2   3   4   5   6   7   8   9   10 , Sheng-Hsiang Ma  1   2   3   4   5   6   7   8   9   10 , Hugh MacLeod  1   2   3   4   5   6   7   8   9   10 , Nick Mancuso  1   2   3   4   5   6   7   8   9   10 , Anali Maneshi  1   2   3   4   5   6   7   8   9   10 , Jesse May  1   2   3   4   5   6   7   8   9   10 , John Mayo  1   2   3   4   5   6   7   8   9   10 , Mike McDonnell  1   2   3   4   5   6   7   8   9   10 , Susan McLellan  1   2   3   4   5   6   7   8   9   10 , Carolyn McQuarrie  1   2   3   4   5   6   7   8   9   10 , Therese Mead  1   2   3   4   5   6   7   8   9   10 , Cory Meeuwisse  1   2   3   4   5   6   7   8   9   10 , Patrick Meloy  1   2   3   4   5   6   7   8   9   10 , Perry Menzies  1   2   3   4   5   6   7   8   9   10 , Anne Messman  1   2   3   4   5   6   7   8   9   10 , Stephen Miazga  1   2   3   4   5   6   7   8   9   10 , Logan Mills  1   2   3   4   5   6   7   8   9   10 , Allan Mix  1   2   3   4   5   6   7   8   9   10 , Steve Montag  1   2   3   4   5   6   7   8   9   10 , Brendan Moore  1   2   3   4   5   6   7   8   9   10 , Justin Morgenstern  1   2   3   4   5   6   7   8   9   10 , Sarah Mott  1   2   3   4   5   6   7   8   9   10 , P Mukherj  1   2   3   4   5   6   7   8   9   10 , Ali Mulla  1   2   3   4   5   6   7   8   9   10 , Sheena Nandalal  1   2   3   4   5   6   7   8   9   10 , Taylor Nikel  1   2   3   4   5   6   7   8   9   10 , Julia Nood  1   2   3   4   5   6   7   8   9   10 , Sean Nugent  1   2   3   4   5   6   7   8   9   10 , Morgan Oakland  1   2   3   4   5   6   7   8   9   10 , Werner Oberholzer  1   2   3   4   5   6   7   8   9   10 , Onyeka Otugo  1   2   3   4   5   6   7   8   9   10 , Taofiq Segun Oyedokun  1   2   3   4   5   6   7   8   9   10 , Alim Pardhan  1   2   3   4   5   6   7   8   9   10 , Kinjal Patel  1   2   3   4   5   6   7   8   9   10 , Quinten Paterson  1   2   3   4   5   6   7   8   9   10 , Catherine Patocka  1   2   3   4   5   6   7   8   9   10 , Christine Patterson  1   2   3   4   5   6   7   8   9   10 , James Pearlman  1   2   3   4   5   6   7   8   9   10 , Alexis Pelletier-Bui  1   2   3   4   5   6   7   8   9   10 , Marc Phan  1   2   3   4   5   6   7   8   9   10 , Zafrina Poonja  1   2   3   4   5   6   7   8   9   10 , Aubrey Powell  1   2   3   4   5   6   7   8   9   10 , Kamini Premkumar  1   2   3   4   5   6   7   8   9   10 , Gregor Prosen  1   2   3   4   5   6   7   8   9   10 , Vishal Puri  1   2   3   4   5   6   7   8   9   10 , Tanis Quaife  1   2   3   4   5   6   7   8   9   10 , Ryan Raffel  1   2   3   4   5   6   7   8   9   10 , Ali Raja  1   2   3   4   5   6   7   8   9   10 , Randi Ramunno  1   2   3   4   5   6   7   8   9   10 , Louise Rang  1   2   3   4   5   6   7   8   9   10 , Suzanne Rannazzisi  1   2   3   4   5   6   7   8   9   10 , Shauna Regan  1   2   3   4   5   6   7   8   9   10 , Salim R Rezaie  1   2   3   4   5   6   7   8   9   10 , Milan Ridderikhof  1   2   3   4   5   6   7   8   9   10 , Vanessa Rogers  1   2   3   4   5   6   7   8   9   10 , Christine Roh  1   2   3   4   5   6   7   8   9   10 , Keith Rosenberg  1   2   3   4   5   6   7   8   9   10 , Marina Roure  1   2   3   4   5   6   7   8   9   10 , Sherri Rudinsky  1   2   3   4   5   6   7   8   9   10 , Joshua Rudner  1   2   3   4   5   6   7   8   9   10 , Adeeb Saleh  1   2   3   4   5   6   7   8   9   10 , Will Sanderson  1   2   3   4   5   6   7   8   9   10 , Owen Scheirer  1   2   3   4   5   6   7   8   9   10 , Paul Schofield  1   2   3   4   5   6   7   8   9   10 , Paul Schunk  1   2   3   4   5   6   7   8   9   10 , Evan Schwarz  1   2   3   4   5   6   7   8   9   10 , Parisa Shahrabadi  1   2   3   4   5   6   7   8   9   10 , Eric Shappell  1   2   3   4   5   6   7   8   9   10 , Julia Sheffield  1   2   3   4   5   6   7   8   9   10 , Manpreet Singh  1   2   3   4   5   6   7   8   9   10 , Hector C Singson  1   2   3   4   5   6   7   8   9   10 , Dave Slessor  1   2   3   4   5   6   7   8   9   10 , Sam Smith  1   2   3   4   5   6   7   8   9   10 , Paula Sneath  1   2   3   4   5   6   7   8   9   10 , Robert Sobehart  1   2   3   4   5   6   7   8   9   10 , Kerry Spearing  1   2   3   4   5   6   7   8   9   10 , James Stempien  1   2   3   4   5   6   7   8   9   10 , Britni Sternard  1   2   3   4   5   6   7   8   9   10 , Tara Stratton  1   2   3   4   5   6   7   8   9   10 , Katherine Stuart  1   2   3   4   5   6   7   8   9   10 , Bob Stuntz  1   2   3   4   5   6   7   8   9   10 , Michael Susalla  1   2   3   4   5   6   7   8   9   10 , Colleen Sweeney  1   2   3   4   5   6   7   8   9   10 , Loice Swisher  1   2   3   4   5   6   7   8   9   10 , Henry Swoboda  1   2   3   4   5   6   7   8   9   10 , Shahbaz Syed  1   2   3   4   5   6   7   8   9   10 , Taku Taira  1   2   3   4   5   6   7   8   9   10 , Nikhil Tambe  1   2   3   4   5   6   7   8   9   10 , Richard Tang  1   2   3   4   5   6   7   8   9   10 , Elisha Targonsky  1   2   3   4   5   6   7   8   9   10 , Alan Taylor  1   2   3   4   5   6   7   8   9   10 , Rachel Taylor  1   2   3   4   5   6   7   8   9   10 , Todd Taylor  1   2   3   4   5   6   7   8   9   10 , Paxton Ting  1   2   3   4   5   6   7   8   9   10 , Gerhard Tiwald  1   2   3   4   5   6   7   8   9   10 , Evelyn Tran  1   2   3   4   5   6   7   8   9   10 , Kelvin Tran  1   2   3   4   5   6   7   8   9   10 , Jason Trickovic  1   2   3   4   5   6   7   8   9   10 , Paul Trinquero  1   2   3   4   5   6   7   8   9   10 , Aaron Tyagi  1   2   3   4   5   6   7   8   9   10 , Manrique Umana  1   2   3   4   5   6   7   8   9   10 , Patrick Vallance  1   2   3   4   5   6   7   8   9   10 , Patricia Van den Berg  1   2   3   4   5   6   7   8   9   10 , Kelly van Diepen  1   2   3   4   5   6   7   8   9   10 , Luis Vargas  1   2   3   4   5   6   7   8   9   10 , Rene Verbeek  1   2   3   4   5   6   7   8   9   10 , Sandra Viggers  1   2   3   4   5   6   7   8   9   10 , Zlata Vlodaver  1   2   3   4   5   6   7   8   9   10 , Matthew Wagner  1   2   3   4   5   6   7   8   9   10 , Noorin Walji  1   2   3   4   5   6   7   8   9   10 , Joe Walter  1   2   3   4   5   6   7   8   9   10 , Miranda Wan  1   2   3   4   5   6   7   8   9   10 , Rachel Wang  1   2   3   4   5   6   7   8   9   10 , Gregory Wanner  1   2   3   4   5   6   7   8   9   10 , Wyatt Warawa  1   2   3   4   5   6   7   8   9   10 , Mike Ward  1   2   3   4   5   6   7   8   9   10 , Jennifer Weekes  1   2   3   4   5   6   7   8   9   10 , Kristen Weersink  1   2   3   4   5   6   7   8   9   10 , Cara Weessies  1   2   3   4   5   6   7   8   9   10 , Anna Whalen-Browne  1   2   3   4   5   6   7   8   9   10 , Brian Whiteside  1   2   3   4   5   6   7   8   9   10 , Matthew Willis  1   2   3   4   5   6   7   8   9   10 , Jonas Wilmer  1   2   3   4   5   6   7   8   9   10 , Nelson Wong  1   2   3   4   5   6   7   8   9   10 , Mark Woodcroft  1   2   3   4   5   6   7   8   9   10 , Rob Woods  1   2   3   4   5   6   7   8   9   10 , Lawrence Yau  1   2   3   4   5   6   7   8   9   10 , Jessica Yee  1   2   3   4   5   6   7   8   9   10 , Calvin Yeh  1   2   3   4   5   6   7   8   9   10 , Katherine Yurkiw  1   2   3   4   5   6   7   8   9   10 , Fareen Zaver  1   2   3   4   5   6   7   8   9   10 , Alexander Zozula  1   2   3   4   5   6   7   8   9   10
Affiliations

The revised Approved Instructional Resources score: An improved quality evaluation tool for online educational resources

Andrew Grock et al. AEM Educ Train. .

Abstract

Background: Free Open-Access Medical education (FOAM) use among residents continues to rise. However, it often lacks quality assurance processes and residents receive little guidance on quality assessment. The Academic Life in Emergency Medicine Approved Instructional Resources tool (AAT) was created for FOAM appraisal by and for expert educators and has demonstrated validity in this context. It has yet to be evaluated in other populations.

Objectives: We assessed the AAT's usability in a diverse population of practicing emergency medicine (EM) physicians, residents, and medical students; solicited feedback; and developed a revised tool.

Methods: As part of the Medical Education Translational Resources: Impact and Quality (METRIQ) study, we recruited medical students, EM residents, and EM attendings to evaluate five FOAM posts with the AAT and provide quantitative and qualitative feedback via an online survey. Two independent analysts performed a qualitative thematic analysis with discrepancies resolved through discussion and negotiated consensus. This analysis informed development of an initial revised AAT, which was then further refined after pilot testing among the author group. The final tool was reassessed for reliability.

Results: Of 330 recruited international participants, 309 completed all ratings. The Best Evidence in Emergency Medicine (BEEM) score was the component most frequently reported as difficult to use. Several themes emerged from the qualitative analysis: for ease of use-understandable, logically structured, concise, and aligned with educational value. Limitations include deviation from questionnaire best practices, validity concerns, and challenges assessing evidence-based medicine. Themes supporting its use include evaluative utility and usability. The author group pilot tested the initial revised AAT, revealing a total score average measure intraclass correlation coefficient (ICC) of moderate reliability (ICC = 0.68, 95% confidence interval [CI] = 0 to 0.962). The final AAT's average measure ICC was 0.88 (95% CI = 0.77 to 0.95).

Conclusions: We developed the final revised AAT from usability feedback. The new score has significantly increased usability, but will need to be reassessed for reliability in a broad population.

PubMed Disclaimer

Conflict of interest statement

The authors have no potential conflicts to disclose. All authors had full access to all the study data and had final responsibility for the decision to submit for publication.

Figures

FIGURE 1
FIGURE 1
The final revised Approved Instructional Resources (AIR) tool
FIGURE 2
FIGURE 2
Approved Instructional Resources (AIR) scoring tool usability and recommendation
See this image and copyright information in PMC

References

    1. Purdy E, Thoma B, Bednarczyk J, Migneault D, Sherbino J. The use of free online educational resources by Canadian emergency medicine residents and program directors. CJEM. 2015;17(2):101–106. 10.1017/cem.2014.73 - DOI - PubMed
    1. Mallin M, Schlein S, Doctor S, Stroud S, Dawson M, Fix M. A survey of the current utilization of asynchronous education among emergency medicine residents in the United States. Acad Med J Assoc Am Med Coll. 2014;89(4):598–601. 10.1097/ACM.0000000000000170 - DOI - PMC - PubMed
    1. Boulos MN, Maramba I, Wheeler S. Wikis, blogs and podcasts: a new generation of Web‐based tools for virtual collaborative clinical practice and education. BMC Med Educ. 2006;6:41. 10.1186/1472-6920-6-41 - DOI - PMC - PubMed
    1. Cadogan M, Thoma B, Chan TM, Lin M. Free Open Access Meducation (FOAM): the rise of emergency medicine and critical care blogs and podcasts (2002–2013). Emerg Med J. 2014;31(e1):e76–77. 10.1136/emermed-2013-203502 - DOI - PubMed
    1. Stirling M. FOAM EMCC Blogs 2018. Life in the Fastlane website. 2020. Accessed xxx xx, xxxx. https://litfl.com/foam‐emcc‐blogs‐2018/