Skip to main page content
U.S. flag

An official website of the United States government

Dot gov

The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site.

Https

The site is secure.
The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely.

Access keys NCBI Homepage MyNCBI Homepage Main Content Main Navigation
. 2024 Mar;45(2):234-246.
doi: 10.1002/imhj.22102. Epub 2024 Jan 24.

Testing reliability and validity of practitioner-rated parental sensitivity: A novel tool for practice

Mirte L Forrer  1   2   3 , Mirjam Oosterman  1   2 , Anne Tharner  1   2 , Carlo Schuengel  1   2
Affiliations

Testing reliability and validity of practitioner-rated parental sensitivity: A novel tool for practice

Mirte L Forrer et al. Infant Ment Health J. 2024 Mar.

Abstract
in English, Spanish, French, German, Japanese, Chinese, Arabic

Improving parental sensitivity is an important objective of interventions to support families. This study examined reliability and validity of parental sensitivity ratings using a novel package of an e-learning tool and an interactive decision tree provided through a mobile application, called the OK! package. Independent raters assessed parental sensitivity using the OK! package (N = 11 raters) and the NICHD Parental Sensitivity rating scales (N = 22 raters) on the basis of videotaped mother-child interactions at 10- or 12-months-old (N = 294) and at 24-months-old (N = 204) from the Dutch longitudinal cohort study Generation2 . Mothers reported on children's externalizing and internalizing problems and social competence when children were 4 and 7 years old. Results showed excellent single interrater reliability for raters using the OK! package (mean ICC = .79), and strong evidence for convergent validity at 10- or 12-month-old (r = .57) and 24-month-old (r = .65). Prospective associations of neither parental sensitivity rated using the OK! package or the NICHD Parental Sensitivity rating scales with child developmental outcomes were statistically significant (p > .05), with overlapping 95% confidence intervals for both measures. The OK! package provides a promising direction for testing alternatives to current training and instruction modalities.

Mejorar la sensibilidad de progenitores es un objetivo importante de intervenciones para ayudar a las familias. Este estudio examinó la confiabilidad y validez de los puntajes de sensibilidad de progenitores usando un novedoso paquete de una herramienta de e-aprendizaje y un árbol interactivo de decisión, ofrecido a través de una aplicación móvil llamada ¡Paquete OK! Calificadores independientes evaluaron la sensibilidad de progenitores usando el ¡Paquete OK! (N = 11 calificadores) y las escalas de puntajes de Sensibilidad del Progenitor de NICHD (N = 22 calificadores) sobre la base de las interacciones madre-niño grabadas en video a los 10 o 12 meses de edad (N = 294) y a los 24 meses de edad (N = 204) del grupo holandés de estudio longitudinal Generación 2. Las madres reportaron sobre los problemas de externalización e internalización de los niños y la competencia social cuando los niños tenían 4 y 7 años. Los resultados muestran una excelente sola confiabilidad entre calificadores para los calificadores que usaron el ¡Paquete OK! (media ICC = .79), y una fuerte evidencia para la validez convergente a los 10 o 12 meses de edad (r = .57) y a los 24 meses de edad (r = .65). Las asociaciones probables, ni de la sensibilidad del progenitor evaluada usando el ¡Paquete OK! ni de las escalas de puntajes de Sensibilidad del Progenitor NICHD, con los resultados del desarrollo del niño, fueron estadísticamente significativas (p > .05), con intervalos de confiabilidad que coincidían 95% para ambas medidas. El ¡Paquete OK! Ofrece una prometedora directriz para examinar alternativas al entrenamiento y modalidades de instrucción actuales.

L'amélioration de la sensibilité parentale est un objectif important d'interventions pour soutenir les familles. Cette étude a examiné la fiabilité et la validité de la sensibilité parentale utilisant une nouvelle approche combinant un outil de formation en ligne et un arbre de décision interactif offert au travers d'une application mobile, appelée l'approche OK!. Des évaluateurs indépendants ont évalué la sensibilité parentale en utilisant l'approche OK! (N = 11 évaluateurs) et les échelles d’évaluation de le sensibilité parentale NICHD (N = 22 évaluateurs) sur la base d'interactions mère-enfant filmées à la vidéo à 10- ou 12 mois N = 294) et à 24 mois (N-204) de l’étude de cohorte longitudinale hollandaise Generation2. Les mères ont signalé les problèmes d'externalisation et d'internalisation des enfants et leur compétence sociale lorsque les enfants avaient 4 et 7 ans. Les résultats ont démontré une excellente fiabilité entre les évaluateurs pour les évaluateurs utilisant l'approche OK! (moyenne ICC = ,79(, et de fortes preuves d'une validité convergente à 10 ou 12 mois (r = ,57) et à 24 mois (r = ,65). Les associations prospectives d'aucune sensibilité parentale évaluée en utilisant l'approche OK! ou les échelles d’évaluation de la sensibilité parentale NICHD ave des résultats développementaux de l'enfant étaient statistiquement significatives (p . ,05) avec un chevauchement des intervalles de confiance de 95% pour les deux mesures. L'approche OK! offre une direction prometteuse d'alternatives des tests aux modalités de formation et d'instruction actuelles.

Die Verbesserung der elterlichen Sensibilität ist ein wichtiges Ziel von Maßnahmen zur Unterstützung von Familien. Diese Studie untersuchte Reliabilität und Validität von Ratings elterlicher Sensibilität. Hierzu wurden ein neuartiges Paket aus einem E-Learning-Tool und ein interaktiver Entscheidungsbaum aus einer mobilen Anwendung genutzt, das so genannte OK!-Paket. Unabhängige Rater beurteilten die elterliche Sensibilität mit Hilfe des OK!-Pakets (N = 11 Rater) und der NICHD-Ratingskala für elterliche Sensibilität (N = 22 Rater) auf der Grundlage von auf Video aufgenommenen Mutter-Kind-Interaktionen im Alter von 10 oder 12 Monaten (N = 294) und im Alter von 24 Monaten (N = 204) aus der niederländischen Längsschnittkohortenstudie Generation 2. Die Mütter machten Angaben über externalisierende und internalisierende Probleme der Kinder sowie über ihre soziale Kompetenz, als die Kinder 4 und 7 Jahre alt waren. Die Ergebnisse zeigten eine ausgezeichnete Interrater-Reliabilität für Rater, die das OK!-Paket verwendeten (mittlerer ICC = .79), und starke Hinweise auf konvergente Validität im Alter von 10 oder 12 Monaten (r = .57) und im Alter von 24 Monaten (r = .65). Die prospektiven Assoziationen zwischen der elterlichen Sensibilität, die mit dem OK!-Paket oder der NICHD-Ratingskala für elterliche Sensibilität bewertet wurde, und den Entwicklungsoutcomes des Kindes waren statistisch signifikant (p > .05), wobei sich die 95%-Konfidenzintervalle für beide Maße überschnitten. Das OK!-Paket bietet eine vielversprechende Perspektive für die Erprobung von Alternativen zu den derzeitigen Trainings- und Unterrichtsmodalitäten.

親の感受性を向上させることは、家族を支援する介入の重要な目的である。本研究では、OK！パッケージと呼ばれる、モバイルアプリケーションを通じて提供されるe-ラーニングツールと対話型意思決定ツリーの新しいパッケージを用いて、親の感受性の評価の信頼性と妥当性を検討した。オランダの縦断的コホート研究Generation2の生後10ヵ月または12ヵ月(N = 294)および24ヵ月(N = 204)の母子のやりとりをビデオ撮影し、独立した評価者がOK！パッケージ(N = 11人)およびNICHDの親の感受性評価尺度(N = 22人)を用いて親の感受性を評価した。母親は、子どもが4歳と7歳のときに、子どもの外因性・内因性問題と社会的能力について報告した。その結果、OK！パッケージを使用した評価者では、1回の評価者間信頼性が優れており(平均ICC = 0.79)、生後10ヵ月または12ヵ月(r = 0.57)および24ヵ月(r = 0.65)において、収束的妥当性を示す強い証拠が示された。OK！パッケージで評価された親の感受性とNICHDの親の感受性評価尺度のいずれも、子どもの発達結果との前向きな関連は統計的に有意であり(p>0.05)、95％の信頼区間が重なり合った。OK！パッケージは、現在のトレーニングや指導方法に代わるものをテストするための有望な方向性を提供する。.

提升父母敏感性是家庭支持干预措施的一项重要目标。本研究使用一种新型的电子学习工具和互动决策树的组合, 即称为OK!包的移动应用程序, 检验了父母敏感性评分的可靠性和有效性。独立评估者使用OK!包(N = 11位评估者)和NICHD父母敏感性评分量表(N = 22位评估者), 基于“第二代荷兰纵向队列研究”中录制的10个月或12个月大(N = 294)以及24个月大(N = 204)的母婴互动录像进行评估。母亲报告了孩子4岁和7岁时的外化问题、内化问题以及社交能力。研究结果表明, 使用OK!包的评估者具有出色的单一评估者间可靠性(平均ICC = .79), 并且在10个月或12个月龄(r = .57)和24个月龄(r = .65)方面显示了较强的收敛效度证据。然而, 无论是使用OK!包, 还是NICHD父母敏感性评分量表评估的父母敏感性与儿童发育结果之间的前瞻性关联均不具有统计学意义(p > .05), 两种评估方法的95%置信区间存在重叠。OK!包为测试当前培训和指导模式的替代方案提供了有前途的方向。.

يعد تحسين حساسية الوالدين هدفاً مهماً للتدخلات لدعم الأسر. تناولت هذه الدراسة موثوقية وصلاحية تقييمات حساسية الوالدين باستخدام حزمة جديدة من أداة للتعلم لإلكتروني وشجرة قرارات تفاعلية مقدمة من خلال تطبيق للهاتف المحمول يسمى حزمة OK. قام مجموعة من المقيمين المستقلين بتقييم حساسية الوالدين باستخدام حزمة(OK) )(N = 11ومقاييس تصنيف حساسية الوالدين )(N = 22 استناداً إلى التفاعلات المسجلة بالفيديو بين الأم والطفل في عمر 10 أو 12 شهراً )(N = 294وفي عمر 24 شهرًا(N = 204) من دراسة طولية هولندية. أبلغت الأمهات عن مشاكل الأطفال من حيث التنشئة والاستيعاب والكفاءة الاجتماعية عندما كان عمر الأطفال 4 و 7 سنوات. أظهرت النتائج موثوقية ممتازة للمقيمين الفرديين الذين يستخدمون حزمة (OK) ICC = .79)) ودليل قوي على الصلاحية المتقاربة عند عمر 10 أو 12 شهرًا(r = .57) وعمر 24 شهرًا )65(r = .. أظهرت النتائج ارتباطات إحصائية قوية بين الحساسية الوالدية ونتائج نمو الطفل (p<.05)، مع فواصل ثقة متداخلة بنسبة 95% لكلا المقياسين. توفر حزمة (OK) اتجاهاً واعدًا لاختبار البدائل لطرائق التدريب والتعليم الحالية.

Keywords: Beurteilung; Eltern-Kind-Beziehung; Machbarkeit; Responsivität; Réactivité; assessment; comportamiento del progenitor; comportement parental; elterliches Verhalten; evaluación; factibilidad; feasibility; fiabilité; parent-child relationship; parental behavior; relación progenitor-niño; relation parent-enfant; responsiveness; sensibilidad; évaluation; الاستجابة، العلاقة بين الوالدين والطفل، سلوك الوالدين، الجدوى، التقييم; 反应能力, 亲子关系, 父母行为, 可行性, 评估; 実現可能性; 応答性; 親の行動; 親子関係; 評価.

PubMed Disclaimer

References

REFERENCES

    1. how2stats. (n.d.). Retrieved March 31, 2022 from http://www.how2stats.net/2011/09/confidence-intervals-for-correlations.html
    1. Commissie Testaangelegenheden Nederland. (n.d.). https://www.cotandocumentatie.nl/beoordelingen/b/13412/strengths-and-dif...
    1. AEgisdóttir, S., White, M. J., Spengler, P. M., Maugherman, A. S., Anderson, L. A., Cook, R. S., Nichols, C. N., Lampropoulos, G. K., Walker, B. S., & Cohen, G. (2006). The meta-analysis of clinical judgment project: Fifty-six years of accumulated research on clinical versus statistical prediction. The Counseling Psychologist, 34(3), 341-382. https://doi.org/10.1177/0011000005285875
    1. Ainsworth, M. D. S., Bell, S. M., & Stayton, D. F. (1974). Infant-mother attachment and social development: Socialization as a product of reciprocal responsiveness to signals. In M. P. M. Richards (Ed.), The integration of a child into a social world (pp. 99-135). Cambridge University Press.
    1. Appleton, J. V., Harris, M., Oates, J., & Kelly, C. (2013). Evaluating health visitor assessments of mother-infant interactions: A mixed methods study. International Journal of Nursing Studies, 50(1), 5-15. https://doi.org/10.1016/j.ijnurstu.2012.08.008

LinkOut - more resources