Innovative programs require innovative evaluation approaches. Stanford Center on Early Childhood’s (SCEC) belief in that is why we are so excited to work with Home Grown on the Thriving Providers Project (TPP). Given that this is the first direct cash transfer program in the United States focused exclusively on home-based child care providers, the primary goal of all evaluation activities has been learning. And in this first year of the project, we have done just that!
Our evaluation approach is grounded in a Theory of Impact (TOI) co-developed with the Home Grown and TPP implementation teams. The TOI outlines what happens in the TPP program, what we expect to see as a result, and factors that may affect the extent to which participants benefit from taking part. We then derive all measures and survey tools from the TOI. We draw upon the RAPID survey methodologies developed during the COVID-19 pandemic by Dr. Phil Fisher and others on our team. Using this strategy, we get monthly trend data, along with longer, quarterly surveys containing more open-ended items. Survey items cover a range of topics (based on the TOI) including income volatility, material hardship, emotional well-being, and engagement with public systems. These surveys help us understand the ways in which unconditional cash transfers support home-based child care providers and the families they care for.
Different from the randomized-controlled trial approach that many direct cash transfer pilots use, the TPP evaluation does not have a control group and allows for rapid-cycle iteration. We are constantly learning ways we can improve the work from TPP participants, our national advisory board of experts, and our partner community-based organizations. The team is immensely grateful for the guidance and support we’ve gotten from program participants and on-the-ground consultants. A core value of the Stanford and Home Grown teams is participant involvement to ensure that survey items resonate and are culturally appropriate. For example, we adjusted our approach to measuring emotional well-being after feedback that our initial approach was too “clinical sounding.” Whether it’s helping us word an item differently, expanding our thinking about a construct, or interpreting a finding with us, their support has been invaluable.
In our most recent round of data analysis, we noted three interesting findings around the sustainability of remaining in the child care workforce, quality of care, and income volatility. The vast majority of participants agree or strongly agree that receiving direct cash transfers has allowed them to remain a child care provider (85.1% average over the past three months of surveys) and that they feel confident about staying in the field of child care while receiving direct cash transfers (80% average over the past three months of surveys). One provider wrote: “I don’t have to work elsewhere. I’m not stressing out so much about monthly bills.” Further, all seven indicators of quality of care, measured monthly by self-report frequency of engagement in various activities (e.g., creating activities that build on children’s interests, preventing challenging behaviors, engaging in back-and-forth exchanges with children) have increased steadily since August 2022. Qualitatively, one provider reflected: “The transfers help me to buy food and some things to teach the kids like Play-Doh, colors, letters, etc.” Lastly, participants who had been in the direct cash transfer program for longer (received 20 cash transfers vs. 13 cash transfers) reported less income volatility (44.4% vs. 60%). Of those reporting income fluctuations, 86.2% agree or strongly agree that the direct cash transfers have helped them manage those fluctuations in income.
We look forward to taking our learnings from the first year of TPP to the planning phase of the latest TPP pilot in New York City. Our most recent findings from the evaluation of TPP in Colorado can be found in this month’s newsletter. In our continued efforts toward data transparency with program participants and other interested parties, we will continue to share our most recent findings from Colorado, NYC, and beyond in future newsletters!
About the Author
Dr. Callie Silver is a Learning and Evaluation Associate at the Stanford Center on Early Childhood. In her work on the Continuous Improvement and Rapid Cycle Learning Evaluation (CIRCLE) team, she partners with organizations, philanthropies, and government agencies to understand how programs are having impact and how they can be improved through an equity lens. She holds a PhD in Community Psychology from the University of Illinois Chicago and a BS in Human Development from Cornell University.
Proyecto de proveedores prósperos: lo que hemos aprendido hasta ahora
Los programas innovadores requieren enfoques de evaluación innovadores. La creencia del Stanford Center on Early Childhood (SCEC) es por eso que estamos tan emocionados de trabajar con Home Grown en el Thriving Providers Project (TPP). Dado que este es el primer programa de transferencia directa de efectivo en los Estados Unidos enfocado exclusivamente en proveedores de cuidado infantil en el hogar, el objetivo principal de todas las actividades de evaluación ha sido el aprendizaje. Y en este primer año del proyecto, ¡hemos hecho precisamente eso!
Nuestro enfoque de evaluación se basa en una teoría del impacto (TOI) desarrollada conjuntamente con los equipos de implementación de Home Grown y TPP. El TOI describe lo que sucede en el programa TPP, lo que esperamos ver como resultado y los factores que pueden afectar la medida en que los participantes se benefician de su participación. Luego derivamos todas las medidas y herramientas de encuesta del TOI. Nos basamos en las metodologías de encuestas RAPID desarrolladas durante la pandemia de COVID-19 por el Dr. Phil Fisher y otros miembros de nuestro equipo. Con esta estrategia, obtenemos datos de tendencias mensuales, junto con encuestas trimestrales más largas que contienen más elementos abiertos. Los elementos de la encuesta cubren una variedad de temas (basados en el TOI) que incluyen la volatilidad de los ingresos, las dificultades materiales, el bienestar emocional y el compromiso con los sistemas públicos. Estas encuestas nos ayudan a comprender las formas en que las transferencias de efectivo incondicionales apoyan a los proveedores de cuidado infantil en el hogar y a las familias a las que cuidan.
A diferencia del enfoque de prueba aleatoria controlada que utilizan muchos pilotos de transferencia directa de efectivo, la evaluación TPP no tiene un grupo de control y permite una iteración de ciclo rápido. Constantemente estamos aprendiendo formas en que podemos mejorar el trabajo de los participantes del TPP, nuestra junta asesora nacional de expertos y nuestras organizaciones comunitarias asociadas. El equipo está inmensamente agradecido por la orientación y el apoyo que hemos recibido de los participantes del programa y los consultores sobre el terreno. Un valor central de los equipos de Stanford y Home Grown es la participación de los participantes para garantizar que los elementos de la encuesta resuenen y sean culturalmente apropiados. Por ejemplo, ajustamos nuestro enfoque para medir el bienestar emocional después de recibir comentarios de que nuestro enfoque inicial parecía demasiado “clínico”. Ya sea ayudándonos a redactar un elemento de manera diferente, ampliando nuestro pensamiento sobre un constructo o interpretando un hallazgo con nosotros, su apoyo ha sido invaluable.
En nuestra ronda más reciente de análisis de datos, notamos tres hallazgos interesantes sobre la sostenibilidad de permanecer en la fuerza laboral de cuidado infantil, la calidad de la atención y la volatilidad de los ingresos. La gran mayoría de los participantes está de acuerdo o muy de acuerdo en que recibir transferencias directas en efectivo les ha permitido seguir siendo proveedores de cuidado infantil (promedio del 85,1 % durante los últimos tres meses de encuestas) y que se sienten seguros de permanecer en el campo del cuidado infantil mientras reciben transferencias directas en efectivo (promedio del 80 % durante los últimos tres meses de encuestas). Un proveedor escribió: “No tengo que trabajar en otro lado. No me estoy estresando tanto por las facturas mensuales”. Además, los siete indicadores de calidad de la atención, medidos mensualmente por la frecuencia de autoinforme de participación en diversas actividades (p. ej., creación de actividades que se basen en los intereses de los niños, prevención de comportamientos desafiantes, participación en intercambios de ida y vuelta con los niños) han aumentado constantemente desde agosto de 2022. Cualitativamente, un proveedor reflexionó: “Las transferencias me ayudan a comprar alimentos y algunas cosas para enseñar a los niños como Play-Doh, colores, letras, etc.” Por último, los participantes que habían estado en el programa de transferencias directas de efectivo durante más tiempo (recibieron 20 transferencias de efectivo frente a 13 transferencias de efectivo) informaron una menor volatilidad de los ingresos (44,4 % frente a 60 %). De los que informaron fluctuaciones de ingresos, el 86,2 % está de acuerdo o muy de acuerdo en que las transferencias directas de efectivo les han ayudado a manejar esas fluctuaciones en los ingresos.
Esperamos llevar nuestros aprendizajes del primer año de TPP a la fase de planificación del último programa piloto de TPP en la ciudad de Nueva York. Nuestros hallazgos más recientes de la evaluación del TPP en Colorado se pueden encontrar en el boletín de este mes. En nuestros esfuerzos continuos hacia la transparencia de datos con los participantes del programa y otras partes interesadas, continuaremos compartiendo nuestros hallazgos más recientes de Colorado, NYC y más allá en boletines futuros.
Sobre el Autor
La Dra. Callie Silver es asociada de aprendizaje y evaluación en el Centro Stanford para la Primera Infancia. En su trabajo en el equipo de Mejora Continua y Evaluación de Aprendizaje de Ciclo Rápido (CIRCLE), se asocia con organizaciones, filantropías y agencias gubernamentales para comprender cómo los programas están teniendo impacto y cómo se pueden mejorar a través de una lente de equidad. Tiene un doctorado en Psicología Comunitaria de la Universidad de Illinois Chicago y una licenciatura en Desarrollo Humano de la Universidad de Cornell.
English 
Spanish