Crisis Exercises: Are You Wasting Your Time and Money? A Blueprint for Better Exercises

Toda la doctrina de gestión de incidentes y crisis incluye un ciclo de preparación (figura 1) que enfatiza los principios de mejora continua y aprende de las lecciones. El ejercicio juega un papel crítico en el ciclo. 

Si bien en realidad los ejercicios se utilizan para lograr una variedad de resultados, en teoría al menos el propósito principal es "ensayar y evaluar los arreglos, dar práctica al personal en los roles para los que han sido asignados y capacitados, y confirmar que los arreglos realmente funcionan en la práctica" (BSI, 2014 p27).

Una de las funciones más importantes de los ejercicios es facilitar el aprendizaje y la incorporación de lecciones identificadas en ejercicios o incidentes anteriores e identificar nuevas lecciones que puedan abordarse antes de que ocurra un incidente futuro.

Los ejercicios pueden tomar varias formas, desde muy simples hasta extremadamente complejas. Como se puede ver en la Figura 2, existe un acuerdo amplio, pero no del todo coherente, entre los organismos de orientación sobre la terminología (y las definiciones subyacentes) utilizadas para caracterizar los tipos de ejercicio.

Figura 2 – Varios tipos de taxonomía de ejercicios

Si bien hay muchas fuentes de orientación sobre el ejercicio, hay poca evidencia teórica o empírica de calidad sobre lo que hace que un ejercicio sea efectivo. Un análisis de los incidentes y las lecciones resultantes demuestra claramente debilidades recurrentes y persistentes, a pesar de los ejercicios.

Ejemplo: Respuesta del gobierno del Reino Unido a la pandemia

La respuesta a la pandemia es un ejemplo de muchos aspectos positivos: liderazgo, innovación bajo presión y colaboración global, pero también destaca los fracasos no solo en el ejercicio sino también en el enfoque de preparación específico para el riesgo. Para usar el Reino Unido como ejemplo, el informe "Coronavirus: lecciones aprendidas hasta la fecha" del gobierno del Reino Unido, publicado en octubre de 2021, encontró: 

En el informe se reconocía que los ejercicios se basaban en planes de contingencia derivados del Registro Nacional de Riesgos y que las deficiencias de los ejercicios se debían en parte a un enfoque en las especificidades del riesgo (las características de la enfermedad), el análisis limitado de las consecuencias (consecuencias en cascada y a largo plazo) la capacidad y los supuestos de capacidad, la complacencia y la "austeridad" que informaron la preparación del Gobierno para una pandemia.

En el informe se recomendaba que:

Ejemplo: lecciones de varias agencias identificadas en el Reino Unido desde 2005

El Colegio de Planificación de Emergencias del Reino Unido, parte de la Oficina del Gabinete, publicó un resumen de las lecciones aprendidas de múltiples agencias de 24 ejercicios e incidentes que ocurrieron en el Reino Unido desde 2005.

Identifica una serie de tendencias comunes y persistentes. Tal vez no sea sorprendente para los profesionales experimentados, la comunicación y la conciencia situacional fueron los temas más comunes, ambos recurrentes repetidamente durante 13 + años.

En su conclusión, el informe dice:

Este artículo presenta un plan para mejores ejercicios. El objetivo del Plan es proporcionar un conjunto de consideraciones y enfoques para implementar la orientación existente sobre el diseño y la evaluación de ejercicios, basada en la literatura académica y la evidencia de los ejercicios.

Figura 3 - Plan para un mejor ejercicio, Arquitectos: Dave Rouse (OSRL) y Dr. El Parker (Consultor Independiente)

Consideraciones:

• Proactivo: parte de un programa a largo plazo con mecanismos de control de calidad y rendición de cuentas
• Reactivo único: ad hoc; desencadenado después de un cambio en la legislación, nueva lección o plan
• Ambos exigen una evaluación forense de las necesidades: análisis raíz de la causa de problemas / consecuencias del cambio anteriores
• Parámetros de esquema (presupuesto, escala de tiempo)
• Obtenga apoyo genuino de la alta dirección* 

Importancia:

Establecer un ciclo anual de ejercicio y mejora de calidad asegurada permitirá que el desarrollo y la mejora se desarrollen año tras año.

El ejercicio reactivo como respuesta al cambio puede cosechar beneficios transitorios, pero es poco probable que se aprendan y retengan las lecciones a menos que el ejercicio forme parte de procesos de aprendizaje más amplios.

Consideraciones:

Asegure un propósito:

• Desarrollar e integrar acuerdos nuevos o revisados
• Disposiciones relativas a los ensayos
• Formar y desarrollar la competencia de las personas
• Validar y asegurar los arreglos y la competencia

Un enfoque:

• Personas vs proceso vs todo el sistema
• ¿Es necesario el desarrollo del conocimiento antes de la práctica? 

Importancia:

Un ejercicio no puede abordar múltiples necesidades, sin importar el recurso que se le presente. Defina una serie de ejercicios más pequeños.

Solo las personas competentes pueden probar los arreglos.

Solo los respondedores con experiencia de alto nivel pueden probar y asegurar arreglos complejos e interdependientes.

Se necesitan evaluadores capacitados y experimentados para evaluar la competencia

Consideraciones:

• Relacionarse con la evaluación de necesidades y la razón para realizar ejercicio
• Más partidos = más planificación y más política...
• ...PERO potencial para más valor si se ejecuta bien
• Evidencia de los beneficios para las partes interesadas clave*

Importancia:

Identificar necesidades – ¿Son competentes las personas? ¿Funcionan sus arreglos? ¿Existe interoperabilidad entre servicios y agencias?

La respuesta requiere equipos efectivos, no solo individuos. Las crisis a menudo son manejadas por equipos itinerantes / inexpertos.

No diseñe el ejercicio en torno a los que están disponibles para jugar: resalte los riesgos de las limitaciones en esas capacidades y capacidades. 

Consideraciones:

• Representar a TODAS las partes interesadas
• Diverso (pensamiento, experiencia, demografía, experiencia)
• Rompe los silos y evita el pensamiento grupal
• Miembros del equipo :
  • Gestión de proyectos
  • Asesores técnicos
  • Investigadores de desarrollo de escenarios
  • Expertos en evaluación/control de calidad
  • Pistas de entrega de ejercicio

Importancia:

La diversidad crea resiliencia. Maximice los conocimientos que desarrollan competencia y capacidad: un equipo de desarrollo diverso puede aportar una amplia experiencia y una profundidad de comprensión y desafiar las suposiciones de los demás.

No pase por alto las perspectivas de las partes interesadas de segundo orden / comunidades potencialmente afectadas.

Consideraciones:

• Enfoque colectivo: fidelidad y confianza
• Dentro / fuera del alcance: gestione las expectativas
• Asignar responsabilidades
• Hitos y plazos
• Presupuesto/en especie
• Talleres de línea base
• Comprender el ecosistema de capacidades actuales: enlaces e interdependencias
• Definir la capacidad necesaria (personal, activos, etc.) para implementar el plan Y lo que normalmente está disponible 

Importancia:

Planificar el ejercicio es una oportunidad de aprendizaje. Los desarrolladores del ejercicio más grande de Londres (Unified Response 2016) informaron sobre el valor del aprendizaje compartido y la comprensión adquirida a través del diseño colaborativo (se identificaron cambios durante esta fase).

El ejercicio es un proyecto. Adoptar la disciplina de gestión de proyectos es fundamental para el éxito.

No pase por alto ni subestime la importancia de la "carga frontal": la planificación, el diseño y la preparación sólidos llevados a cabo en las primeras etapas del ciclo de vida de un proyecto que prepararon el proyecto para el éxito.

Consideraciones:

• Declaración clara de necesidad – objetivo estratégico
• Objetivos medibles o resultados de aprendizaje
• Definir los estándares esperados para los acuerdos o la competencia
• Alinear el escenario e inyectar
• Captura en un marco de evaluación
• Indicadores de progreso
• Mecanismo de monitoreo y gestión de la información

Importancia:

Alinee todos sus elementos (el hilo de oro): cree un "mapa" que muestre cómo las inyecciones prueban o evidencian competencias o estándares y qué objetivos cubren cada grupo.

Crear estándares de desempeño medibles que los observadores y los facilitadores de informes puedan usar para la evaluación.

Consideraciones:

• Superar la política, la cultura de la aversión al riesgo y el miedo a perder la cara
• Mapear la capacidad y la evaluación de la capacidad contra WCS creíble: sea claro sobre el riesgo de no realizar pruebas de estrés
• Suposiciones de desafío (escenario, capacidad y capacidad)
• Navegar e influir lleva tiempo
• Muchas organizaciones tienen preferencia por los ejercicios que ofrecen buenas noticias...
• Las organizaciones de aprendizaje se esfuerzan por mejorar... ¡Buenas noticias!

Importancia:

Con demasiada frecuencia, los ejercicios juegan a lo seguro, los escenarios están dentro de la capacidad y la capacidad: ¡el éxito está garantizado! Por definición, una crisis es una situación que excede la capacidad de los involucrados.

Las organizaciones de alta fiabilidad (potencial de riesgo y daño a gran escala, pero equilibrio efectividad, eficiencia y seguridad) demuestran deferencia a la experiencia, renuencia a simplificar, sensibilidad a las operaciones, compromiso con la resiliencia y preocupación por el fracaso.

Consideraciones:

Para el escenario:

• No lo invente: defina los peores escenarios (WCS) creíbles basados en la evidencia*
• Resistir la presión para desviarse

Para inyecciones:

• ¿Cuánto juego libre de los jugadores de rol?
• Realismo – actores técnicos expertos

Para la evaluación:

• Alinear las inyecciones con los indicadores de estándares de desempeño
• Proporcionar retroalimentación individual / de equipo utilizando declaraciones de competencia y calificaciones de confianza
• Acordar declaraciones de retroalimentación predefinidas: "trabajar hacia" en lugar de "necesita mejorar"

Importancia:

Evite ir a lo seguro, investigando estudios de casos, aplicando modelos predictivos y aplicando el pensamiento sistémico (Checkland 1989 y 2011) para definir un escenario creíble en el peor de los casos que detalle el peligro / amenaza - impactos - consecuencias.

Mire más allá del registro de riesgos al desarrollar WCS creíble. El registro de riesgos no siempre es lo suficientemente imaginativo. Considere no solo lo que podría suceder de manera creíble, sino también los caminos que podrían conducir allí.

La cultura organizacional puede significar que los equipos hacen suposiciones seguras: use expertos objetivos para desafiar las decisiones y las reacciones de juego libre durante los ejercicios.

Utilice la respuesta estándar de rendimiento a una inyección como base de retroalimentación al equipo.

Consideraciones:

• Comprender los sesgos perceptivos a través de la consulta, por ejemplo, la supuesta efectividad de los controles de riesgo
• Confirmación de pruebas, anclaje y sesgo de disponibilidad a través de inyecciones personalizadas
• Procedimiento de prueba vs experiencia adaptativa
• Proporcionar el marco de evaluación (estándares esperados) a las organizaciones / delegados participantes

Importancia:

No juegue a lo seguro: diseñe escenarios de ejercicios que desafíen las habilidades no técnicas (Flin et al 2008).

Las áreas de debilidad comúnmente provienen de una mala conciencia situacional (riesgo), la falta de voluntad para desviarse de las acciones planificadas a pesar de la evidencia de lo contrario, y el apegamiento a procedimientos fallidos en tiempos de sobrecarga cognitiva.

Las mesas con sesiones de discusión proporcionan un espacio seguro para el análisis y la retroalimentación.

Los profesionales / respondedores resilientes demuestran experiencia metacognitiva: saben cuándo no pueden resolver un problema y adoptan estrategias efectivas (colectivas).

Consideraciones:

• Capacitar a una amplia gama de evaluadores de dentro y fuera del sector
• Desarrollar un mejor informe que "tres cosas que salieron bien", tres cosas para hacer mejor Y proporcionar capacitación informativa para los delegados
• Utilizar el marco de evaluación (estándares esperados)
• Establecer un proceso de moderación para una evaluación consistente
• El proceso de gobernanza debe garantizar que las lecciones se implementen realmente en todos los equipos / agencias: realice un seguimiento de la rendición de cuentas
• Mida, evidencia e informe el impacto y el ROI
• Publicar de forma transparente

Importancia:

Asegúrese de que todos sigan el hilo de oro y evalúen lo que el ejercicio pretendía lograr; No fue lo que fue sobresaliente durante el informe.

Empoderar a las personas para que contribuyan en un informe, para identificar áreas de debilidad, requiere una comprensión de los estándares de desempeño y la confianza en que las contribuciones se utilizarán de manera ética, y la creencia de que se producirá un cambio positivo.

Asigne la propiedad a cada lección, acuerde las acciones apropiadas y garantice que el ciclo de calidad exija evidencia de cambio y retención.

Consideraciones:

• Menos suele ser más
• El software de gestión del ejercicio tiene pros y contras
• Tendencia a ir a lo grande, pero varias actividades más cortas pueden ser mejores para la retención, el desarrollo de la toma de decisiones dinámicas de riesgo, la confianza ...
• Resistir el uso de herramientas y plantillas que restrinjan el pensamiento/toma de decisiones. 

Importancia:

Los ejercicios no son una obra maestra, ninguna organización es invencible.

La experiencia y los acuerdos resilientes requieren tiempo y práctica (Ford & Schmidt 2001).

La competencia tiene una vida media.

Las memorias de ayuda son útiles, pero aseguran que impulsen el pensamiento creativo / adaptativo en lugar del procedimentalista.

Consideraciones:

• Equilibrio entre tiempo/coste/calidad
• Propósito (enseñanza vs práctica deliberada vs pruebas vs demostración de rendimiento)
• Enfoque (personas vs proceso vs todo el sistema)
• Dónde encaja en el programa/actualidad de ejercicios anteriores
• Competencia de los participantes vs lagunas
• Madurez de los acuerdos vs brechas.

Importancia: 

Con un equipo diverso y un poco de tiempo, es posible crear ejercicios enfocados, desafiantes y beneficiosos.

Tener un programa de ejercicios (una variedad de tipos/escalas) con un mecanismo de garantía de calidad reforzará las lecciones que deben aprenderse, incorporar cambios y ahorrar dinero a largo plazo.

Con demasiada frecuencia, los ejercicios juegan a lo seguro. Utilizan escenarios que están dentro de la capacidad existente, y diseñados para terminar dentro de un período de ocho horas. 

El éxito está prácticamente garantizado. 

Ejercitar arreglos de rutina como este es un comienzo y puede tener un papel en el desarrollo de la memoria muscular y mitigar el desvanecimiento de la habilidad. Sin embargo, esto no preparará a los equipos para incidentes y crisis complejos, que por definición son impredecibles, no van según lo planeado y amenazan con exceder la capacidad de los involucrados.

La aplicación cuidadosa del enfoque descrito en este documento proporcionará beneficios estratégicos a cualquier organización, mejorando la preparación y mejorando el retorno de la inversión en ejercicio.

Un programa de ejercicios a pequeña escala cuidadosamente secuenciados y bien definidos, complementado por el autoestudio guiado, desarrollará e incorporará el conocimiento requerido por los respondedores. El programa se repite con nuevas cohortes de respondedores, evolucionando cuando corresponde. Este enfoque es sostenible, eficiente y ágil. 

Esto permite que los ejercicios a gran escala se centren en las áreas más complejas, obteniendo el máximo beneficio de la inversión que conllevan, y llevar la resiliencia al siguiente nivel. Utilizando los peores escenarios creíbles y informados por expertos, los ejercicios a gran escala pueden desafiar genuinamente a los participantes y las interdependencias de las pruebas de estrés presentes en organizaciones complejas.

Sistemas. Esto solo es posible cuando el enfoque es claro y los fundamentos se han desarrollado progresivamente de antemano. 

Ejercitándose de esta manera, los respondedores desarrollan la mentalidad necesaria para trabajar eficazmente bajo presión, expandir los modelos mentales compartidos de dependencias del sistema y desarrollar la confianza necesaria para rendir al máximo cuando sucede lo peor. 

Además de mejorar la preparación para la respuesta, las organizaciones con alta competencia en crisis desarrollan una mentalidad de resiliencia y una mejor cultura de gestión de riesgos. El personal que es seguro, adaptable, de pensamiento rápido, ágil y colaborativo, que confía entre sí por haber trabajado juntos bajo presión, puede aplicar el pensamiento del peor de los casos a los negocios.

como de costumbre, y están mejor equipados para anticipar y gestionar las consecuencias imprevistas.

Si la pandemia nos ha demostrado algo, es que debemos planificar la incertidumbre y desarrollar capacidades para enfrentarla.

Las organizaciones ya tienen la capacidad de evaluar críticamente las necesidades y brechas, desarrollar estándares de desempeño y evaluar constantemente las competencias y los arreglos.

El principal cambio que la mayoría de las organizaciones deben hacer para mejorar el retorno de la inversión de los ejercicios y darse cuenta de la preparación completa y los beneficios estratégicos descritos anteriormente es cultural.

El cambio es de una cultura donde los ejercicios son proyectos independientes ad-hoc a uno en el que forman parte de un ciclo de calidad y mejora mucho más amplio.

Al integrar las fases de planificación, ejecución y evaluación de ejercicios en sistemas de gobernanza de calidad más amplios, las organizaciones se beneficiarán de una mejor preparación, una respuesta más efectiva, una recuperación más rápida y una mayor resiliencia.

British Standards Institution, 2014. BS 11200:2014 Gestión de crisis – Orientación y buenas prácticas. Londres.

Checkland, P. B. (1989). Metodología de sistemas blandos. Gestión de sistemas humanos, 8(4), 273-289.

Checkland, P. (2011). Retrospectivas autobiográficas: Aprendiendo su camino hacia la "acción para mejorar": el desarrollo del pensamiento de sistemas blandos y la metodología de sistemas blandos. Revista internacional de sistemas generales, 40(05), 487-512.Gunns, J. y Leigh, M., 2016. Desarrollo y entrega de ejercicios. UK Government Cabinet Office Emergency Planning College. York.

Demmar, D. y Leigh, M., 2020. EPC Lessons Digest – Resumen de lecciones de múltiples agencias identificadas en el Reino Unido desde 2005. Gobierno del Reino Unido, Oficina del Gabinete, Colegio de Planificación de Emergencias. York.

Flin, R., O'connor, P. y Crichton, M. (2017). Seguridad en el extremo afilado: una guía de habilidades no técnicas. Prensa CRC.

Ford, J. y Schmidt, Aaron. (2000). Emergency Response Training: Strategies for Enhancing Real-World Performance. Revista de materiales peligrosos. 75. 195-215. 10.1016/S0304-3894(00)00180-1.

Gunns, J. y Leigh, M., 2016. Desarrollo y entrega de ejercicios. UK Government Cabinet Office Emergency Planning College. York.

IOGP-IPIECA, 2014. Ejercicios de derrame de petróleo – Directrices de buenas prácticas para el desarrollo de un programa de ejercicios eficaz. Londres.

Cuerpo de Bomberos de Londres (LFB) 2017. Ejercicio Informe de Evaluación de Respuesta Unificada.

Gobierno de Nueva Zelanda, Ministerio de Defensa Civil y Gestión de Emergencias, 2019. CDEM Exercises Director's Guideline for Civil Defence Emergency Management Groups [DGL 10/19]. Wellington.

Gobierno de los Estados Unidos, Departamento de Seguridad Nacional, Agencia Federal para el Manejo de Emergencias, 2020. Programa de Evaluación y Ejercicios de Seguridad Nacional (HSEEP). Washington DC.

Gobierno del Reino Unido, Comités de Salud y Asistencia Social y Tecnología de la Cámara de los Comunes, 2021. Coronovirus: lecciones aprendidas hasta la fecha. Londres.