K.

Popper
“Las teorías científicas no son enteramente
justificables o verificables pero sí pueden ser
contrastables o corroborables”
Evaluación de Modelos
“El objetivo de la ciencia consiste en ofrecer
Validación y prueba de modelos
explicaciones satisfactorias para todo aquello
que requiera de una explicación. Para que la
explicación no sea ad-hoc se tendrá que
analizar una gran variedad de consecuencias
contrastables (falseables)”

K. Popper K. Popper

“Se considera preferible la teoría que nos diga

más; es decir, la teoría que contenga mayor
cantidad de explicación o contenido empírico;
que sea lógicamente más fuerte; que tenga
mayor poder explicativo y predictivo; y que, por
ende, pueda ser examinada más severamente
comparando los hechos predichos con las
observaciones. En resumen, preferimos una
teoría interesante, audaz e informativa en alto
grado, a una teoría trivial”
“La verdad no es el único objetivo de la
ciencia. Queremos más que la mera
verdad: lo que buscamos es una verdad
interesante, verdad a la cual es difícil
llegar... Una verdad con un alto poder
explicativo”

1
 Introducción Introducción

¿Qué hace que un modelo sea bueno?

Desafortunadamente, las prueban se utilizan a menudo
para “probar” que el modelo es “correcto”.
Como modelador, como sabe si puede confiar en los
resultados?
Peor aun, muchos test importantes simplemente no se
llevan a cabo!!
Como contratante de un modelo, cuando debe aceptar
usted un modelo para tomar decisiones?
Muchos modeladores se enfocan excesivamente en la
replicación de datos históricos!!!
Que preguntas debería usted formularse?, Qué preguntas
deberán hacerse? Que estándares debe aplicar?

Introducción Introducción

Las preguntas podrían enfocarse a problemas como:
–¿Qué tan apropiadas son las suposiciones base?
–¿Robustez?
–¿Sensibilidad de los resultados a suposiciones
concernientes a los límites del modelo y la estructura de
realimentación?
Modeladores y los clientes sufren de “sesgos de confirmación”
La Prueba del Modelo debe estar dirigida a
descubrir los errores de forma tal que
modeladores y clientes:
–Entiendan las limitaciones del modelo
–Lo mejoren
–Usen el mejor modelo disponible para
asesorar la toma de decisiones importantes.

Presentan datos favorables a sus preconcepciones y por tanto

se aferran a su “cuento” a pesar de las evidencias........

2

Introducción
Los modelos no pueden ser validados o verificados.
Porque?
Todos los modelos están malos! Como simplificaciones
de la realidad, no son susceptibles a pruebas...
Forrester (1961)
“Cualquier procedimiento de validación de modelos
“objetivo” se basa eventualmente en algún nivel de
juicio o fé en que tanto el procedimiento o sus metas
son aceptables sin una prueba objetiva”
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Propósito, Adecuación, Límites
– Cuál es el propósito del modelo?
– Cuál es el límite del modelo?
(Las cuestiones importantes se tratan endógenamente? Que
variables importantes han sido consideradas exógenamente, o
excluidas? ¿Se excluyen variables importantes por falta de
datos?)
– Cuál es el horizonte de tiempo relevante al problema?
– Es el nivel de agregación consistente con el
propósito?
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Muchos modelos son como las estrategias de guerra:
Grandiosos cuando se conciben pero olvidados en el
calor de la batalla
Las preguntas debe estar dirigidas a:
– Discutir la conveniencia general del modelo a los
propósitos
– Su conformidad a los principios de formulación
fundamentales
– La sensibilidad de los resultados a la incertidumbre
en las suposiciones
– La integridad del proceso de modelamiento
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Estructura Física
– El modelo se ajusta a las leyes básicas de
conservación de la materia? (Las ecuaciones son
dimensionalmente consistentes sin el uso de “charles”?)
– La estructura de niveles y flujos es explícita y
consistente con el propósito del modelo?
– El modelo representa desequilibrios dinámicos o
asume que el sistema esta en o cerca de el equilibrio
en todo momento?
– Se toman en cuenta y de manera apropiada los
retardos, restricciones y cuellos de botella?
3
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Estructura de Toma de Decisiones
– Se asume que la gente actúa racionalmente y que
optimizan su desempeño?
(El modelo considera limitaciones cognitivas, realidades
organizacionales, motivos no económicos, factores políticos?)
– Las decisiones simuladas están basadas en la
información que los tomadores de decisión reales
poseen actualmente?
(El modelo considera los retardos, distorsiones y ruido en los
flujos de información?)
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Pragmática y Políticas de Uso del Modelo
– Está documentado el modelo?
(La información está disponible públicamente? Puedo correr el
modelo en mi computador?)
– Qué tipos de datos se utilizaron para desarrollar y
probar el modelo?
(Estadísticas agregadas recolectadas por terceros, fuentes
primarias de datos, observaciones y datos de campo cualitativos,
archivos, entrevistas?)
– Cómo describen los modeladores el proceso utilizado
para probar y construir la confianza del modelo?
(Terceras partes independientes revisaron el modelo?)
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Robustez y sensibilidad a Suposiciones Alternativas
– El modelo es robusto ante condiciones extremas en
las condiciones de entrada o en las políticas?
– Las recomendaciones de políticas son sensibles a
variaciones significativas en cuanto a:
Suposiciones?
Parámetros?
Agregación?
Límites del modelo?
Preguntas que los usuarios de un modelo deberían
formularse, pero que corrientemente no se hacen.
Pragmática y Políticas de Uso del Modelo
– Cuánto cuesta correr el modelo?
(El presupuesto y el tiempo permiten hacer pruebas de
sensibilidad adecuadas?)
– Cuanto tiempo toma revisar y actualizar el modelo?
– El modelos será operado por sus diseñadores o por
terceras partes?
– Cuáles son los sesgos, ideologías y agendas políticas
de los modeladores y clientes?
(Como pueden estos sesgos afectar los resultados, tanto
deliberada como inadvertidamente?)
4
 Modelamiento Protectivo vs.
Modelamiento Reflectivo
– Protectivo: modelos
usados para
ƒ Probar un punto
ƒ Mantener ocultas las
suposiciones
ƒ Usar datos selectivamente
ƒ Apoyar preconcepciones y
respuestas preseleccionadas
... y cubrir la preselección!!
ƒ Promover la autoridad del
modelador
– Reflectivo: modelos usados
para
ƒ Promover dudas
ƒ Exponer las suposiciones
ocultas
ƒ Motivar un amplio rango de
pruebas empíricas
ƒ Retar las preconcepciones y
apoyar múltiples puntos de vista
... involucrando a toda la empresa!!
ƒ Promover el empoderamiento de
los clientes
Prueba de modelos en la práctica
– Los modeladores de dinámica de sistemas han diseñado una
amplia gama de test específicos para descubrir fallas y mejorar
los modelos
– Los test están orientados a responder las preguntas anteriores
1. Pruebas de Límites 7. Reproducción del
Comportamiento
2. Valoración de la Estructura 8. Anomalías de Comportamiento
3. Consistencia Dimensional 9. Pertenencia a otros sistemas
(Family Member)
4. Valoración de Parámetros 10.Comportamiento Sorpresivo
5. Condiciones Extremas 11. Análisis de Sensibilidad
6. Errores de Integración 12. Mejoramiento del Sistema

Comportam Pregunta de la prueba Comportam Pregunta de la prueba

modelo (1/2) modelo (2/2)
Reproducción del Reproduce el modelo los síntomas del Políticas Se comporta el modelo de manera
comportamiento problema y el comportamiento observado extremas adecuada cuando se somete a políticas
en la vida real? extremas?
Comportamiento Se presenta un comportamiento anómalo Adecuado en la Se pueden representar políticas
anómalo al eliminar alguna hipótesis del modelo? frontera alternas?
Miembro de Puede el modelo reproducir el Sensibilidad al Es sensible a variaciones de los
familia comportamiento en otros casos comportamiento parámetros?
similares?
Comportamiento Muestra el modelo la existencia de un Carácter Es el comportamiento del modelo similar
sorpresa modo no reconocido previamente? estadístico al de la vida real?

5
Implicación Pregunta de la prueba
de política
Mejoramiento del Mejora el comportamiento del sistema?
problema

Predicción del Describe el modelo de manera correcta

comportamiento los resultados de las nuevas políticas?

Adecuado en la Son las recomendaciones de política

frontera sensibles a teorías alternas?

Sensibilidad a Son las recomendaciones de política

políticas sensibles a cambios en los parámetros?