Diseño de Experimentos - Grupo Alarcos

Prácticas de Calidad de Sistemas de Información
Sesión 7:
Diseño de Experimentos
5º Curso de Ingeniería
Informática
Perfil Sistemas de Información
Ciudad Real
Curso 2003/04
Sesión 7 CSI-Curso 2003/04 1
Contenido
Diseño de Experimentos
Concepto y motivación
Metodología de diseño de experimentos
Experimentos unifactoriales
Experimentos factoriales
Sesión 7 CSI-Curso 2003/04 2
1

Diseño de Experimentos
Concepto
Modelo estadístico cuyo objetivo es averiguar si unos
determinados factores influyen en una variable de interés
para la calidad, y si hay influencia, cuantificarla.
Si un experimento se repite en circunstancias similares,
entonces, las diferencias de los resultados (la variabilidad)
debería ser mínima. De no serlo, habrá que buscar las
razones de dicha variabilidad y aplicar un tratamiento
(variación de alguno de los factores que influyen en la
variable) y comparar los resultados de antes y de después.
Sesión 7 CSI-Curso 2003/04 3
Diseño de Experimentos (II)
Pero aplicar el tratamiento puede no resultar fácil, o
factible o simplemente, por el carácter de la
materia con la que se investiga ser imposible
repetirlo.
La metodología de DDE estudia cómo variar las
condiciones habituales de realización de un proceso
empírico para aumentar la probabilidad de detectar
cambios significativos en la respuesta.
Sesión 7 CSI-Curso 2003/04 4
2

Diseño de Experimentos (III)
Razones para un experimento:
Determinar las principales causas de variación en la
respuesta.
Encontrar las condiciones experimentales con las
que se consigue un valor extremo en la variable de
interés o respuesta.
Comparar las respuestas en diferentes niveles de
observación de variables controladas.
Obtener un modelo estadístico que permita hacer
predicciones de respuestas futuras, es decir
modelar su comportamiento.
Sesión 7 CSI-Curso 2003/04 5
Diseño de Experimentos (IV)
Etapas en el DDE
1. Definir los objetivos del experimento
2. Identificar las posibles causas de variación
3. Elegir el tratamiento adecuado.
4. Especificar las medidas con las que se trabajará, el
procedimiento experimental y anticiparse a las dificultades.
5. Ejecutar un experimento piloto
6. Especificar el modelo
7. Esquematizar los pasos del análisis
8. Determinar el tamaño muestral
9. Revisar las decisiones anteriores.
Sesión 7 CSI-Curso 2003/04 6
3

Diseño de Experimentos (V)
1. Definir los objetivos del experimento
Se debe hacer una lista completa de las preguntas a las
que debe dar respuesta el experimento
La lista de objetivo se va refinando a medida que se van
ejecutando las etapas del experimento.
2. Identificar las causas posibles de variación
Se distinguen dos tipos de fuentes o causas de variación:
Factores Tratamiento
Su efecto sobre la respuesta es importante para el investigador
Los niveles de un factor son los tipos o grados específicos del
factor que se tendrán en cuenta. Pueden ser cuantitativos y
cualitativos.
Factores Nuisance
Su efecto sobre la respuesta no es de interés directo pero hay
que contemplarlas para reducir la variabilidad no planificada. Se
suelen agrupar en un único factor bloque.
Sesión 7 CSI-Curso 2003/04 7
Diseño de Experimentos (VI)
Factores Controlables o Tratamientos
Entradas Salidas
PROCESO
Factores Incontrolables o Nuisance
Sesión 7 CSI-Curso 2003/04 8
4

Diseño de Experimentos (VII)
Ejemplos de Factores
Cualitativos: proveedor de datos, tipo de máquina
utilizada, trabajadores, tipo de procesador, ...
Cuantitativos: tamaño de memoria, exactitud de los
datos.
Para hacer el DOE, los factores cuantitativos son
tratados como cualitativos y se codifican.
Sesión 7 CSI-Curso 2003/04 9
Diseño de Experimentos (VIII)
Repaso de algunos conceptos:
Factor: variables independientes que pueden influir en la
variable de interés. Pueden ser tratamiento (interesa) o bloque
(no interesa)
Niveles: cada uno de los resultados o valores de un factor.
Tratamiento: combinación específica de distintos niveles de
los distintos factores
Unidades Experimentales: objetos, individuos, intervalos de
espacio o tiempo sobre los que se experimenta. Deben ser
representativas de la población sobre la que se han fijado los
objetivos de estudio.
Observación: valor (nivel) tomado de una unidad
experimental en un experimento.
Sesión 7 CSI-Curso 2003/04 10
5

Diseño de Experimentos (IX)
3. Elegir un Diseño Experimental
Una Regla de asignación o diseño experimental especifica
qué unidades experimentales se observarán bajo cada
tratamiento. Pueden ser:
Unifactorial,
cuando se va a estudiar la influencia de un único factor
Multifactorial
Cuando se van a estudiar la influencia de varios factores en la
variable independiente y en ellos mismos. Pueden ser:
Diseño factorial
Se van a hacer combinaciones de todos los niveles de todos
los factores.
Asignación al azar
Se tomarán al azar distintas observaciones para realizar el
estudio
...
Sesión 7 CSI-Curso 2003/04 11
Diseño de Experimentos (X)
4. Especificar medidas
Variable respuesta o variable de interés
Los datos recogidos de un experimento son
medidas de una variable denominada variable
respuesta o de interés
La escala de las medidas debe ser adecuada para
que los resultados sean representativos.
Debe especificarse con claridad la forma en la que
se realizarán las medidas, momento de las
mediciones, herramientas que se utilizarán para las
mediciones.
Sesión 7 CSI-Curso 2003/04 12
6

Diseño de Experimentos (XI)
5. Ejecutar un experimento piloto.
Es un experimento que utiliza un número pequeño de
observaciones, cuyo objetivo es ayudar a completar y
chequear la lista de acciones a realizar. Alguna de las
ventajas son las siguiente:
Permite practicar la técnica experimental elegida e identificar
problemas no esperados
Si el experimento piloto tiene un tamaño suficientemente
grade puede ayudar a seleccionar un modelo adecuado al
experimento principal.
Los errores experimentales observados en el experimento
piloto pueden ayudar a calcular el número de observaciones
que se necesitan en el experimento principal.
Sesión 7 CSI-Curso 2003/04 13
Diseño de Experimentos (XII)
6. Especificar el Modelo
El modelo matemático debe especificar la
relación existente entre la variable
respuesta y los principales factores
identificados en el paso 2. Algunos modelos son:
Lineal
Factor de efectos fijos
Factor de efectos aleatorios.
Modelo de efecto fijos
Modelo de efectos aleatorios.
Modelo Mixto
Sesión 7 CSI-Curso 2003/04 14
7

Diseño de Experimentos (XIII)
7. Esquematizar los pasos del análisis
estadístico.
El análisis estadístico depende de:
Los objetivos indicados en el paso 1
El diseño seleccionado en el paso 3
El modelo asociado que se especificó en el paso 5
Se deben esquematizar los pasos:
Estimaciones que hay que calcular
Contrastes a realizar
Intervalos de confianza
Diagnosis y crítica del grado de ajuste del modelo
Sesión 7 CSI-Curso 2003/04 15
Diseño de Experimentos (XIV)
8. Determinar el tamaño muestral
Consiste en calcular el número de observaciones
que se deben tomar para alcanzar los objetivos
del diseño
Es importante cuantificar o al menos estimar la
variabilidad no planificada para ver cómo incide en
el experimento.
Suele tomarse como punto de partida los
resultados del experimento piloto.
Sesión 7 CSI-Curso 2003/04 16
8

Diseño de Experimentos (XV)
9. Revisar las decisiones anteriores.
Ningún método de análisis estadístico, por
sofisticado que sea, permite extraer conclusiones
correctas en un diseño de experimentos mal
planificado.
El análisis estadístico no es un segundo paso
independiente de la tarea de planificación. Es
necesario comprender la totalidad de objetivos
propuestos antes de comenzar con el análisis.
Sesión 7 CSI-Curso 2003/04 17
Diseño de Experimentos (XVI)
Principios básicos en el DOE
Al planificar un DOE, hay tres principios básicos a tener en
cuenta
Principio de aleatorización
Consiste en dejar al azar ciertos factores, no observándolos por
alguna razón, y asumiéndolos como si fueran “ruidos”
Evita la dependencia entre observaciones
El bloqueo
Consiste en particionar unidades experimentales en grupos o bloques
tal que las observaciones realizadas se realicen bajo condiciones
experimentales lo más parecidas posibles.
La factorización del diseño
Estrategia experimental que consiste en cruzar todos los niveles de
todos los factores tratamientos en todas las combinaciones posibles,
para detectar interacción entre los factores.
Sesión 7 CSI-Curso 2003/04 18
9

Diseño de Experimentos (XVII)
Diseño Unifactorial
En un diseño unifactorial se está interesado en
determinar si un único factor controlable influye en
la variable respuesta.
Se suelen resolver mediante un contraste de
igualdad de medias.
Sesión 7 CSI-Curso 2003/04 19
Diseño de Experimentos (XVIII)
Ejemplo
Un administrador de red está interesado en
comprobar si el servidor de páginas web influye en
el tiempo de respuestas a distintas peticiones. Para
ello instala tres servidores distintos en la misma
máquina y desde distintos puestos encarga a
diferentes usuario de la web que visiten diferentes
páginas en un orden totalmente aleatorio. Los
datos correspondientes al tiempo de respuesta en
milisegundos se encuentran en el fichero web.mtw.
¿afecta el factor servidor web al tiempo de
respuesta de la red?
Sesión 7 CSI-Curso 2003/04 20
10

Diseño de Experimentos (XIX)
Solución
En este caso el factor tratamiento será servidor web, con
distintos niveles como puede apreciarse en los datos; la
variable de estudio tiempo de respuesta.
Lo primero sería realizar un estudio descriptivo, para ver si
aparentemente existen diferencias entre las medias de los
tiempos de respuestas.
Se deduce viendo el gráfico de la página siguiente que si hay
diferencias significativas, con lo que puede empezar a decirse
que el factor servidor web afecta a la variable tiempo de
respuesta.
Sesión 7 CSI-Curso 2003/04 21
Diseño de Experimentos (XX)
Puede verse que el servidor S1 es el más rápido de
todos, ya que su tiempo de respuesta es menor.
Sesión 7 CSI-Curso 2003/04 22
11

Diseño de Experimentos (XXI)
Para validar estadísticamente la hipótesis de que la
diferencia de medias son significativas, se va a
realizar un ANOVA para contrastar la igualdad entre
las medias. Como puede verse p=0.0

Problema 1
Ejercicio
Un ingeniero software quiere determinar si el
sistema operativo influye en el rendimiento de una
aplicación que se está diseñando. Para ello prueba
distintas distribuciones de Linux y distintos
Windows. Los datos están en el fichero ssoo.mtw.
¿podría decirse que afecta el sistema operativo al
rendimiento de esa aplicación?
Sesión 7 CSI-Curso 2003/04 25
Diseño de Experimentos (XXIII)
Diseños factoriales
En ocasiones resulta interesante estudiar si dos o más
factores pueden afectar a una variable y si entre ellos tal vez
haya interacción.
Se dice que dos factores interactúan cuando el efecto de uno de
ellos sobre la variable respuesta es diferente según el nivel en el
que se encuentre el otro factor.
El diseño factorial consiste en experimentar todas las posibles
combinaciones de los niveles de todos los niveles de todos los
factores en cada experimento.
Pero en ocasiones puede resultar muy difícil comparar todos los
niveles de todos los factores, siendo necesario limitar el número
de niveles a un número k y el número de factores a un número
m, para poder realizar diseños m k . Normalmente se suelen
comparar k niveles de dos factores (diseños 2 k ), siendo posible
repetir el experimento para obtener n réplicas.
Sesión 7 CSI-Curso 2003/04 26
13

Diseño de Experimentos (XXIV)
Diseño de Experimentos en Minitab
Minitab 14 aporta los mecanismos necesarios para
diseñar experimentos factoriales y analizar
convenientemente los resultados.
Para ello es imprescindible tener claro cuántos
factores van a afectar a las unidades
experimentales y cuántos niveles va a tener cada
uno de ellos.
A continuación se va a presentar un ejemplo.
Sesión 7 CSI-Curso 2003/04 27
Diseño de Experimentos (XXV)
Ejemplo
Se desea investigar el rendimiento de determinados
programadores bajo ciertas circunstancias de
motivación y estrés. Para manipular la motivación se
han observado dos posibilidades incentivar
mediante una retribución su rendimiento y no
incentivarlo. Para controlar el muchísimos estrés se
ha optado por dos tipos de medicación: con
ansiolíticos y con tranquilizantes. Para ello se han
elegido ocho programadores aleatoriamente en la
empresa que van a verse sometidos al tratamiento.
Se pide que diseñe el experimento en Minitab y
recoja los resultados.
Sesión 7 CSI-Curso 2003/04 28
14

Diseño de Experimentos (XXVI)
Solución
Como puede apreciarse en el enunciado se tienen
dos factores con dos niveles cada uno. Por lo que
se nos pide un diseño factorial 2 2 .
Se sabe que el número de réplicas de este
experimento va a ser dos, pues como se han
ofrecido ocho programados para cuatro
posibilidades, se tendrán dos.
Lo primero es crear el diseño en Minitab. Para ello
se crea un worksheet nuevo y se selecciona Stat
DOE Factorial Create Factorial Design
Sesión 7 CSI-Curso 2003/04 29
Diseño de Experimentos (XVII)
Se elige el tipo de
diseño a crear
Se elige el número
de factores a
estudiar
Se elige entre todos
los tipos de diseño
Se configuran los
factores
Sesión 7 CSI-Curso 2003/04 30
15

Diseño de Experimentos (XVIII)
Se elige el tipo de
diseño a crear
Se elige el número
de réplicas a realizar
Sesión 7 CSI-Curso 2003/04 31
Diseño de Experimentos (XXIX)
Se configura el
primer factor con sus
niveles
Se configura el
segundo factor con
sus niveles
Sesión 7 CSI-Curso 2003/04 32
16

Diseño de Experimentos (XXX)
Se configura los
resultados que se
quieren mostrar
Sesión 7 CSI-Curso 2003/04 33
Diseño de Experimentos (XXXI)
Se obtiene el siguiente Worksheet
Ahora se realizan los experimentos, se toman las
muestras, se almacenan donde corresponda y ya
está listo para ser analizado
Sesión 7 CSI-Curso 2003/04 34
17

Diseño de Experimentos (XXXII)
Análisis de Experimentos Factoriales
Minitab ofrece una serie de herramientas para
poder analizar los resultados de un diseño de
experimentos.
Para analizar un experimento factorial se procede
Stat DOEFactorial Analyze Factorial Design.
Sesión 7 CSI-Curso 2003/04 35
Diseño de Experimentos (XXXIII)
Ejemplo
Tras el diseño del experimento anterior, se
recogieron datos correspondientes a las dos
réplicas propuestas, estando en el fichero doe-2-
2.mtw los resultados almacenados. Se pide estudiar
si la motivación y el estrés afectan al rendimiento y
cómo lo hacen.
Sesión 7 CSI-Curso 2003/04 36
18

Diseño de Experimentos (XXXIV)
Solución
Para ello se procede como se indicó anteriormente
Stat DOE Factorial Analyze Factorial Design
En la columna rendimiento se han recogido los
datos correspondientes a cada uno de los
programadores que han trabajado en las
condiciones especificada por la variación de los
distintos niveles de cada uno de los factores. Como
se tienen dos réplicas se tendrán ocho datos en
total
Sesión 7 CSI-Curso 2003/04 37
Diseño de Experimentos (XXXV)
Se configura los
gráficos que se
quieren mostrar
Se configura los
resultados que se
quieren mostrar
Sesión 7 CSI-Curso 2003/04 38
19

Diseño de Experimentos (XXXVI)
Sesión 7 CSI-Curso 2003/04 39
Diseño de Experimentos (XXXVII)
Sesión 7 CSI-Curso 2003/04 40
20

Diseño de Experimentos (XXXVIII)
De los resultados que se se obtienen pueden
desprenderse las siguiente conclusiones, viendo el
p-valor obtenido: influyen los factores A y B, y la
combinación de éstos, ya que p-valor

Diseño de Experimentos (XL)
Sesión 7 CSI-Curso 2003/04 43
Diseño de Experimentos (XLI)
Sesión 7 CSI-Curso 2003/04 44
22

Diseño de Experimentos (XLII)
Sesión 7 CSI-Curso 2003/04 45
Ejercicio 2
Problema
Haga una lista de factores tratamiento que se
quieran estudiar que puedan intervenir rendimiento
del sistema de información que diseñó en la
primera práctica.
Identifique distintos niveles para esos factores y
clasifíquelos en cuantitativos y cualitativos.
Sesión 7 CSI-Curso 2003/04 46
23

Ejercicio 3
Problema
De entre los factores del problema anterior, elija
dos con dos niveles cada uno y diseñe un
experimento de tres réplicas. Genere
aleatoriamente los valores de las muestras con
Excel o con Minitab.
Analice dicho experimento e interprete los
resultados
Sesión 7 CSI-Curso 2003/04 47
Bibliografía y recursos
Bibliografía
Apuntes Estadística 2 de la UDC:
http://www.udc.es/dep/mate/estadistica2/estadistic
a_2.htm
Sesión 7 CSI-Curso 2003/04 48
24