Recuperación de información para respuesta a preguntas en ...

Cadenas de Markov (Golubitsky & Dellnitz, 1999).
Una cadena (homogénea) de Markov para un sistema con un número finito de estados
marcados de 1 a n junto con probabilidades p ij de moverse del estado i al j en un paso, se
define precisamente por el conjunto de estados
y una matriz M de
representando las probabilidades de los movimientos. El sistema comienza en algún estado
inicial en S y a cada paso se mueve de un estado a otro. Esta transición está guiada por M: a
cada paso, si el sistema se encuentra en un estado i, se mueve a un estado j con una
probabilidad M ij . El movimiento de un estado a otro sólo depende del estado en que se
encuentre el sistema y no de cómo llego ahí. Si el estado actual del sistema está dado como
una distribución de probabilidad, la distribución de probabilidad del siguiente estado está
dada por el producto del vector que representa la distribución del estado actual y la matriz
M. En general, el estado inicial del sistema se escoge de acuerdo a cierta distribución de
probabilidad x (usualmente una distribución uniforme) en S. Después de k pasos, el estado
del sistema se distribuye de acuerdo a xM k . Bajo ciertas condiciones, independientemente
de la distribución inicial x, el sistema eventualmente alcanza un punto fijo donde la
distribución del estado no cambia más. Esta distribución se denomina distribución
estacionaria. Es posible mostrar que la distribución estacionaria del sistema está dada por el
eigenvector principal y de M, es decir, . En la práctica, un algoritmo de iteración
puede obtener rápidamente una aproximación razonable a y. Una observación importante es
que las entradas en y definen un orden natural del conjunto de estados S del sistema. Un
aspecto relevante que surge al emplear las cadenas de Markov para ordenar los elementos
de S es el siguiente:
Una cadena de Markov define un grafo ponderado dirigido con n nodos tales que el peso de
una arista está dada por . Las componentes fuertemente conectadas de este grafo
definen un DAG. Si este DAG tiene un nodo sumidero, entonces la distribución
estacionaria de la cadena estará enteramente concentrada en la componente fuertemente
conectada correspondiente al nodo sumidero. En este caso, solo se obtiene una ordenación
de las alternativas presentes en esta componente. Si esto sucede, el proceder usual es
eliminar estos estados de la cadena y repetir el proceso para ordenar los nodos restantes.
Por supuesto, si esta componente tiene suficientes alternativas podría ser posible mejor
32