Comunmente las transiciones en las cadenas de Markov implican cierto costo que depende de los estados en que se hallan las cadenas y de otros factores relacionados con estos estados. Hay dos clases de costos, el costo esperado por unidad de tiempo y el costo promedio esperado que se presenta al tener en cuenta varias unidades de tiempo. Para un numero especifico de unidades de tiempo, existe cierta diferencia entre los costos, la que desaparece cuando estos se establecen despues de largo tiempo.