Markov Processes: Making Predictions and Decisions in the Presence of Randomness

Slide1Markov ProcessesAim Higher

Slide2What Are They Used For? Markov Processes are used to make predictions and decisions where results are partly random but may also be influenced by known factors  Applications include weather forecasting, economic forecasting, manufacturing and robotics

Slide3What Are They? Markov Processes use a series of matrices to predict the outcome of a chain of random events which may be influenced by known factors  These matrices predict the probability of a system changing between states in one time step based on probabilities observed in the past

Slide4W h e n  p r e d i c t i n g  t h e  w e a t h e r  i t  m a y  b e  s e n s i b l e , b a s e d  o n  p a s t  o b s e r v a t i o n s ,  t o  a s s u m e  t h a t  i t  i s m o r e  l i k e l y  t o  r a i n  t o m o r r o w  g i v e n  t h a t  i t  i s  r a i n i n g t o d a y .  P r o b a b i l i t i e s  c a n  b e  i n d i c a t e d  f o r  a  g i v e n  t i m e  s t e p  P ( R 2 | R 1 )  >  P ( R 2 | S 1 ) o r P R R   >  P R S  T h i s  i s  n o t  a n  a c c u r a t e  f o r e c a s t i n g  m e t h o d  b u t  i t  c a n g i v e  s o m e  i n d i c a t i o n  o f  t h e  l i k e l y  p r o b a b i l i t y  o f  t h e w e a t h e r  c h a n g i n g  f r o m  o n e  s t a t e  –  r a i n ,  s u n ,  c l o u d , s n o w ,  e t c  –  t o  a n o t h e r . E x a m p l e s  o f  A p p l i c a t i o n

Slide5Creating A Markov System An initial transition matrix is required to show the probability of state changes in one time step:  One time step in this case could be decided as 24 hours 0.6 0.4 0.2 0.3 0.4 0.3 0.1 0.3 0.6 Rain Cloud Sun Rain Cloud Sun

Slide6Weather Forecasting We can now predict tomorrow’s weather using these probabilities and applying them to today’s weather.  If it is raining today, there is a 60% chance of rain tomorrow and only a 20% chance of sun 0.6 0.4 0.2 0.3 0.4 0.3 0.1 0.3 0.6 Rain Cloud Sun Sun Cloud Rain

Slide7Distribution Vectors The number of units in each state depends on both the transition probability and the number in each state initially.  For example, on the stock market the number of shares an investor owns in four different companies may change with time  However, the total number he owns in each one will depend how many of each he begins with.

Slide8Distribution Vectors: Shares The Distribution after n time steps can be obtained as: vP n 0.2 0.7 0.1 0 0.4 0.2 0.2 0.2 0.1 0.3 0.2 0.4 0.2 0.1 0.4 0.3 200 175 500 50 170 330 175 250 =