Robotic Router. PPT Aseguramiento de enlaces inalámbricos de datos en una colonia de robots móviles autónomos

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS DE ´ DATOS EN UNA COLONIA DE ROBOTS MOVILES ´ AUTONOMOS Jonathan M. Palma O. Seminario de Titulaci´ on para optar al T´ıtulo de Ingeniero de Ejecuci´ on Electr´ onica. Departamento de Ingenier´ıa El´ ectrica y Electr´ onica. Universidad del B´ıo B´ıo Banca Examinadora: Ph.D. Cristian Dur´ an Fa´ undez. MSc. Franco Hern´ andez Campos. MSc. John Correa Toloza.

16 de enero de 2014

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 1 / 80 D

1

Introducci´on

2

Problem´atica.

3

Router Rob´otico.

4

Objetivos Indicadores de orientaci´ on. Modelo de RSSI con perturbaciones. Recorridos experimentales

5

Estrategias de Control Estrategia de control I Estrategia de control II Estrategia de control III

6

Exploraci´on Mediante Robot M´ oviles. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

7

Conclusiones.

8

Trabajos Futuros y Palabras Finales. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 2 / 80 D

Introducci´ on

Rob´otica

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 3 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on directa.

Figura: Unidad Objetivo M´ ovil (Tractor) y Puerta de Enlace a red superior (Antena).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 4 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router Est´ aticos.

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores Est´aticos (antenas peque˜ nas).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 5 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router Est´ aticos.

-Terminales Activos (azules).

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores Est´aticos (antenas peque˜ nas).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 6 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router M´ oviles.

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores M´ oviles (unidades azules).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 7 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router M´ oviles.

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores M´ oviles (unidades azules).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 8 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router M´ oviles.

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores M´ oviles (unidades azules).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16 DEde DATOS enero de EN2014 UNA COLONIA 9 / 80 D

Introducci´ on

M´etodos para Establecer un Link de Comunicaci´on. Comunicaci´ on mediante Router M´ oviles.

Figura: Unidad Objetivo M´ ovil (Tractor), Puerta de Enlace a red superior (Antena Granja) y Enrutadores M´ oviles (unidades azules).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 10 / 80 D

Problem´ atica.

Tethering o Anclaje de Red.

Proceso por el cual un dispositivo m´ ovil con capacidad de comunicaci´on inal´ambrica, redirecciona la informaci´ on actuando como Router (pasarela) para ofrecer conectividad a una red superior o a otros dispositivos cualquiera sean estos. Gateways (GW ): Unidad que proporcionan conectividad a una red superior.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 11 / 80 D

Problem´ atica.

Tethering o Anclaje de Red.

Proceso por el cual un dispositivo m´ ovil con capacidad de comunicaci´on inal´ambrica, redirecciona la informaci´ on actuando como Router (pasarela) para ofrecer conectividad a una red superior o a otros dispositivos cualquiera sean estos. Gateways (GW ): Unidad que proporcionan conectividad a una red superior. Targets (TG ): Unidades que se desea mantener su conexi´on.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 11 / 80 D

Problem´ atica.

Tethering o Anclaje de Red.

Proceso por el cual un dispositivo m´ ovil con capacidad de comunicaci´on inal´ambrica, redirecciona la informaci´ on actuando como Router (pasarela) para ofrecer conectividad a una red superior o a otros dispositivos cualquiera sean estos. Gateways (GW ): Unidad que proporcionan conectividad a una red superior. Targets (TG ): Unidades que se desea mantener su conexi´on. Routers Rob´ oticos (GG ): Unidades enrutadoras m´oviles (Gangway).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 11 / 80 D

Problem´ atica.

Red compuesta por Gateways, Targets y Routers Rob´oticos Red con unidades est´ aticas y m´ oviles.

Tipo de enlace.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 12 / 80 D

Problem´ atica.

Red compuesta por Gateways, Targets y Routers Rob´oticos Red con unidades est´ aticas y m´ oviles.

Tipo de enlace. Modelo de control.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 12 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 1.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 13 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 2.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 14 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 3.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 15 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 4.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 16 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 5.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 17 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 6.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 18 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 7.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 19 / 80 D

Problem´ atica.

Red de Ejemplo.

Figura: Red en T = 8.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 20 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos). B´ usqueda de posici´ on ´ optima entre dos unidades.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos). B´ usqueda de posici´ on ´ optima entre dos unidades. Reacci´ on a cambios en la red.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos). B´ usqueda de posici´ on ´ optima entre dos unidades. Reacci´ on a cambios en la red.

Par´ ametros de Eficiencia (Densidad de Unidades por ´ area).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos). B´ usqueda de posici´ on ´ optima entre dos unidades. Reacci´ on a cambios en la red.

Par´ ametros de Eficiencia (Densidad de Unidades por ´ area). N´ umero de unidades por distancia.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Problem´ atica.

Segmentaci´on del Problema.

Se identifican tres sub-problemas Comportamiento General o Colectivo (Inteligencia Colectiva). Designar v´ınculos, enlaces. Activaci´ on–Desactivaci´ on de unidades.

Comportamiento Individual (Mantenci´ on de V´ınculos). B´ usqueda de posici´ on ´ optima entre dos unidades. Reacci´ on a cambios en la red.

Par´ ametros de Eficiencia (Densidad de Unidades por ´ area). N´ umero de unidades por distancia. Rendimiento de la red, retardo.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 21 / 80 D

Router Rob´ otico.

Desarrollo de Estrategia de Navegaci´on para un Router Rob´otico Parametros de calidad de enlace.

LQI Link Quality Indicator, en espa˜ nol indicador de calidad de v´ınculo.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 22 / 80 D

Router Rob´ otico.

Desarrollo de Estrategia de Navegaci´on para un Router Rob´otico Parametros de calidad de enlace.

LQI Link Quality Indicator, en espa˜ nol indicador de calidad de v´ınculo. Packet loss, en espa˜ nol p´erdida de paquete.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 22 / 80 D

Router Rob´ otico.

Desarrollo de Estrategia de Navegaci´on para un Router Rob´otico Parametros de calidad de enlace.

LQI Link Quality Indicator, en espa˜ nol indicador de calidad de v´ınculo. Packet loss, en espa˜ nol p´erdida de paquete. RSSI received signal strength indicator, en espa˜ nol Indicador de Intensidad de Se˜ nal Recibida.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 22 / 80 D

Objetivos

Objetivos

Estudio y simulaci´on de algoritmos para desempe˜ nar labores de anclaje de red (Tethering) en un sistema compuesto por: Unidades est´aticas, Unidades de comportamiento aleatorio y agentes m´ oviles aut´onomos (Router Rob´oticos), utilizando u ´nicamente como m´etrica para juzgar la calidad de enlace y como m´etodo de orientaci´ on, Par´ametros est´andar de la familia de Normas IEEE 802, RSSI (Indicador de Fuerza de Se˜ nal Recibida).

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 23 / 80 D

Objetivos

Modelo a Estudiar. Desarrollo de estrategia de navegaci´ on para un Router Rob´ otico

´ Punto Optimo coordenada ideal.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 24 / 80 D

Objetivos

Indicadores de orientaci´ on.

Proyecciones de RSSI de Unidades GW Indicadores de orientaci´ on.

GW

GW

−10

RSSI (dB)

RSSI (dB)

−20

−30

−40

−50

−60

−70

0 0.5

−80 0

1 0.5

1

1.5

1.5 2

2.5

3

2

Metros (M)

Metros (m)

Metros (m)

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 25 / 80 D

Objetivos

Indicadores de orientaci´ on.

Diferencia Absoluta de RSSI. Indicadores de orientaci´ on.

Difn = RSSIVS − RSSIVI

(1)

GW 60

RSSI (db)

RSSI (dB)

40

20

0

−20

−40 0

−60 0

GW 0.5

1

0.5 1 1.5

1.5 2

2.5

3

2

Metros (M) Metros (m)

Figura: Diferencia de RSSI Difn JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 26 / 80 D

Objetivos

Indicadores de orientaci´ on.

M´odulo de la diferencia de RSSI. Indicadores de orientaci´ on.

Difa = |RSSIVS − RSSIVI | GW

(2)

GW

60

40

RSSI (db)

RSSI (dB)

50

30

20

10 0

0 0

0.5

DIFa=0 0.5

1

1.5

1 1.5

2

2.5

3

2

Metros (M) Metros (m)

Figura: M´ odulo de la diferencia de RSSI Difa JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 27 / 80 D

Objetivos

Indicadores de orientaci´ on.

Diferencia Digital de RSSI. Indicadores de orientaci´ on.

Difd =

Difn Difa

(3)

GW 1

0.8

Signo Indicador

Signo indicador

0.6

0.4

0.2

0

−0.2

−0.4

GW

−0.6

0

−0.8 0.5 −1 0

1 0.5

1

1.5

1.5 2

2.5

3

2

Metros (M) Metros (m)

Figura: Diferencia digital Difd . JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 28 / 80 D

Objetivos

Indicadores de orientaci´ on.

Suma de RSSI. Indicadores de orientaci´ on.

Sumn = RSSIVS + RSSIVI

GW

−70

(4)

GW

RSSI (dB)

RSSI (dB)

−80

PO

−90

−100

−110

−120

−130 0

0.5

1

1.5

2

2.5

3

2

1.8

1.6

1.4

1.2

1

0.8

0.6

0.4

0.2

0

Metros (M)

Metros (m) Metros (m)

Figura: Suma de RSSI Sumn . JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 29 / 80 D

Objetivos

Modelo de RSSI con perturbaciones.

Proyecciones de RSSI en un Modelo con Perturbaciones. Indicadores de orientaci´ on en presencia de ruido.

GW

−20

RSSI (dB)

RSSI (dB)

−30 −40 −50 −60 −70 −80 −90 −100 3 2.5 2 1.5 1 0.5 0

6

Metros (M)

Metros (m)

5

3

4

2

1

0

Metros (m)

Figura: Modelo con Ruido aditivo y multiplicativo. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 30 / 80 D

Objetivos

Modelo de RSSI con perturbaciones.

´ Segmentaci´on del Area de Cobertura. Indicadores de orientaci´ on en presencia de ruido.

Discretizaci´ on Cobertura

JM Palma (UBB)

Zona

Calidad

RSSI(dB)

I II III IV

Buena Aceptable Mala Inservible

> −65 −66, −75 −76, −90 < −91

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 31 / 80 D

Objetivos

Modelo de RSSI con perturbaciones.

Deformaci´on de los Indicadores de Orientaci´on en funci´ on de la distancia

(6XXX3)XMetros

(3XXX2)XMetros GW

−90

−110

−115

−120

−125

−130

2.5

2

1.5

1

0.5

0

0

0.2

MetrosX(m)

MetrosX(m)

1.8

1.6

1.4

1.2

1

0.8

0.6

0.4

2

−60

GW

−80

RSSI (dB)

−105

−135 3

GW

−40

−95

−100

RSSIX(dB)

RSSIX(dB)

RSSIX(dB)

SUMn

GW

−85

−100

−120

−140 3

−160 2.5 −180 6

2 5

MetrosX(m)

1.5 4

1

3

0.5

2

1

0

0

MetrosX(m)

Metros (m)

Metros (m)

RSSIX(dB)

30

20

10

2.5

2

1.5

1

0.5

0

0

0.2

0.4

MetrosX(m)

Metros (m)

JM Palma (UBB)

0.6

0.8

1

Metros (m)

GW

60

50

40

30

20

1.2

1.4

1.6

1.8

2

3

10 2.5 0 6

0 3

GW

70

40

RSSI (dB)

RSSIX(dB)

DIFa

GW

50

RSSIX(dB)

GW

60

2 5

1.5 4

1

3

2

0.5 1

0

MetrosX(m) 0

MetrosX(m)

MetrosX(m)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 32 / 80 D

Objetivos

Recorridos experimentales

B´usqueda de Tendencias para Converger en las Cercan´ıas ´ del Punto Optimo Comportamiento del RSSI.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 33 / 80 D Figura: Recorridos experimentales

Objetivos

Recorridos experimentales

RSSI de V´ınculos para Recorridos Experimentales que no Pasan por PO Comportamiento del RSSI. (a)

(b)

−45

−10 VuInf VuSup

VuInf VuSup

−20

−50

RSSIu(dB)

RSSIu(dB)

−30 −55

−60

−40 −50

−65

−70 u 0

−60

0.2

0.4

0.6

0.8

1 1.2 Metrosu(m)

1.4

1.6

1.8

−70 u 0

2

0.2

0.4

0.6

0.8

(c)

1 1.2 Metrosu(m)

1.4

1.6

1.8

2

(d)

−40

−35 VuInf VuSup

VuInf VuSup

−40

−45

−50

RSSIu(dB)

RSSIu(dB)

−45

−55

−50 −55 −60

−60

−65 u 0

−65

0.2

0.4

0.6

0.8

1 1.2 Metrosu(m)

1.4

1.6

1.8

2

−70 u 0

0.2

0.4

0.6

0.8

1 1.2 Metrosu(m)

1.4

1.6

Figura: Recorridos experimentales. JM Palma (UBB)

1.8

2

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 34 / 80 D

Objetivos

Recorridos experimentales

Suma de RSSI de V´ınculos para Recorridos Experimentales que no Pasan por PO Comportamiento del RSSI. (a)

(b)

−115.8

−70 −80

−116

RSSI (dB)

RSSI (dB)

−90 −116.2

−116.4

−100 −110

−116.6

−116.8

−120

0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

1.4

1.6

1.8

−130

2

0

0.2

0.4

0.6

0.8

(c) −103

−106

−104

1.8

2

1.4

1.6

1.8

2

−106

−110

RSSI (dB)

RSSI (dB)

1.6

−105

−108

−112 −114

−107 −108 −109

−116

−110

−118

JM Palma (UBB)

1.4

(d)

−104

−120

1 1.2 Metros (m)

−111 0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

1.4

1.6

1.8

2

−112

0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 35 / 80 D

Objetivos

Recorridos experimentales

M´odulo de la Diferencia de RSSI de V´ınculos para Recorridos Experimentales que no Pasan por PO. Comportamiento del RSSI. (a)

(b)

20

60 55 50

15 RSSI (dB)

RSSI (dB)

45 10

40 35 30

5

25 20

0

0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

1.4

1.6

1.8

15

2

0

0.2

0.4

0.6

0.8

(c) 35

18

30

RSSI (dB)

RSSI (dB)

1.6

1.8

2

1.4

1.6

1.8

2

25

16 14 12

20 15 10

10

JM Palma (UBB)

1.4

(d)

20

8

1 1.2 Metros (m)

5

0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

1.4

1.6

1.8

2

0

0

0.2

0.4

0.6

0.8

1 1.2 Metros (m)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 36 / 80 D

Objetivos

Recorridos experimentales

Indicadores de Orientaci´on para Movimientos que incluyen a PO en el Recorrido Difa y Sumn de movimientos Mb y Mc .

DIFa

SUMn (a)

(b)

−108

1 Sum

Dif

−110 0.5 RSSI3(dB)

RSSI3(dB)

−112 −114

0

−116 −0.5 −118 −120

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

−1

2

0

0.2

0.4

0.6

0.8

(c)

1 1.2 Metros3(m)

1.4

1.6

1.8

2

(d)

−90

45 Sum

Dif

40 35

−95 RSSI3(dB)

RSSI3(dB)

30 −100

25 20 15

−105

10 5

−110

JM Palma (UBB)

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

2

0

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

2

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 37 / 80 D

Objetivos

Recorridos experimentales

Indicadores de Orientaci´on para Ma −45

18 V Inf V Sup

Dif

16

−50

14

RSSI (dB)

RSSI (dB)

12 −55

−60

10 8 6 4

−65

2 −70

0

0.5

1

1.5 Metros (m)

2

2.5

0

3

1.5

0

0.5

1

1.5 Metros (m)

2

2.5

3

−108 Difd

Sum −110

1

−112 RSSI (dB)

RSSI (dB)

0.5 0 −0.5

−116 −118

−1 −1.5

−114

−120

0

0.5

1

1.5 Metros (m)

2

2.5

3

−122

0

0.5

1

1.5 Metros (m)

2

2.5

3

Figura: Recorridos experimental Ma; RSSIVI y RSSIVS (a),Difa (b), Difb (c) y Sumn (d). JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 38 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a)

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0 0

0

Q(s, a) ← (1 − α)Q(s, a) + α[r (s, a) + λ m´axA∈A 0 Q(s , A )} s

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0 0

0

Q(s, a) ← (1 − α)Q(s, a) + α[r (s, a) + λ m´axA∈A 0 Q(s , A )} s

S ← S0

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0 0

0

Q(s, a) ← (1 − α)Q(s, a) + α[r (s, a) + λ m´axA∈A 0 Q(s , A )} s

S ← S0 Hasta que S llegue a la meta

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0 0

0

Q(s, a) ← (1 − α)Q(s, a) + α[r (s, a) + λ m´axA∈A 0 Q(s , A )} s

S ← S0 Hasta que S llegue a la meta Hasta el u ´ltimo episodio

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Aprendizaje por Refuerzo Q-learning.

INICIALIZAR Q(s, a) Inicializar S Hacer Elegir a para s usando la pol´ıtica derivada de Q Realizar acci´on a, observar r ,s 0 0

0

Q(s, a) ← (1 − α)Q(s, a) + α[r (s, a) + λ m´axA∈A 0 Q(s , A )} s

S ← S0 Hasta que S llegue a la meta Hasta el u ´ltimo episodio → Hacer

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 39 / 80 D

Estrategias de Control

Estrategia de control I

Controlador Q-learning Basado en Minimizar Difa y Maximizar Sumn . Estados correspondiente a el cumplimientos de los objetivos binarios MAXSum y MIndif .

Cuadro: Estados, Controlador I.

Estados S1 S2 S3 S4

MInDif 0 0 1 1

MAXSum 0 1 0 1

Recompensa; R(S×A) = (T0 · MInDif ) + (T1 · MAXsum )

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 40 / 80 D

Estrategias de Control

Estrategia de control I

Controlador Q-learning Basado en Minimizar Difa y Maximizar Sumn . Acciones, Movimientos posibles.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 41 / 80 D

Estrategias de Control

Estrategia de control I

Controlador Q-learning Basado en Minimizar Difa y Maximizar Sumn . Par´ ametros para ejecuci´ on de simulaciones, con acciones iniciales impuestas.

Par´ ametros Nk Vpi 4Paso Modelo de RSSI M ×p Estados Acciones Recompensa Indice de aprendizaje Matriz Q inicial JM Palma (UBB)

Valores : 100.   : 0 0 2 2 6 0 . : 0.1(m). : Log-TJP. : 20. : S1 , S2 , S3 y S4 . : A1 A2 A3 y A3 . : Ecuaci´ on ??, T0 = 5 y T1 = 5. : γ = 0,5 y α = 0,5. : Q(S×A) = 0.

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 42 / 80 D

Estrategias de Control

Estrategia de control I

Desempe˜no del Controlador. Simulaci´ on Movimiento Inicial A1 : (a) Posici´ on de Nodos,(b) Indicadores de Tendencia, (c) Pendiente de Indicadores,(d) Recompensa R(s×a) , (e) Estado (S), (f) Valor Calculado Qs×a .

(a)

(b)

15

50 0

GG GWS

10

RSSI (dB)

Metros (m)

GWI

5

−50 Dif Sum

−100 −150

0 0

1

2

3 Metros (m)

4

5

−200

6

0

10

20

30

40

(c)

70

80

90

100

90

100

5 Dif(K)−Dif(K−1) Sum(K)−Sum(K−1)

0.02 RSSI (dB)

50 60 Pasos (k) (d)

0.04

4 3

0 2 −0.02 −0.04

Recompen

1 0

10

20

30

40

50 60 Pasos (k)

70

80

90

100

0

0

10

20

30

40

(e)

50 60 Pasos (k)

70

80

(f)

3

10 Valor entra a Q

Estado

8 2

6 Estados

4

1

2 0

0

10

20

JM Palma (UBB)

30

40

50 60 Pasos (k)

70

80

90

100

0

0

10

20

30

40

50 60 Pasos (k)

70

80

90

100

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 43 / 80 D

Estrategias de Control

Estrategia de control I

Etapa de Exploraci´on Inicial. Simulaci´ on Movimiento Inicial A1 : (a) Posici´ on de Nodos,(b) Indicadores de Tendencia, (c) Pendiente de Indicadores,(d) Recompensa R(s×a) , (e) Estado (S), (f) Valor Calculado Qs×a .

(a)

(b)

3

50 GWI RSSI (dB)

Metros (m)

0

GG GWS

2 1 0

−50 Dif Sum

−100 −150

−1

0

1

2

3 Metros (m) (c)

4

5

−200

6

0

10

20

30

40

50 60 Pasos (k)

70

80

90

100

90

100

90

100

(d)

0.04

10

0.02 RSSI (dB)

5 0

−0.04

0

Dif(K)−Dif(K−1) Sum(K)−Sum(K−1)

−0.02

0

10

20

30

40

50 60 Pasos (k)

70

80

Recompen 90

100

−5

0

10

20

30

40

Esatado

(e)

70

80

(f)

4

15

3

10

2

5

1 0

50 60 Pasos (k)

0

Estados 0

10

20

JM Palma (UBB)

30

40

50 60 Pasos (k)

70

80

Valor entra a Q 90

100

−5

0

10

20

30

40

50 60 Pasos (k)

70

80

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 44 / 80 D

Estrategias de Control

Estrategia de control I

Observaciones y Conclusi´on del Controlador I Con y sin exploraci´ on inicial

No logra convergencia. explicado mediante la figura anterior. DIFa

SUMn (a)

(b)

−108

1 Sum

Dif

−110 0.5 RSSI3(dB)

RSSI3(dB)

−112 −114

0

−116 −0.5 −118 −120

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

−1

2

0

0.2

0.4

0.6

0.8

(c)

1 1.2 Metros3(m)

1.4

1.6

1.8

2

(d)

−90

45 Sum

Dif

40 35

−95 RSSI3(dB)

RSSI3(dB)

30 −100

25 20 15

−105

10 5

−110

JM Palma (UBB)

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

2

0

0

0.2

0.4

0.6

0.8

1 1.2 Metros3(m)

1.4

1.6

1.8

2

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 45 / 80 D

Estrategias de Control

Estrategia de control II

´ Modelo de Controlador Q-Learning de Estado Unico Binario Objetivo Maximizar el V´ınculo Lejano, dependiente de MAXVS , MAXVI y Difd .

Estado Sb2 Sb2 Sb1 Sb1 Sb2 Sb1 Sb2 Sb1

JM Palma (UBB)

MAXVS 0 0 1 1 0 0 1 1

MAXVI 0 1 0 1 0 1 0 1

Difd -1 -1 -1 -1 1 1 1 1

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 46 / 80 D

Estrategias de Control

Estrategia de control II

´ Controlador Q-Learning de Estado Unico Binario Acciones, Movimientos posibles.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 47 / 80 D

Estrategias de Control

Estrategia de control II

´ Controlador Q-Learning de Estado Unico Binario Par´ ametros para ejecuci´ on de simulaci´ on.

Par´ ametros Nk Vpi ∆Paso Modelo de RSSI M ×p Estados Acciones Recompensa Indice de aprendizaje Matriz Q inicial

JM Palma (UBB)

Valores : 100.   : 0 0 −1 0 6 5 . : 0.1(m). : Log-TJP. : 20. : Sb1 y Sb1 . . : A1 A2 A3 y A3 . : Sb1 = 5 y Sb2 = −5. : γ = 0,5 y α = 0,5. : Q(S×A) = 0.

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 48 / 80 D

Estrategias de Control

Estrategia de control II

Desempe˜no del controlador. Simulaci´ on: (a) Posici´ on de Nodos,(b) Indicadores de Tendencia, (c) Pendiente de Indicadores,(d) Recompensa R(s×a) , (e) Estado (S), (f) Valor Calculado Qs×a , (g) ´ Distancia al Punto Optimo, (g) RSSI de v´ınculos prioritarios.

(a)

(b) 100 GG GWI

5

RSSI (dB)

Metros (m)

10

GWS

0 −5 −2

−1

0

1

2 3 Metros (m) (c)

4

5

RSSI (dB)

0.5

Sumn

−100 −200

6

Difa

0

0

10

20

0

10

20

0

0

10

20

30

40

50 60 Pasos (k) (e)

70

80

90

−1

100

2 Estado

50 60 Pasos (k) (d)

70

80

90

100

70

80

90

100

Recompensa

Dif(K)−Dif(K−1) Sum(K)−Sum(K−1)

30

40

50 60 Pasos (k) (f)

2 Valor Matriz Q

Estado 1

0

0

−2

0

10

20

30

40

50 60 Pasos (k) (g)

70

80

90

100

DXp 4 2 0

0

10

20

30

40

50 60 Pasos (k) (h)

70

80

90

100

0

0

10

20

JM Palma (UBB)

30

40

50 60 Pasos (k)

70

80

90

100

RSSI (dB)

6 Metros (m)

40

1

0

−0.5

30

RSSI Inf RSSI Sup −50

−100

0

10

20

30

40

50 60 Pasos (k)

70

80

90

100

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 49 / 80 D

Estrategias de Control

Estrategia de control II

´ Distancia al Punto Optimo de diez simulaciones

6 R1 R2 R3 R4 5

R5 R6 R7 R8 R9

Metros (m)

4

R10

3

2

1

0

0

10

JM Palma (UBB)

20

30

40

50 Pasos (k)

60

70

80

90

100

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 50 / 80 D

Estrategias de Control

Estrategia de control II

Observaciones y Conclusi´on del Controlador II

Para una red compuesta de tres unidades dos est´aticas y una m´ovil, la estrategia de control logra; Converger la unidad en una coordenada.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 51 / 80 D

Estrategias de Control

Estrategia de control II

Observaciones y Conclusi´on del Controlador II

Para una red compuesta de tres unidades dos est´aticas y una m´ovil, la estrategia de control logra; Converger la unidad en una coordenada. Igualar los valores de RSSI de los V´ınculos.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 51 / 80 D

Estrategias de Control

Estrategia de control II

´ Rendimiento de controlador de Estado Unico Binario para una red de m´ultiples unidades m´oviles, Desplazamiento de ´ Nodos y distancia al Punto Optimo.   Vpi = 0

0

1

−25

9

−5

5

12

0

(a) 5 GG1 GG2 GG3 GWI

Metros (m)

0

GWS

−5

−10 −2

0

2

4

6 Metros (m)

8

10

12

14

(b) 14 Dx

1

12

Dx

2

Dx

3

Metros (m)

10 8 6 4 2 0

JM Palma (UBB)

0

50

100

150

200

250 Pasos (k)

300

350

400

450

500

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 52 / 80 D

Estrategias de Control

Estrategia de control II

Rendimiento de controlador de estado u´nico binario para una red de m´ultiples unidades m´oviles, RSSI de las tres unidades m´oviles.   Vpi = 0

0

1

−25

9

−5

5

12

0

(a) −50 RSSI Inf RSSI Sup

RSSI (dB)

−60 −70 −80 −90

0

50

100

150

200

250 Pasos (k)

300

350

400

450

500

(b) −60 RSSI Inf RSSI Sup

RSSI (dB)

−70 −80 −90 −100

0

50

100

150

200

250 Pasos (k)

300

350

400

450

500

(c) −85 RSSI Inf RSSI Sup

RSSI (dB)

−90 −95 −100 −105

JM Palma (UBB)

0

50

100

150

200

250 Pasos (k)

300

350

400

450

500

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 53 / 80 D

Estrategias de Control

Estrategia de control II

Rendimiento de controlador de estado u´nico binario para una red m´ultiples unidades m´oviles, Desplazamiento de ´ Nodos y distancia al Punto Optimo.  

Vpi = 0

0

1

2

3

5

6

6

0

15

(a) 25

Metros (m)

20

15

GG1 GG2

10

GG3 GW

I

5

GW

S

0 −20

−15

−10

−5

0

5

10

15

Metros (m)

(b) 30 Dx

1

Dx

25

2

Dx

3

Metros (m)

20 15 10 5 0

JM Palma (UBB)

0

100

200

300

400 Pasos (k)

500

600

700

800

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 54 / 80 D

Estrategias de Control

Estrategia de control II

Rendimiento de controlador de estado u´nico binario para una red m´ultiples unidades m´oviles, RSSI de las tres unidades m´oviles.   Vpi = 0

0

1

2

3

5

6

6

0

15

(a) −60

RSSI (dB)

RSSI Inf RSSI Sup −80

−100

−120

0

100

200

300

400 Pasos (k)

500

600

700

800

(b) −40 RSSI Inf RSSI Sup

RSSI (dB)

−60 −80 −100 −120

0

100

200

300

400 Pasos (k)

500

600

700

800

(c) 50 RSSI Inf RSSI Sup

RSSI (dB)

0 −50 −100 −150

JM Palma (UBB)

0

100

200

300

400 Pasos (k)

500

600

700

800

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 55 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados En los Modelo Anteriores Falsos Positivos.

Movimientos err´oneos considerados correctos

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 56 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados En los Modelo Anteriores Falsos Positivos.

Movimientos err´oneos considerados correctos Realizaci´on de desplazamiento innecesarios.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 56 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados en los Modelos Anteriores y Propuesta de Mejora.

Problemas; Movimientos err´oneos considerados correctos. Soluci´on;

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 57 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados en los Modelos Anteriores y Propuesta de Mejora.

Problemas; Movimientos err´oneos considerados correctos. Realizaci´on de desplazamiento innecesarios. Soluci´on;

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 57 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados en los Modelos Anteriores y Propuesta de Mejora.

Problemas; Movimientos err´oneos considerados correctos. Realizaci´on de desplazamiento innecesarios. Soluci´on; Ampliar las acciones e incluir un acci´ on de retroceso.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 57 / 80 D

Estrategias de Control

Estrategia de control III

Problemas Observados en los Modelos Anteriores y Propuesta de Mejora.

Problemas; Movimientos err´oneos considerados correctos. Realizaci´on de desplazamiento innecesarios. Soluci´on; Ampliar las acciones e incluir un acci´ on de retroceso. Objetivos que caractericen de mejor manera el beneficio de un desplazamiento;.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 57 / 80 D

Estrategias de Control

Estrategia de control III

Modelo de Controlador Q-Learning de tres objetivos. Acciones ampliadas.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 58 / 80 D

Estrategias de Control

Estrategia de control III

Modelo de Controlador Q-Learning de tres objetivos. Minimizar M´ odulo de la Diferencia, Maximizar V´ınculo Lejano y Minimizar V´ınculo Cercano.

Estados Formados mediante la combinatoria de los objetivos.

SM1 SM2 SM3 SM4 SM5 SM6 SM7 SM8

JM Palma (UBB)

MInDif 1 1 1 1 0 0 0 0

MInvc 1 1 0 0 1 1 0 0

MAXvl 1 0 1 0 1 0 1 0

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 59 / 80 D

Estrategias de Control

Estrategia de control III

Modelo de Controlador Q-Learning de tres objetivos. Minimizar M´ odulo de la Diferencia, Maximizar V´ınculo Lejano y Minimizar V´ınculo Cercano.

Poda de estados. SM1 SM2 SM3 SM4 SM5 SM6 SM7 SM8

JM Palma (UBB)

MInDif 1 1 1 1 0 0 0 0

MInvc 1 1 0 0 1 1 0 0

MAXvl 1 0 1 0 1 0 1 0

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 60 / 80 D

Estrategias de Control

Estrategia de control III

Poda de Estados y Asignaci´on de Recompensa. Objetivo general es el cumplimiento de los tres objetivos.

Estado general SS: SS1 = SM1 . Recompensa: Estado SS1 SS2

JM Palma (UBB)

Recompensa 1 -1

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 61 / 80 D

Estrategias de Control

Estrategia de control III

Poda de Estados y Asignaci´on de Recompensa. Objetivo general es el cumplimiento de los tres objetivos.

Estado general SS: SS1 = SM1 . SS2 = SM2 , SM3 , SM4 , SM5 , SM6 , SM7 , SM8 . Recompensa: Estado SS1 SS2

JM Palma (UBB)

Recompensa 1 -1

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 61 / 80 D

Estrategias de Control

Estrategia de control III

Modificaciones a la Estructura Q-Learning, Incorporaci´on de Valores Iniciales y Algoritmo supervisor Q(S×A) = | SS1 SS2 |0 × | A1 , A2 , . . . , A9 |  0 0 0 0 0 0 0 0 −∞ Q(S×A) (k = 0) = 0 0 0 0 0 0 0 0 +∞

(5)



(6)

Transiciones de estado: SS1 → SS1 Controlador Q-Learning.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 62 / 80 D

Estrategias de Control

Estrategia de control III

Modificaciones a la Estructura Q-Learning, Incorporaci´on de Valores Iniciales y Algoritmo supervisor Q(S×A) = | SS1 SS2 |0 × | A1 , A2 , . . . , A9 |  0 0 0 0 0 0 0 0 −∞ Q(S×A) (k = 0) = 0 0 0 0 0 0 0 0 +∞

(5)



(6)

Transiciones de estado: SS1 → SS1 Controlador Q-Learning. SS1 → SS2 Controlador Q-Learning.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 62 / 80 D

Estrategias de Control

Estrategia de control III

Modificaciones a la Estructura Q-Learning, Incorporaci´on de Valores Iniciales y Algoritmo supervisor Q(S×A) = | SS1 SS2 |0 × | A1 , A2 , . . . , A9 |  0 0 0 0 0 0 0 0 −∞ Q(S×A) (k = 0) = 0 0 0 0 0 0 0 0 +∞

(5)



(6)

Transiciones de estado: SS1 → SS1 Controlador Q-Learning. SS1 → SS2 Controlador Q-Learning. SS2 → SS1 Controlador Q-Learning.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 62 / 80 D

Estrategias de Control

Estrategia de control III

Modificaciones a la Estructura Q-Learning, Incorporaci´on de Valores Iniciales y Algoritmo supervisor Q(S×A) = | SS1 SS2 |0 × | A1 , A2 , . . . , A9 |  0 0 0 0 0 0 0 0 −∞ Q(S×A) (k = 0) = 0 0 0 0 0 0 0 0 +∞

(5)



(6)

Transiciones de estado: SS1 → SS1 Controlador Q-Learning. SS1 → SS2 Controlador Q-Learning. SS2 → SS1 Controlador Q-Learning. SS2 → SS2 Posible bucle infinito Identifica este condici´on y la acci´on futura es escogida aleatoriamente, no incluyendo A9 . JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 62 / 80 D

Estrategias de Control

Estrategia de control III

Desempe˜no del Controlador de M´ınimos Movimientos Red de tres unidades m´ oviles y dos est´ aticas.

Nk Vpi ∆Paso Modelo de RSSI M ×P Estados Acciones Recompensa Indice de aprendizaje Matriz Q inicial

JM Palma (UBB)

: : : : : : : : : :

500.   0 0 1 −1 2 0 5 −1 9 0 . 0.1(m). Log-TJP. 20. SS1 y SS2 . . A1 A2 A3 , A3 , A5 A6 A7 , A8 y A9 . SS1 = 1 y SS2 = −1. γ = 0,5 y α = 0,5. Q(S×A) valor iniciales en A9 .

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 63 / 80 D

Estrategias de Control

Estrategia de control III

Desempe˜no del Controlador de M´ınimos Movimientos Desplazamiento de las Unidades M´ oviles.

1 GG

1

GG

2

GG

3

GWI GW

S

0.5

GW 0

GW

Metros (m)

GG2(T=0) −0.5

GG3(T=0) −1

GG1(T=0) −1.5

0

1

2

3

4

5

6

7

8

9

Metros (m)

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 64 / 80 D

Estrategias de Control

Estrategia de control III

Desempe˜no del Controlador de M´ınimos Movimientos Indicador de Orientaci´ on Difa y RSSI de v´ınculos prioritarios.

RSSIf(VsfyfVi)

DIFa (a)

(a)

6

−55 RSSIfVI

2

0

0

RSSIfVS

−60 RSSIf(dB)

GG1

RSSIf(dB)

Difa 4

−65 −70

50

100

150

200

250 300 Pasosf(k)

350

400

450

−75

500

0

50

100

150

200

(b)

RSSIf(dB)

RSSIf(dB)

5

0

450

500

RSSIfVI RSSIfVS

−65 −70 −75

50

100

150

200

250 300 Pasosf(k)

350

400

450

500

−80

0

50

100

150

200

(d)

250 300 Pasosf(k)

350

400

350

400

450

500

(e)

6

GG3

400

−60

15 10

0

350

−55 Difa

GG2

250 300 Pasosf(k) (c)

20

−65

RSSIf(dB)

Difa 4

−70

2

−75

RSSIfVI RSSIfVS

0

JM Palma (UBB)

0

50

100

150

200

250 300 Pasosf(k)

350

400

450

500

−80

0

50

100

150

200

250 300 Pasosf(k)

450

500

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 65 / 80 D

Estrategias de Control

Estrategia de control III

Desempe˜no del Controlador de M´ınimos Movimientos ´ Distancia a el Punto Optimo.

(a)

(b)

2

3 Dx Inst GG1

Dx al Ideal GG1

Dx Inst GG2

Dx al Ideal GG2

Dx Inst GG3

1.8

Dx al Ideal GG

3

2.5

1.6

2

Metros (m)

Metros (m)

1.4

1.2

1.5

1 1

0.8

0.5 0.6

0.4

0

50

100

150

200

250 300 Metros (m)

350

400

450

500

0

0

50

100

150

200

250 300 Pasos (k)

350

400

450

500

´ Figura: Distancia al Punto Optimo: (a) Instant´aneo (b) Ideal.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 66 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Exploraci´on Mediante Robot M´oviles Aseguramiento de enlace de datos a una unidad exploradora.

Modelo de aseguramiento de enlaces mediante Robot Aut´onomos.

Figura: Topolog´ıa de red, V´ınculos prioritarios y orden de despliegue.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 67 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Activaci´on de unidades Inteligencia de colectiva

Transici´on entre Zona de Calidad de enlace I hacia II. Discretizaci´ on Cobertura

JM Palma (UBB)

Zona

Calidad

RSSI(dB)

I II III IV

Buena Aceptable Mala Inservible

> −65 −66, −75 −76, −90 < −91

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 68 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de la unidad Exploradora. Desplazamiento Zigzag

8 TGX

TGX

6 4 2 0

0

50

100

150

200

250 Pasos (k) (a)

300

350

400

450

500

1 TGY

TGY

0.5 0 −0.5 −1

0

50

100

150

200

250 Pasos (k) (b)

300

350

400

450

500

Figura: (a) componente en abscisa y (b) componente en ordenada.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 69 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Par´ametros de Simulaci´on. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

Par´ ametros Nk Vpi ∆Paso Modelo de RSSI M ×P Estados Acciones Recompensa I. de aprendizaje Matriz Q inicial

JM Palma (UBB)

: : : : : : : : : : :

valores 500.   0 0 0 −0,15 0 −0,3 0 −0,45 0 0,1 . 0.1(m). Log-TJP. 20. SS1 y SS2 . . A1 A2 A3 , A3 , A5 A6 A7 , A8 y A9 . SS1 = 1 y SS2 = −1. γ = 0,5 y α = 0,5. Q(S×A) Valores iniciales para A9 .

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 70 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8 0.6 0.4 0.2 0 −0.2 −0.4

TG GW GG3 GG2 GG1

−0.6 −0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=3. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 71 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8 0.6 0.4 0.2

TG

GG1 GG2 −0.2 GW 0

GG3

−0.4 −0.6 −0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=100. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 72 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8

GG2

0.6 0.4 0.2

TG

GG1 GW −0.2 0

GG3

−0.4 −0.6 −0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=200. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 73 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8 0.6

GG2

0.4 0.2

TG

GW 0 −0.2

GG1

−0.4 −0.6

GG3

−0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=300. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 74 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8 0.6

GG2

0.4 0.2

TG

GW

0

GG1

−0.2 −0.4 −0.6

GG3

−0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=400. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 75 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

1 0.8 0.6

GG2

0.4 0.2 0

TG

GW GG1

−0.2 −0.4

GG3

−0.6 −0.8 −1 −1

0

1

2

3

4

5

6

7

8

Figura: Red para k=500. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 76 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Desplazamiento de Nodos. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

GG1 GG2 GG3 GWI GWS

500

Pasos (k)

400 300 200 100 0 1 0.8 0.6 0.4 8

0.2 7 0

6 5

−0.2 4

−0.4

3 −0.6

2 1

−0.8 Metros (m)

0 −1

−1

Metros (m)

Figura: Desplazamiento de los Nodos en funci´ on de las las Pasos k. JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 77 / 80 D

Exploraci´ on Mediante Robot M´ oviles.

Indicador de Orientaci´on Difa y RSSI de v´ınculos prioritarios. Desempe˜ no estrategia de control III en el modelo de exploraci´ on.

DIFa

RSSI

(a)

(b)

80

20 RSSI V

Difa RSSI (dB)

RSSI (dB)

GG1

40 20 0

I

0

60

RSSI VS

−20 −40 −60

0

50

100

150

200

250 300 Pasos (k)

350

400

450

−80

500

0

50

100

150

200

(c)

250 300 Pasos (k)

350

400

a

RSSI VI

0 RSSI (dB)

RSSI (dB)

60 40 20 0

RSSI V

S

−20 −40 −60

0

50

100

150

200

250 300 Pasos (k)

350

400

450

−80

500

0

50

100

150

200

(e)

450

500

I

0 RSSI (dB)

RSSI (dB)

400

RSSI V

Difa

40 20

JM Palma (UBB)

350

20

60

0

250 300 Pasos (k) (f)

80

GG3

500

20 Dif

GG2

450

(d)

80

RSSI V

S

−20 −40 −60

0

50

100

150

200

250 300 Pasos (k)

350

400

450

500

−80

0

50

100

150

200

250 300 Pasos (k)

350

400

450

500

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 78 / 80 D

Conclusiones.

Conclusiones.

Problema Inicial contempla una gran complejidad t´ecnica por las diferentes aristas consideradas en la formulaci´ on del trabajo.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 79 / 80 D

Conclusiones.

Conclusiones.

Problema Inicial contempla una gran complejidad t´ecnica por las diferentes aristas consideradas en la formulaci´ on del trabajo. El desarrollo del Router Rob´ otico planteado present´o complejidades por el gran dinamismo que presenta la red m´ ovil de estudio.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 79 / 80 D

Conclusiones.

Conclusiones.

Problema Inicial contempla una gran complejidad t´ecnica por las diferentes aristas consideradas en la formulaci´ on del trabajo. El desarrollo del Router Rob´ otico planteado present´o complejidades por el gran dinamismo que presenta la red m´ ovil de estudio. Posicionar un Router Rob´ otico en cercan´ıas de PO es complejo debido que el valor a convergir es desconocido y din´amico, adem´as de acciones incorrectas calificadas como correctas.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 79 / 80 D

Conclusiones.

Conclusiones.

Problema Inicial contempla una gran complejidad t´ecnica por las diferentes aristas consideradas en la formulaci´ on del trabajo. El desarrollo del Router Rob´ otico planteado present´o complejidades por el gran dinamismo que presenta la red m´ ovil de estudio. Posicionar un Router Rob´ otico en cercan´ıas de PO es complejo debido que el valor a convergir es desconocido y din´amico, adem´as de acciones incorrectas calificadas como correctas. El desempe˜ no del Router Rob´ otico es cuantificado de forma cualitativa, al converger las unidades en cercan´ıas de una coordenada e igualar los valores de RSSI de los V´ınculos prioritarios.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 79 / 80 D

Trabajos Futuros y Palabras Finales.

Trabajos Futuros y Palabras Finales.

Validar de forma cuantitativa el algoritmo.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 80 / 80 D

Trabajos Futuros y Palabras Finales.

Trabajos Futuros y Palabras Finales.

Validar de forma cuantitativa el algoritmo. Contrastar desempe˜ no con otras estrategias de control.

JM Palma (UBB)

´ ASEGURAMIENTO DE ENLACES INALAMBRICOS 16DE deDATOS enero deEN 2014 UNA COLONIA 80 / 80 D