charla que dimos Gonzalo y yo en las I jornadas de Robótica organizadas por la ESIBOT http://robotus.esibot.net/

1. Robocup: IA en
sistemas multiagente
y fútbol de simulación
I Jornadas de Robótica RobotUS
Mayo 2010
• Joaquín Borrego Díaz • Gonzalo A. Aranda Corral
• Dpto. de Ciencias de la Computación e IA. • Dpto. Tecnologías de la Información
• Universidad de Sevilla. • Universidad de Huelva.
• jborrego@us.es • gonzalo.aranda@dti.uhu.es

2. Robocup: IA en
sistemas multiagente
y fútbol de simulación
I Jornadas de Robótica RobotUS
Mayo 2010
• Joaquín Borrego Díaz • Gonzalo A. Aranda Corral
• Dpto. de Ciencias de la Computación e IA. • Dpto. Tecnologías de la Información
• Universidad de Sevilla. • Universidad de Huelva.
• jborrego@us.es • gonzalo.aranda@dti.uhu.es

3. Agentes inteligentes
• Es una metáfora computacional propia de la
Inteligencia Artificial
• Se basa en la tradición de la epistemología
aplicada
• Agente Inteligente: entidad computacional
con autonomía;
• Reactividad
• Proactividad
• Sociabilidad

4. Agentes inteligentes
• Es una metáfora computacional propia de la
Inteligencia Artificial
• Se basa en la tradición de la epistemología
aplicada
• Agente Inteligente: entidad computacional
con autonomía;
• Reactividad
• Proactividad
• Sociabilidad

5. Definición de agente
(Russell-Norvig)
• Dada una sucesión de percepciones, un
agente racional ideal
• debe realizar una acción que
maximice la medida de éxito
• a partir de la base de evidencias
que obtiene de dicha sucesión de
percepciones, y
• junto con el conocimiento que posee

6. Definición de agente
(Russell-Norvig)
• Dada una sucesión de percepciones, un
agente racional ideal
(sólo
No
• debe realizar una acción que
es u lo que d
dice
maximice la medida de éxito
na b
•
uena
a partir de la base de evidencias
que obtiene de dicha sucesión de
defin
ebe
percepciones, y
ición
hace
• junto con el conocimiento que posee
r)

7. Esqueleto de agente

8. Esqueleto de agente
¿Dónde está el
razonamiento?

9. Características de los agentes
racionales
• Flexibilidad: las propiedades fundamentales son:
• Reactividad: capacidad para responder a los cambios del
entorno
• Pro-actividad: capacidad de exhibir un comportamiento
dirigido a cumplir sus objetivos
• Sociabilidad: capacidad para comunicarse y colaborar con
otros agentes
• Son las exigencias mínimas
• No se especifica el grado de flexibilidad de cada una
• Situación ideal: combinar módulos reactivos y racionales
• Es posible eludir alguna de éstas, para aplicaciones concretas

10. Características de los agentes
racionales
• Flexibilidad: las propiedades fundamentales son:
• Reactividad: capacidad para responder a los cambios del
entorno
• Pro-actividad: capacidad de exhibir un comportamiento
dirigido a cumplir sus objetivos
• Sociabilidad: capacidad para comunicarse y colaborar con
otros agentes
• Son las exigencias mínimas
• No se especifica el grado de flexibilidad de cada una
• Situación ideal: combinar módulos reactivos y racionales
• Es posible eludir alguna de éstas, para aplicaciones concretas

11. Proactividad versus
reactividad
Reactividad: Proactividad:
+ rapidez -rapidez
(poca deducción) (deducir: planificar)
-control del SMA + control individuos
Inteligencia + Inteligencia
Emergente implementada

12. Proactividad versus
reactividad
Reactividad: Proactividad:
+ rapidez -rapidez
(poca deducción) (deducir: planificar)
-control del SMA + control individuos
Inteligencia + Inteligencia
Emergente implementada

13. ¿Dónde está la IA
clásica?
• IA clásica: Racionalidad calculable
• IA para SMA:
• Racionalidad emergente
• Racionalidad mixta
• Ejemplo: Agentes y entorno:
• IA clásica: poco dinamismo en el entorno
• Ag. Inteligentes: dinamismo, no determinismo

14. ¿Dónde está la IA
clásica?
• IA clásica: Racionalidad calculable
• IA para SMA:
• Racionalidad emergente
• Racionalidad mixta
• Ejemplo: Agentes y entorno:
• IA clásica: poco dinamismo en el entorno
• Ag. Inteligentes: dinamismo, no determinismo

22. Reactividad y
emergencia

23. • La computación es la ejecución de reglas del tipo:
• Situación → Reacción
• Los datos provienen de los módulos de percepción
• El agente no mantiene, en principio, una representación mental
• Se ahorra deliberación (razonamiento automático)
• La percepción es clave:
• Se caracteriza mediante índices elegidos por el programador
• Los índices son extraídos del entorno

24. Agentes reactivos
Principios de la reactividad
• La computación es la ejecución de reglas del tipo:
• Situación → Reacción
• Los datos provienen de los módulos de percepción
• El agente no mantiene, en principio, una representación mental
• Se ahorra deliberación (razonamiento automático)
• La percepción es clave:
• Se caracteriza mediante índices elegidos por el programador
• Los índices son extraídos del entorno

26. Emergencia
• Test de sorpresa: Requerimientos para la emergencia
• Diseño: se describe el sistema especificando las
interacciones locales entre los agentes, con un lenguaje L
• Observación: El observador describe el
comportamiento global de la ejecución usando un lenguaje
L’
• Sorpresa: Los lenguajes L y L’ son distintos, y el vínculo
causal entre las interacciones elementales programadas en
L y las observaciones descritas en L’ no son obvias

27. Emergencia
• Test de sorpresa: Requerimientos para la emergencia
• Diseño: se describe el sistema especificando las
Int
interacciones locales entre los agentes, con un lenguaje L
elig describe el
• Observación:em enc
El observador
erg ia
comportamiento global de la ejecución usando un lenguaje
L’ ent
• Sorpresa: Los lenguajes L y L’ eson distintos, y el vínculo
causal entre las interacciones elementales programadas en
L y las observaciones descritas en L’ no son obvias

28. Tres tipos de emergencia
sintética

29. Tres tipos de emergencia
sintética

34. ROBOCUP

35. ROBOCUP
“By the year 2050, develop a team of fully
autonomous humanoid robots that can win against
the human world soccer champion team.”

36. Competiciones
• RoboCup Rescue
• RoboCupJunior
• RoboCup@Home
• RoboCupSoccer

37. Historia hasta 2009
Venue Number of Number of
Participants Countries
RoboCup 2009 Graz Austria 407 43
RoboCup 2008 Shuzhou China 373 35
RoboCup 2007 Atlanta (Georgia Tech) - USA 321 39
RoboCup 2006 Bremen - Germany 440 35
RoboCup 2005 Osaka - Japan 419 35
RoboCup 2004 Lisbon - Portugal 345 37
RoboCup 2003 Padova - Italy 238 35
RoboCup 2002 Fukuoka/Busan - Japan/Korea 188 29
RoboCup 2001 Seattle – USA 141 22
RoboCup 2000 Melbourne - Australia 110 19
RoboCup 1999 Stockholm - Sweden 85 23
RoboCup 1998 Paris - France 63 19
RoboCup 1997 Nagoya - Japan - First official RoboCup 38 11
competition
Pre-RoboCup-96 event - Osaka - Japan 8

38. Robocup Rescue Robocup Junior
• Rescue Simulation League
• Soccer challenge
• Real Rescue Robot League
• Dance challenge
• Rescue challenge
• General

39. Robocup Rescue Robocup Junior
• Rescue Simulation League
• Soccer challenge
• Real Rescue Robot League
• Dance challenge
• Rescue challenge
• General

40. Robocup Soccer

41. Robocup Soccer
• Humanoid League
• Four Legged League
• Middle Size League
• Small Size League
• Simulation League

42. Humanoid league

43. Humanoid league

44. Four legged league

45. Middle size league

47. Simulation League
• 2D
• 3D

49. 2D Simulation League

50. Arquitectura

51. Arquitectura

52. Servidor
UDP/IP
Equipo B
Equipo A

53. Monitor
Monitor
Classic Classic RCSSmonitor
Rcssmonitor

54. Logs
Logs
rcsslogplayer

55. Clientes

56. ROBOCUP 2D COMO AGENTE
PERCEPCIONES
ENTORNO CEREBRO
ACCIONES

57. Percepciones
• Sensor aural
• Sensor de visión
• Sensor corporal

58. Percepciones
• Sensor aural
• Sensor de visión
• Sensor corporal

59. Sensor aural

60. Sensor aural
(hear Time Sender "Message")

61. Sensor aural (II)
• Entorno aural

62. Sensor aural (II)
Só
• Entorno aural lo
do
de sm
(a l e
cto ti ns
s d po aje
e h say s/c
ab icl
la) o

63. Sensor de visión
(see ObjName Distance Direction
DistChng DirChng BodyDir HeadDir)

64. Sensor de visión
(distancias)

65. Sensor de visión
(distancias)

66. Sensor corporal
(sense body Time
(view mode ViewQuality ViewWidth)
(stamina Stamina Eort)
(speed AmountOfSpeed DirectionOfSpeed)
(head angle HeadDirection)
(kick KickCount)
(dash DashCount)
(turn TurnCount)
(say SayCount)
(turn neck TurnNeckCount)
(catch CatchCount)
(move MoveCount)
(change view ChangeViewCount))

67. Sensor corporal

68. Sensor corporal
• Física:
• Stamina
• Esfuerzo realizado
• Velocidad (no direccional, cuantitativa)

69. Acciones
• Catch
• Dash
• Kick
• Move
• Say
• Turn
• TurnNeck

70. Acciones
• Catch
• Dash
• Kick
• Move
• Say
• Turn
• TurnNeck

71. “Catch” (parar)

72. “Dash” (correr)

73. “Kick” (chutar)

74. “Move”
(teletransportar)

75. “Turn” y “TurnNeck”
(girar, girar el cuello)

76. “Say” (hablar)

77. “Say” (hablar)

79. Entorno:
modelo del mundo

80. Simulación del entorno
• Intervalo de ejecución
• Ciclos de acción
• Ciclos de percepción

81. Simulación del entorno
• Intervalo de ejecución
• Ciclos de acción
• Ciclos de percepción

82. Objetos

83. Campo

85. Otros agentes

86. Entrenador vs Preparador
• Distinción entre el entrenador y el preparador.
• El preparador puede ejercer más control
sobre el juego y se puede usar solamente en
la fase de desarrollo.
• El entrenador se usa on-line y proporciona
consejos e información a los jugadores.

87. Entrenador vs Preparador
• Distinción entre el entrenador y el preparador.
• El preparador puede ejercer más control
sobre el juego y se puede usar solamente en
la fase de desarrollo.
• El entrenador se usa on-line y proporciona
consejos e información a los jugadores.

88. El preparador

89. El preparador
• Controla el modo de juego
• Envía mensajes
• Mueve a los jugadores y a la pelota a
cualquier posición y con la velocidad que
desee.
• Puede obtener información libre de ruido
de los objetos móviles.

90. El entrenador

91. El entrenador
• Puede comunicarse con los jugadores.
(restringida)
• Puede obtener información libre de ruidos
• Puede organizar estrategias

92. Reglas de juego
• Árbitro automático
• Árbitro humano

93. Árbitro automático
• Kick-Off
• Goal
• Out of Field
• Player Clearance
• Play-Mode Control
• Off-side
• Backpasses
• Free Kick Faults
• Half-Time and Time-Up

94. Árbitro automático
• Kick-Off
• Goal
• Out of Field
• Player Clearance
• Play-Mode Control
• Off-side
• Backpasses
• Free Kick Faults
• Half-Time and Time-Up

95. Árbitro humano
• Rodear el balón
• Bloquear la portería
• No poner el balón en juego
• Bloquear el movimiento de otros jugadores
• Abusar del uso del portero
• Inundar la red con mensajes
• Comportamiento inapropiados...

96. Árbitro humano
• Rodear el balón
• Bloquear la portería
• No poner el balón en juego
• Bloquear el movimiento de otros jugadores
• Abusar del uso del portero
• Inundar la red con mensajes
• Comportamiento inapropiados...

98. Cerebro

99. Características como
Sistema multiagente
• Ejemplo de problema PTS (sincronización
periódica de equipos)
• Algunas soluciones iniciales:
• Acuerdos a puerta cerrada:
• (principio, medio, paradas)
• Protocolo de comunicación

100. Soluciones (I)

101. Soluciones (I)

102. Soluciones (II)
• Roles (flexibles o rígidos)
• Combinación de comportamientos
externos e internos
• Formaciones (dinámicas o a puerta
cerrada)
• Movimientos preplanificados

103. Limitaciones
• Limitaciones:
• Percepciones con ruido
• Acciones
• Objetivos individuales vs. globales

105. Equipo US-UHU

106. Historia

107. Historia
• Equipo: Dari2 - 2005
• Mejora sustancial del equipo UVA-TRILEARN
• Ricardo Alfonso Venzala y David Ballesteros
• Equipo: US - 2006
• Mejora del Dari2
• Carlos Villar y Sergio Santos
• Framework DECANO - 2007-2008
• Arquitectura basada en Agentes (Java)
• Pablo Fernández y Álvaro Guerra
• Equipo: DECANO 2010 - 2009-2010
• Mejora de Equipo 2006, basada en DECANO
• José Ángel Torres y Jesús Serrano

108. Idea

109. Idea
COMPONENTE
T-R
Reorganización de
EQUIPO DARI2
Estructura básica
UVATRILEARN
MEJORAS
FUNCIONALES

110. Sucesiones teleoreactivas
• N. Nilsson
• Situaciones mediante índices
• Sistemas basados en reglas

111. Sucesiones teleoreactivas
• N. Nilsson
• Situaciones mediante índices
• Sistemas basados en reglas

112. Regresión

113. Adecuación de la
regresión

114. Adecuación de la
regresión

115. Nuestro equipo: Sucesiones T-T
truncadas con comportamiento
• Cambiar acciones por comportamientos
• Truncar la sucesión cuando el objetivo está
muy lejano
• Dos categorías de estados:
• Papel activo (categoría A)
• Papel pasivo/posicional (categoría B)
• Teorema: siempre existe un jugador en A

116. Comportamientos

117. Comportamientos
¿Macros?

118. ¿Es subsunción?

119. ¿Es subsunción?
o en
ba sad
ción
sun las
ub reg
unas
Es

120. Ejemplo: esquema del
central

121. Ejemplo: esquema del
central

122. Mejoras funcionales

123. Mejoras funcionales

125. Ejemplos de partidos

126. Resultados (I)

127. Resultados (II)

128. El desafío: aprendizaje

129. El desafío: aprendizaje

130. Aprendizaje (I)
• Off-line: Para tareas fijas
• Intercepción de balones
• Evaluación de pases
• Usando: redes neuronales, árboles de decisión…
• Ventaja: conocimiento transmisible (no todo es
aconsejable)
• Desventaja:
• ¡No se aprende durante el juego!

131. Aprendizaje (II)
• Online:
• Aprendiendo durante el juego
• Ventaja: aprendo a ganar al contrincante
actual
• Desventaja: poco tiempo de aprendizaje
• Exploración versus explotación

132. Otros desafíos
• Propagación de errores
• Combinar capas subsunción/aprendizaje
• Controlar la emergencia

133. Otros desafíos
• Propagación de errores
• Combinar capas subsunción/aprendizaje
• Controlar la emergencia

134. Lineas actuales de
trabajo
• Migrando a JAVA el equipo 2006
• Superar al equipo del 2006
• Diseñar nuevas estrategias para el SMA

135. Objetivo final

136. Objetivo final
Preparar un equipo competitivo US-UHU
para participar en
la ROBOCUP 2012

137. ¿Te apuntas?
• Joaquín Borrego Díaz
• Dpto. de Ciencias de la Computación e Inteligencia Artificial.
• Universidad de Sevilla.
• jborrego@us.es
• Gonzalo A. Aranda Corral
• Dpto. Tecnologías de la Información
• Universidad de Huelva.
• gonzalo.aranda@dti.uhu.es

138. ¿Te apuntas?
• Joaquín Borrego Díaz
• Dpto. de Ciencias de la Computación e Inteligencia Artificial.
• Universidad de Sevilla.
• jborrego@us.es
• Gonzalo A. Aranda Corral
• Dpto. Tecnologías de la Información
• Universidad de Huelva.
• gonzalo.aranda@dti.uhu.es