Le pendule inversé : une question d'équilibre

Navigation

• Le jeu
• Programmation
• Visualisation

Afin de faire de l'apprentissage machine, le même simulateur que celui utilisé pour le jeu est disponible via une application client/serveur.

• Serveur en JavaScript : server.js.
• Exemple de client en JavaScript : client.js.
• Exemple de client en Python 3 : client.py.
• Exemple de client en C++ : client.cpp.

Complément d'information :

• Par défaut, le serveur écoute sur le port 1980.
• Une fois connecté, le client envoit le message "start" au serveur.
• Le serveur répond en envoyant une description textuelle du système. Il s'agit de 4 nombres représentant, dans l'ordre, la position du véhicule, la vitesse du véhicule, l'angle du bras, la vitesse angulaire du bras.
  Par exemple : "1.700,-4.0,0.131,-0.21"
• S'en suit une boucle d'interactions entre le client et le serveur. Le client répond au serveur en envoyant une des trois actions suivantes :
  • "<" : appliquer une force vers la gauche.
  • ">" : appliquer une force vers la droite.
  • "=" : ne rien faire.
• Lorsque le pendule touche le sol ou lorsque le chariot quitte la zone de jeu, le serveur envoit le message "Game over".
• Par défaut, le client essaie de contacter le serveur à l'adresse "localhost", sur le port 1980. Les arguments de la ligne de commande peuvent être utilisés pour modifier l'adresse et le port.
• Un serveur de test est actif à l'adresse "xprov.org", sur le port 1980.

Exemples d'utilisation :
$ nodejs client.js xprov.org 1980
$ python3 client.py xprov.org 1980
$ g++ client.cpp -o client && ./client xprov.org 1980

Ok, pour être honnête, l'architecture client-serveur est beaucoup trop lente pour faire de l'apprentissage machine. Une implémentation C++ d'un programme effectuant l'entrainement d'un IA qui utilise une Q-matrice est disponible ici : trainer.zip.