Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

[Nodejs] (Alpha) Library Socket pour Dof 2.x

Claudine

Bonjour,

J'ai commencé une ébauche de code sous node afin de collecter des données en jeu. J'ai calqué mon code sur celui en ActionScript du swf officiel, afin de rendre mon code facilement maintenable et scalable. J'obtiens un résultat très similaire au swf officiel. Le projet n'est pas fini mais il est déjà exploitable pour commencer à l'utiliser avec nodejs.

Le but premier de ce middleware est de collecter des données de jeu (pour les envoyer à une dofapi), actuellement je le fais à la main, c'est très chronophage, peu rentable en terme de temps sur le traitement des données. Dans un premier temps ce middleware (qu'on peu aussi considérer comme une library), aura une seule interface sous forme de sniffer mais je pense créer une interface standalone pour qu'il soit entièrement indépendant du jeu mais gérer la backdoor/message n°6253 m’inquiète un peu (j'ai l'impression que je ne mesure pas encore la difficulté de traitement du RawDataMessage par rapport à ce que j'ai lu sur le forum).

Dofware :

Source : https://gitlab.com/Cldine/dofware

Prérequis :

- Npcap (il faut cocher impérativement "Install Npcap in WinPcap API-compatible Mode" lors de l'installation)

Utilisation :


# Télécharger via git clone ou via : https://gitlab.com/Cldine/dofware/-/archive/master/dofware-master.zip
git clone https://gitlab.com/Cldine/dofware.git
# Lancer
npm run main

L'avancement :

Intégration :

- [x] Phase 1 : Traiter le protocole de dof (il traite le header et le contenu des messages coupé en plusieurs parties) ;

- [_] Phase 2 : Intégrer la gestion du protocol.json :

- [X] Intégrer l'initialisation de protocol.json, et vérifier qu'on utilise la dernière version (=> en allant vérifier la version chez Ank, en imitant le fonctionnement du launcher). => Facile à faire, il faut copier ce que j'ai fais ici.

- [X] Si la version n'est pas bonne on râle, et on essaye de récupérer la dernière version automatiquement ;

- [X] Si la version est bonne on passe à la suite ;

- [X] Ajouter un système de cache de 30 minutes (?), [_] ajouter un comportement particulier le mardi ?

- [X] Présenter/Structurer le code comme un module nodejs qu'on importerait comme n'importe quels outils npm ~~(pour citer des noms, du type: express ou socket.js)~~ ; (pour certaine raison évidente il ne sera pas publier sur npm)

- [X] Mise en place d'un CHANGELOG suivant la norme keepachangelog et la norme semver ;

- [X] Ajout d'un README rédigé en français qui servira de doc ; (aucun intérêt à le faire en anglais, les commentaires dans le code resteront majoritairement en anglais)

- [_] Intégrer le parser/gestionnaires des messages avec protocol.json ; (je dois ajouter une boucle et un système d'event, rien de compliqué)

- [80%] S'assurer que la structure du code est viable sur le long terme afin d'éviter de sortir une major 2 mois après.

- [_] Phase 3 : Intégrer des tests unitaires et un outil d'intégration continue sur gitlab (+ un README) ;

- [_] Phase 4 : Ajouter un système d'autodiagnostic en mode sniffer pour identifier les messages outdated suite à une mise à jour ou au contraire les messages mal formés ;

- [_] Phase 5 : Supporter le message n°6253 - RawDataMessage sans pleurer (je le ferais sûrement en C++ avec node-gyp sous forme de plugin node, et je brouillerai (= obfuscate) cette partie du code).

Interface :

- [x] Sniffer - SnifferServerConnection.js ;

- [_] MITM (il faut faire une interface en s'inspirant du code d'anon) ;

- [_] Standalone (nécessite la Phase 4 d'intégration pour ne pas se faire striker) ;

- [_] Intégrer la gestion de VPN/Proxy directement via une interface dans l'application pour l'interface MITM et Standalone.

Bonus :

- [x] Maintenir un dépôt qui décompile les messages automatiquement chaque mardi : https://gitlab.com/Cldine/protocol-autoparser/-/jobs/artifacts/master/browse?job=build

- [_] Intégrer la gestion de la map à dofware (j'ai besoin de récupérer les informations pour mon petit projet).

DISCLAMER : Je ne garanti pas de finir ce projet.

Amusez-vous bien ! (Même s'il reste encore beaucoup de travail)

BlueDream

Merci du partage :)

djazouli

Merci du partage !

J'ai une petite question sur le point

Intégrer 20% des class de messages les plus utilisés pour le parsing (puis faire le reste au fur et à mesure)

Cela veut dire que tu veux définir une classe par message ? Si j'ai bien compris, cela revient un peu à copier les parties du fichier swf correspondant, ou bien je suis à côté de la plaque ? Si c'est le cas, y a t'il un interêt à "hardcoder" chaque classe au lieu de faire un truc un peu générique comme on le trouve dans LaBot (ici) ? (on lit le swf, puis on stocke dans des dictionnaires comment décoder chaque message (ce fichier là du code) )

Encore merci pour le partage et bonne journée

Claudine

Cela veut dire que tu veux définir une classe par message ? Si j'ai bien compris, cela revient un peu à copier les parties du fichier swf correspondant, ou bien je suis à côté de la plaque ?

C'est tout à fait ça pour l'instant je n'ai pas suffisamment de vision d'ensemble pour choisir une solution plus adéquate (et le faire à la main me permet d'intégrer le code manquant au fur et à mesure). Ainsi que de voir d'où provienne les erreurs.

En parlant d'erreur, j'ai un problème à cette ligne : https://gitlab.com/Cldine/dofware/-/blob/master/lib/network/ServerConnection.js#L133 qui m'envoie une taille folle et qui diffère de ce que je reçois après) ) :(

Pour une solution plus générique/dynamique. J'hésite entre :

- Faire un plugin babel pour transpiler le fichier en js valide ;

- Passer en Typescript (car la syntaxe de TS et AS me semble exactement la même) et mettre un léger parser si nécessaire sur les fichiers.

Je ne pense pas qu'il vas y avoir un dof 3.0 qui va modifier tous les messages, je ne prends pas trop de risque à hardcoder la chose surtout qu'une fois que je le fais, il n'y a pas besoin de le retoucher et moins de chance d'avoir des erreurs qu'une solution générique. Surtout que Hardcoder la chose c'est copier/coller le code en AS et enlever le typage qui n'est pas présent en JS. Et si vraiment il y a un dof 3.0, je... verrais à ce moment là.

KingOfGobballs

Je ne pense pas qu'il vas y avoir un dofus 3.0 qui va modifier tous les messages, je ne prends pas trop de risque à hardcoder la chose surtout qu'une fois que je le fais, il n'y a pas besoin de le retoucher et moins de chance d'avoir des erreurs qu'une solution générique.

Le protocol varie régulièrement, lors des maj le mardi. Je te conseil de te faire un protocolbuilder pour transpiler le code AS en JS. En plus c'est pas super compliqué puisque l'AS est fondé sur ECMAScript

Brasvengeur

Pour info @Nelimee a faire un ptit outil pour te permettre de generer des class utilisable grace a un json !

Claudine

Je viens de comprendre pourquoi vous insistiez pour le faire automatiquement, certain message concat plusieurs classes... Pour récupérer les informations d'une carte il faute : HouseInformations, GameRolePlayActorInformations, InteractiveElement, StatedElement, MapObstacle, FightCommonInformations...

Bon je vais y réfléchir sérieusement sur comment faire, avant de m'arracher les cheveux.

Claudine

Après une journée et demi de travail, j'ai réussi à automatiser le parsing du dernier swf, voir : https://cadernis.com/d/2465-parseur-de-protocole

VLKA

Merci du partage !

Claudine

Si je me motive :

- ~~[_] Phase 2 : Intégrer 20% des class de messages les plus utilisés pour le parsing (puis faire le reste au fur et à mesure) ;~~

- [?] Phase 2 : Intégrer la gestion du message.json :

- [?] Intégrer l'initialisation de message.json, et vérifier qu'on utilise la dernière version (=> en allant vérifier la version chez Ank, en imitant le fonctionnement du launcher). => Facile à faire, il faut copier ce que j'ai fais ici.

- Si la version n'est pas bonne on râle, et on essaye de récupérer la dernière version automatiquement ;

- Si la version est bonne on passe à la suite ;

- Ajouter un système de cache de 30 minutes (?), ajouter un comportement particulier le mardi ?

- [?] Présenter/Structurer le code comme un module nodejs qu'on importerait comme n'importe quels outils npm ~~(pour citer des noms, du type: express ou socket.js)~~ ; (pour certaine raison évidente il ne sera pas publier sur npm)

- [?] Mise en place d'un CHANGELOG suivant la norme keepachangelog et la norme semver ;

- [?] Ajout d'un README rédigé en français qui servira de doc ; (aucun intérêt à le faire en anglais, les commentaires dans le code resteront majoritairement en anglais)

- [?] S'assurer que la structure du code est viable sur le long terme afin d'éviter de sortir une major 2 mois après.

Le code pour utiliser dofware, devrait ressembler à :


import SnifferServerConnection, MessagesTypes from "dofware"

const conn = new SnifferServerConnection('192.168.0.10', '5555')

conn.onMessageId(MessagesTypes.ChatServerMessage, (msg) => {
  console.log(msg.content.toString())
})

Neewd

Hello, merci du partage. Juste petite question, côté I/O tu utilises quoi ?

J'avais regardé il y a un peu de temps pour faire un bot / MITM en JS et j'me demandais avec quoi tu avais fait ça ?

Claudine

Je ne suis pas sûr de comprendre ta question, pour sniffer j'utilise la même lib que Wireshark, Npcap. Cette library ne permet pas de faire directement du MITM, il faudra obligatoirement que mon module intègre une interface permettant le MITM.

KingOfGobballs

Perso j'utilise le package npm

bytearray-node

que je surcharge pour ajouter les méthodes

(read/write)VarXXX

Claudine

KingOfGobballs

Perso j'utilise le package npm

bytearray-node

que je surcharge pour ajouter les méthodes

(read/write)VarXXX

Si c'était la question :

- https://gitlab.com/Cldine/dofware/-/blob/master/lib/utils/flash/ByteArray.js

- https://gitlab.com/Cldine/dofware/-/blob/master/lib/utils/flash/IDataInput.js

Claudine

J'ai fais un commit, j'ai notamment mis en avant le rappel que ma library est encore en alpha et non release. En effet, il me reste encore à : "Intégrer le parser/gestionnaires des messages avec protocol.json ; (je dois ajouter une boucle et un système d'event, rien de compliqué)"

Ce qui est intéressant dans ce commit c'est la class Launcher qui va télécharger (à partir de l'autoparser le json) et vérifier si protocol.json est à jour via le numéro de version présente dans le fichier META du launcher sur les serveurs d'ankama.

La prochaine version (et la première release) sera assez intéressante pour les personnes qui souhaitent utiliser dofware comme dépendance, elle permettra le parsing de l'ensemble des messages (en utilisant protocol.json) avec un système d'event.