Decentralized deep neural network training via distributed ledger technology

Abstract

Τα τελευταία χρόνια έχει γίνει αντιληπτό ότι ο αποδοτικότερος τρόπος να εκπαιδευτεί κάποιο σύνθετο μοντέλο τεχνητής νοημοσύνης είναι η αξιοποίηση εξαιρετικά μεγάλων όγκων δεδομένων και μεγάλης υπολογιστικής ισχύος. Το γεγονός αυτό δίνει ένα ανυπέρβλητο προβάδισμα στις λίγες εταιρίες που κατέχουν αυτά τα στοιχεία, με αποτέλεσμα αυτές να τείνουν να κυριαρχήσουν στις εξελίξεις. Συνεπώς θα ήταν επιθυμητό να δημιουργήσουμε πρότυπα τα οποία: 1) Εγκαταλείπουν τη λογική των μεγάλων ιδιωτικών υπολογιστικών κέντρων. 2) Βασίζονται, όχι απλώς σε αποκεντρωμένο, αλλά σε πλήρως κατανεμημένο μοντέλο, υπό την έννοια ότι λειτουργούν δίχως την ανάγκη ενός κεντρικού συντονιστή. Ακολουθώντας αυτή την οδό μπορούν να δημιουργηθούν αρχιτεκτονικές οι οποίες: 1) Αξιοποιώντας πολυάριθμους κόμβους προσεγγίζουν (η ακόμα και ξεπερνούν) την υπολογιστική ισχύ ενός μεγάλου data center. 2) Λόγω ισοτιμίας των συμμετεχόντων δεν έχουν "single point of failure", το οποίο πρακτικά σημαίνει ότι η λειτουργία τους συνεχίζεται απρόσκοπτα ακόμα και μετά την αποσύνδεση ενός μεγάλου ποσοστού των κόμβων τους. 3) Είναι "εκδημοκρατισμένες", δηλαδή όλοι οι συμμετέχοντες έχουν ίση πρόσβαση στα παραγόμενα αποτελέσματα. Οι μέχρι τώρα υλοποιήσεις των αλγορίθμων ανάπτυξης νευρωνικών δικτύων επικεντρώνονται πρωτίστως στον τομέα της ταχύτητας εκπαίδευσης του μοντέλου. Παρόλο που έχουν αναπτυχθεί εκδοχές για κατανεμημένη επεξεργασία, αυτές έχουν ανάγκη από έναν κεντρικό κόμβο-διαχειριστή ο οποίος θα αναλαμβάνει τον συντονισμό των υπολοίπων. Δεν έχει όμως γίνει επαρκής μελέτη για μία υλοποίηση που δεν απαιτεί έναν τέτοιο διακομιστή. Η πρότασή μας αξιοποιεί νέας τεχνολογίας ομότιμες τοπολογίες που έχουν ως θεμέλιο λίθο την κρυπτογραφική επαλήθευση (Distributed Ledger Technology - DLT), με στόχο τη "διάχυση" του διαχειριστικού ρόλου σε ολόκληρο το δίκτυο. Κατά την εκπόνηση της έρευνας δοκιμάστηκαν διαφορετικές διαμορφώσεις της κατανεμημένης λειτουργίας και αποτιμήθηκαν οι επιπτώσεις που είχε αυτή η παραμετροποίηση, τόσο στην ταχύτητα εκπαίδευσης όσο και στην ποιότητα του παραγόμενου μοντέλου. Το αποτέλεσμα είναι ένα καινοτόμο οικοσύστημα νεοφυών τεχνολογιών, για εκδημοκρατισμένη εκπαίδευση βαθέων νευρωνικών δικτύων.