Τωρα, για να εξηγησω λιγακι καλυτερα το φαινομενο με τα spike trains… Στον ιπποκαμπο υπαρχουν συγκεκριμενοι νευρωνες που γινονται assign σε μια συγκεκριμενη τοποθετηση μας στον εκαστοτε χωρο - τα λεγομενα place cells. Η θεση μας και η κατευθηνση μας δεν «γραφονται» σαν απλη spike train activity αλλα ο συνδυασμος της activity ολων των place cell αναλογα με την θεση μας.

Για ενα καλο review δες εδω.

Οριστε μια working hypothesis για τον δυναμισμο του κυκλωματος.

Και ενα φοβερο μοντελακι απο - ποιους αλλους; - την ομαδα του Μαρκραμ
εδω.

Πριν ένα μήνα βρέθηκα σε ένα συνέδριο με θέμα τη στατιστική μοντελοποίηση βιολογικών δικτύων και η μία μέρα ήταν αφιερωμένη στα neuronal data. Για να μην τα πολυλογώ μία παρουσίαση έλεγε τα ακόλουθα:

(Ορισμός “Spike train”: διαδοχικά fires ενός νευρώνα, άρα μπορούμε να το δούμε ως ακολουθία poisson ή μαρκοβιανή αλυσίδα και τέλος πάντων να ξεκινήσουμε από κάπου)
Ωραία. Τώρα:
Πήρανε ένα ποντίκι. Το τοποθετήσανε μέσα σε μία λεκάνη με νερό, στην οποία φυσικά το ποντίκι έπρεπε να κολυμπάει σαν τρελαμένο ενώ ένα σημείο της λεκάνης ήταν αρκετά ρηχό για να πατώνει, το οποίο σημείο δεν μπορούσε ούτε να το δει, ούτε να προσανατολιστεί από τρίτα σημεία κλπ κλπ. Στα πειράματα που κάνανε, καταγράφανε τα spike trains από 100 νευρώνες που σχετίζονται με τη μνήμη (άρα έχουμε κάτι σαν compound poissons ή εν πάσει περιπτώσει συνδυασμούς αυτών των ανελίξεων.)
Έτσι, την πρώτη φορά αφήσανε το ποντίκι, το οποίο εκτέλεσε τυχαίο αφηνιασμένο περίπατο μέχρι που βρήκε το ρηχό σημείο και άραξε (νομίζω χρειάστηκε 40 ”). Την δεύτερη χριεάστηκε 18” και μετά από μερικές φορές χρειαζόταν περίπου 12”. Έτσι, το βιολογικό συμπέρασμα είναι ότι το ποντίκι έμαθε το που είναι το ρηχό σημείο. Έτσι, πλέον τα spike trains που μετρούσαν στο τέλος ήταν καλά dataset για machine learning approaches , δημιουργώντας έτσι ένα υπολογιστικό μοντέλο της κίνησης του ποντικού στη λεκάνη.
Το τελικό βίντεο που μας έδιξε ο τύπος είναι το εξής: Ρίχνουνε τον ποντίκο στη λεκάνη σε ένα σημείο , το οποίο είναι και το starting-point για το μοντέλο και από εκεί και πέρα σημειώνανε με μία κουκκίδα τη θέση που προτείνει το μοντέλο. Όντως η κουκκίδα ήταν πάντοτε σχεδόν πάνω στο ποντίκι.

Διάβασα τα papers του Markram (το λινκ που έδωσες καθώς και κάτι άλλα πάνω στο LSM). Αν και είναι αρκετά ενδιαφέρουσα η ιδέα του, its unimpressive. Και εξηγούμαι. Η ιδέα του είναι πολύ καλή σαν εφαρμογή ενός καινούργιου τύπου υπολογιστικού μοντέλου στα νευρωνικά δίκτυα. Ένα καινούργιο concept οργάνωσης και ανάλυσης του ΤΝΔ ας πούμε. Δεν προτείνει όμως κάτι το καινούργιο όσον αφορά το υπολογιστικό μοντέλο. Δηλάδη, δεν προτείνει κάτι αντίστοιχο με την μηχανή Turιng, στα νευρωνικά δίκτυα. Τα νευρωνικά είναι αναλογικοί υπολογιστές, γι’αυτό και μπορούν να λύσουν προβλήματα που οι μηχανές Turing δεν μπορούν. Όμως, το κατά πόσο η φυσική υλοποίηση τους είναι εν τέλει όντως αναλογική (ή ακόμα και αν είναι, αν είναι χρήσιμη) είναι αμφισβητούμενο.

Η διαμάχη μεταξύ υπολογιστική θεώρησης (η συνείδηση είναι ένας αλγόριθμος) και του connectionism ξεκινά από τη βασική θεωρητική διαφορά μεταξύ αλγορίθμου (ή computable συνάρτησης) όπου υλοποιείται με μια μηχανή με πεπερασμένο αριθμό καταστάσεων (FSM), και αναλογικών υπολογιστών οι οποίοι μπορούν να έχουν άπειρα states. Στα μαθηματικά, τα δυναμικά συστήματα τα θεωρούμε σαν (συνήθως) συνεχή, όπερ και έχουν άπειρα states. Το πραγματικό όμως δυναμικό σύστημα είναι αμφίβολο αν τελικά έχει απειρία καταστάσεων λόγω πολύ πρακτικών πραγματικών προβλήμάτων (θόρυβος, πεπερασμένο του ηλεκτρικού φορτίου κλπ).

Πάρε για παράδειγμα ένα πυκνωτή. Στην ιδεατή περίπτωση ο πυκνωτής έχει απειρία καταστάσεων (αφού η τάση του είναι συνεχής). Θα μπορούσες έτσι να αποθηκευσείς πάνω του άπειρη πληροφορία π.χ. σε κάθε τιμή της τάσης αντιστοιχείς κάτι (στην ουσία παίρνεις μια συνάρτηση f(v(t)) της τάσης). Παρόμοια είναι και η ιδέα του Liqiud State Machine όπου αντιστοιχεί στην θεωρητική απειρία των states του υγρού μια τιμή μέσω μιας readout function). Στην πραγματικότητα όμως, ο πυκνωτής τρώει θόρυβο, το φορτίο που αποθηκεύει έιναι κβαντισμένο και η χωρητικότητα του ειναι πεπερασμένη (όπως αντιστοιχα και στο LSM). Κοινώς η απειρία των states παύει να έχει οποιαδήποτε πρακτική σημασία. Αυτή είναι η βασική διαφορά. Η θεωρητική απειρία ασταθών καταστάσων μπορεί να χρησιμοποιηθεί για επεξεργασία και αποθήκευση πληροφόριας. Στον πραγματικό κόσμο όμως, χρειάζεσαι ευσταθείς καταστάσεις, πράγμα που το FSM το έχει εξ΄ορισμού.

Επισης, το paper του Μαρκραμ που ανεφερα στο προηγουμενο σχολιο συζηταει το γενικοτερο προβλημα του οτι προσπαθουμε να κανουμε emulation μιας Non FSM επεξεργασιας σε συστηματα Turing.

Και υπάρχει και μεγάλη διαμάχη μεταξύ του computational approach της νοημοσύνης (δηλαδή το εντελώς symbolic approach) και του connectionism που είναι τα νευρωνικά.

Σωστόόός!

Από την άλλη, τα ΤΝΔ που αναφέρεις, με το firing rate, μάλλον μου θυμίζουν τα spike NN’s (SNN), όπου η έξοδος τους είναι παλμοσειρές. Αυτά είναι μια άλλη κλάση νευρωνικών η οποία είναι πολύ ειδική και φέρνει περισσότερο στους πραγματικούς νευρώνες. Στην πιο “νορμαλ” περίπτωση ΤΝΔ, δεν έχεις παλμούς στην έξοδο αλλά πραγματικούς αριθμούς. Το activation function είναι ένας hard ή πιο συνηθισμένα soft limiter. Δηλαδή μια μη γραμμική συνάρτηση από το -1 στο 1. Στην οριακή περίπτωση του hard limiter, η συνάρτηση πέρνει 2 τιμές (-1,1) και γίνεται όντως δυαδική. Στην περίπτωση των soft limiters, τα ΤΝΔ δεν είναι μηχανές Turing γιατί δεν έχουν πεπερασμένες καταστάσεις. Δεν είναι FSM δηλαδή. Στην περίπτωση των SNN, αυτό μπορεί να μη συμβαίνει γιατί νομίζω ότι εκεί έχεις όντως boolean activation functions (θα σε γελάσω όμως, μιας και δεν έχω ασχοληθεί με SNN).

Πάντως, σαν γενικό remark θα έλεγα ότι υπάρχει μια σύγχυση σχετικά με τον όρο computational μιας και χρησιμοποιείται με εντελώς αντίθετες έννοιες. Στην αρχική του μορφή (και σωστή) το computational σημαίνει symbolic AI (Turing machine και τα ρέστα), δηλαδή σε ότι μπορεί να αναχθεί σε μια computable συνάρτηση, ενώ στην ΙΕΕΕ το computational intelligence αναφέρεται σε ΤΝΔ, fuzzy, evo και άλλες τέτοιες μεθόδους. Συνεπώς υπάρχει μια ειρωνία στο όλο θέμα μιας και σαν computational θεωρούνται και τα νευρωνικά. Και υπάρχει και μεγάλη διαμάχη μεταξύ του computational approach της νοημοσύνης (δηλαδή το εντελώς symbolic approach) και του connectionism που είναι τα νευρωνικά.

Πάντως, θα έθετα προς προβληματισμό το θέμα ότι τα ΤΝΔ τελικά προσομοιώνονται σε ψηφιακούς υπολογιστές, δηλαδή σε μηχανές Turing! Τελικά, αυτό που υλοποιείται στους υπολογιστές δεν είναι το ίδιο το νευρωνικά αλλά ένα computable representation του μιας και θεωρητικά οι καταστάσεις του νευρωνικού είναι συνεχείς, ενώ στον υπολογιστή κβαντίζονται λόγω της πεπερασμένης ακρίβειας που έχει.

Για οποιον ενδιαφερεται για μια θεωρητικη αναλυση της επεξεργασιας στα ΒΝΔ, προτεινω ενα υπεροχο paper:
Maass W, Natschlager T, Markram H.
“Real-time computing without stable states: a new framework for neural computation based on perturbations.”
Neural Comput. 2002 Nov;14(11):2531-60.
(Abstract εδω)