Don’t Kiss The Frog

Πρώτα το osnews.com με ενα αρθρακι για την ‘γλωσσα’ -εργαλείο στατιστικής R (S) μετά εσυ με το σημερινό ποστ μου ξυπνάς τους εφιάλτες των Formal Methods …τωρα απομένει να γραψεις και για θεωρείες ουράς - Poisson processes…και θα με τελειωσεις….οι εφιαλτες θα ξυπνησουν!

χαίρομαι βεβαια απο την άλλη που υπάρχουν άνθρωποι που καταπίανοντε και με λιγο πιο θεωρητικά πράγματα…και έχουν διάθεση να το φιλοσοφίσουν!

Χαίρομαι που καταπιάνεσαι αργά αλλά επαναλαμβανόμενα με τέτοια ζητήματα που απαιτούν κατάλληλη προπαιδεία και εξελιγμένη γλώσσα.
Το κύριο ζητούμενο βέβαια για τον τρόπο κατασκευής των θεωρημάτων μέσα σε συγκεκριμένο μοντέλο, που παραθέτεις, είναι ότι ποτέ δεν θα είμαστε βέβαιοι αν το μοντέλο είναι σε φυσική αντιστοιχία ή ισομορφισμό με το φυσικό ή αισθητηριακό σύστημα που φιλοδοξεί να περιγράψει.
Πάντως συνέχισε τα posts αυτού του είδους. Πιστεύω ότι θα βάλεις κι άλλους στο παιχνίδι.

Endiaferon post kai katanoo apolutws ti thes na peis. Alla den katalabainw giati, afou i antistoixia tou tupikou systimatos me tin prosthesi stous akeraious einai isomorfismos, “η διαφορά ανάμεσα στο 1+2=3 και στο Ι+ΙΙ=ΙΙΙ είναι τεράστια”. Kai giati to 1+2=3 einai mia mathimatiki ekfrasi kai oxi o orismos tou 3 meso tou isomorfismou me to tupiko systima… Mporei na einai kai context dependent edo pou ta leme (spastiko e?).

Pio sovari aporia einai i eksis: ti parapano xreiazetai na exei to mualo mas gia na apofasisoume na paragoume tous kanones athroisis (as poume oti ligon se 5 me ligonta se 8 den mporei na kanei ligonta se 2 - diaforetiko approach ap’ to 5+8=3 mod 10), anti na synexisoume na kanoume tin athroisi sa malakes ???

Φίλε j95,

Θα πω την άποψη που έχω σχηματίσει η οποία είναι περισσότερο διαισθητική κι αυθαίρετη και δέχομαι ότι δεν μπορώ να την τεκμηριώσω απόλυτα (και δεν έχω και το χώρο και το χρόνο εδώ,ίσως το κάνω κάποια στιγμή στο blog μου), αλλά την καταθέτω παρ’όλα αυτά μήπως δώσω ένα παραπάνω ερέθισμα για συζήτηση:

Νομίζω, λοιπόν, ότι η ανθρώπινη νοημοσύνη (ή συνείδηση, αν θες να το πούμε πιο γενικά) που δεχόμαστε ότι πηγάζει από τους νευρώνες του εγκεφάλου και τις απειράριθμες συνάψεις τους, σαν σύνολο είναι “αναλογική” (δανείζομαι κομπιουτερίστικη ορολογία όπως βλέπεις) ενώ οι νευρώνες και οι συνάψεις τους, που ας δεχτούμε ότι κάποια στιγμή στο μέλλον θα φτιαχτεί ένας αρκετά ισχυρός υπολογιστής ώστε να προσομοιάζει τη λειτουργία του καθενός από αυτούς και της καθεμίας σύναψης, λειτουργούν με “ψηφιακό” τρόπο. Το συνολικό “άθροισμα” των “ψηφιακών” νευρώνων θα σχηματίζει μια “digitalized” εικόνα της συνείδησης αλλά δεν θα “ισούται” με την πλήρη αναλογική εικόνα αυτής, θα υπολείπεται κατά τι. Αυτό που πιστεύω ότι θα της λείπει είναι η αυτοαναφορικότητα (βλέπε και GEB, που ανέφερες κι εσύ, τι βιβλίο κι αυτό αλήθεια!).

Μη βαράτε, είπαμε είναι μια διαισθητική και κάπως (έως και πάρα πολύ) αυθαίρετη άποψη! Ωστόσο, θα ήθελα τη γνώμη και του j95 και άλλων από εσάς, εφόσον κι εσείς είστε σίγουρα πιο ειδικοί από εμένα στα συγκεκριμένα ζητήματα.

Γιατί τη νοημοσύνη και τη συνείδηση τις δέχεσαι ως αναλογικές;
Δηλαδή ποιο θεωρείς ως Χ=input για την καθεμιά, ώστε σε κάθε μικρή μεταβολή του dX,να δώσει η νοημοσύνη ή η συνείδηση ως output dY=adX+b;
Για την ψηφιακότητα των νευρικών ωθήσεων συμφωνούμε.

@nik-athenian:

Καλή ερώτηση!
Γνώμη μου είναι ότι αν αυτό το “Χ” μπορούσε να εντοπιστεί και να ποσοτικοποιηθεί κατά κάποιο τρόπο, τότε θα είχε γίνει το μεγαλύτερο βήμα για την επίτευξη τεχνητής νοημοσύνης, αυτός δηλαδή ο άγνωστος παράγοντας είναι ο σύνδεσμος που λείπει (missing link) και το ζητούμενο για να επιτευχθεί το όραμα της A.I. Θα έλεγα ότι το Χ θα πρέπει να απεικονίζει κατά κάποιο τρόπο το βαθμό αυτοαναφορικότητας ενός συστήματος, καθώς αυτό ακριβώς φαίνεται να διαχωρίζει ένα νοήμον ον από μία μηχανή, δηλαδή η συνείδηση του “εγώ”. Αυτό φαίνεται να συνεπάγεται την ικανότητα του νοήμονος όντος να μην έχει αυστηρά προδιαγεγραμμένους κανόνες συμπεριφοράς και δράσης, αλλά να μπορεί να τους μετατρέπει ή να τους διαμορφώνει κατά τη βούλησή του, ακριβώς γιατί έχει τη δυνατότητα να σκεφτεί: “Αν ενεργήσω κατ’αυτόν τον τρόπο μπορεί να έχω οδυνηρές συνέπειες. Άρα δεν το κάνω” ενώ ο υπολογιστής θα υπακούσει σε μια εντολή αυτοκαταστροφής του. Η αυτοαναφορικότητα και αυτοσυνείδηση έχω την εντύπωση ότι δεν μπορεί να εκφραστεί με ψηφιακούς, “κβαντωμένους” αν θες άλλη διατύπωση, όρους, είναι ασύμβατη με τη “γλώσσα μηχανής”.

Για να δώσω μια άλλη παρομοίωση του πως το βλέπω, παραπέμπω στην έννοια του gestalt από την ψυχολογία. Το άθροισμα των επιμέρους όψεων (ψηφιακή απεικόνιση της λειτουργίας όλων των νευρώνων και όλων των συνάψεων του εγκεφάλου) υπολείπεται πάντοτε κατά τι του συνόλου (αναλογική εικόνα συνείδησης ή νοημοσύνης). Αυτό το “κατά τι” είναι το κλειδί, είναι αυτός ο x factor που κάνει την “συνάρτηση” της νοημοσύνης, συνείδησης να είναι “συνεχής” (αναλογικότητα) από “ασυνεχής” (ψηφιακότητα?? αδόκιμος όρος???).
Εντάξει το γνωρίζω ότι την άποψη μου την εκφράζω μάλλον χοντροειδώς, αλλά νομίζω το νόημα το πιάνεις.
Κάθε σχόλιο και κάθε διόρθωση ευπρόσδεκτη και επιθυμητή!

Και αν με αυτές, μπορείς σε τελική ανάλυση να πετύχεις πράγματα που υπό κανονικές συνθήκες χρειάζονται νοημοσύνη, αυτό σημαίνει ότι η νοημοσύνη είναι αυτοματοποιήσιμη.

Αισιόδοξο αλλά και αυθαίρετο αυτό το συμπέρασμα. Έχω πλέον σοβαρές αμφιβολίες για την ισχύ του.
Ο spithas το εξηγεί σε κάποιο βαθμό (προτείνω ανάγνωση των θεωριών του Edelman). Γενικά, αν τα πράγματα ήταν τόσο απλά, δε θα είχαμε σπάσει τα μούτρα μας τόσο θεαματικά στην προσπάθεια δημιουργίας τεχνητής νοημοσύνης. Πρέπει πρώτα να λυθεί το πρόβλημα με τα qualia.

…η νοημοσύνη είναι αυτοματοποιήσιμη.
Μαλιστα… Επικαλουμαι προηγουμενη δηλωση μου πως αναλογιες και «πρακτικες μεταφορες» αναμεσα στον κοσμο της πληροφορικης και τα βιολογικα συστηματα ειναι ως επι το πλειστον «παρατυπες» και συχνα οδηγουν σε λαθος συμπερασματα.

Ας παρουμε το παραπανω συμπερασμα… Ουσιαστικα παρουσιαζεις πως μια μαθηματικη επεξεργασια μπορει να γινει «αναλυτικα» χωρις να καταφυγουμε στα κλασσικα «shortcuts» που σαν νοημοντες οργανισμοι εχουμε μαθει να χρησιμοποιουμε. Συμφωνοι: δεν υπαρχει ενας μονο δρομος για καθετι. Το να αποφυγεις την χρηση νοημοσυνης ομως δεν σημαινει πως την αντικατεστησες κιολας. Θα σου πω ενα μυστικο: η βαση της νοημοσυνης κρυβεται σε μια λεξη, τον συνειρμο. Κι αυτο ειναι κατι που δεν μαθαμε ακομα να εξομοιωνουμε, πρωτα απ’ ολα γιατι καλα-καλα δεν ξερουμε πως λειτουργει το πρωτοτυπο (στο μυαλο μας δηλαδη).

Η μοναδα «επεξεργασιας» στον εγκεφαλο δεν αποτελειται απο μια συγκεκριμενη ανατομικη μοναδα (π.χ. νευρωνα η συναψη) παρα με τις πιθανοτητες μεταβολης της τρεχουσας ηλεκτρικης καταστασης ενος νευρωνα συναρτησει των γεγονοτων που συμβαινουν σε ολες τις συναψεις του, ζυγισμενα τοσο συμφωνα με την τοποθεσια τους (βασικα αποσταση απο την αρχη του αξονα) αλλα και με τον συγχρονισμο τους. Το αποτελεσμα της πραξης αυτης διακλαδωνεται αμεσως σε καποιες χιλιαδες επομενες συναψεις και μεγαλο μερος αυτου του output θα γυρισει πισω σαν input στον ιδιο νευρωνα μεσα απο απλα η πολυπλοκα κυκλωματα feedback.

Ο συνειρμος ειναι η ανακληση μιας καταχωρυμενης μνημης βασει μιας μη γραμμικης σχεσης συναφειας με το τρεχων input και η ταυτοχρονη μεταβολη αυτης σε συνδυασμο με τα καινουρια δεδομενα. Δεν υπαρχει κανενας ντετερμινισμος στο τι θα ανακαλεσει ενα συγκεκριμενο stimulus και οταν αυτο συμβει, ποτε πια μια επαναληψη του δεν θα ανακαλεσει τα ιδια πραγματα αφου δεν υπαρχουν πια: αλλαξαν ηδη στην πρωτη ανακληση τους. Για να κανουμε μια συγκριση με τον κοσμο της πληροφορικης, μπορουμε να πουμε πως κατι που αποθηκευεται στην μνημη μας δεν εχει ουτε συγκεκριμενη διευθηνση (memory address) ουτε μπορει να γινει read-only access. Αν θα επρεπε να δωσουμε ενα ονομα κατηγοριοποιησης της διαδικασιας που κρυβεται κατω απο τον συνειρμο, αυτο δεν ειναι ουτε «ψηφιακο», ουτε «αναλογικο» παρα «πιθανοστικο». Πιο λογικη λοιπον θα ηταν η προσεγγιση με μαθηματικα του χαους η, εστω, με κβαντικο λογισμο (αν και στο τελευταιο πραγματικα δεν ξερω με τι θα εξομοιωνες ενα «quantum» σκεψης).

ΥΓ.: @Αποστολοπουλος Παρις: Τι εχει η R; Μια χαρα γλωσσιτσα ειναι!

@kitasumba

Συμφωνώ με αυτά που λες.Θα ήθελα να δώσω ιδιαίτερη έμφαση στο ότι ο συνειρμός λειτουργεί αχρονικά. Όταν ψάχνεις να θυμηθείς κάτι δεν βάζεις σε λειτουργία κάποιο search engine του εγκεφάλου κι ούτε του λες να ψάξει σε συγκεκριμένα folders.Για την ακρίβεια δε νομίζω ότι μπορείς να πεις με ακρίβεια, τουλάχιστον με τα τωρινά δεδομένα της νευροφυσιολογίας ότι η τάδε μνήμη είναι αποθηκευμένη σε αυτό το σημείο του εγκεφάλου και η δείνα μνήμη στο άλλο. Νομίζω ότι είναι πολύ πιθανό ο τρόπος λειτουργίας του όλου συστήματος να είναι φρακταλικός (μια και μίλησες και για θεωρία του Χάους) ή ολογραφικός. Δηλαδή κάθε quantum σκέψης, όπως λες κι εσύ, να εμπεριέχει δυνάμει το σύνολο όλων των δυνατών σκέψεων! Τραβηγμένο? Πιθανόν, δε λέω…
Πάντως άμα γίνει κατορθωτή η εξομοίωση ενός quantum σκέψης τότε θα έχει γίνει το πιο σοβαρό βήμα για την κατασκευή του πρώτου κβαντικού (και άρα νοήμονος?) υπολογιστή. Και πάλι εδώ φαίνεται ότι η αυτοομοιότητα και η αυτοαναφορικότητα και άλλες τέτοιες χαοτικές έννοιες έχουν τον ρόλο-κλειδί.

@spasiklas

Πολύ ενδιαφέρουσες οι παραπομπές σου! Εγώ επίσης να προτείνω ένα πολύ καλό βιβλίο που έχω διαβάσει (το οποίο είναι σε αρκετά σημεία βέβαια αρκετά τεχνικό έως δυσνόητο για έναν μη ειδικό, όπως είμαι εγώ αλλά παρ’όλα αυτά αρκετά ερεθιστικό και ενδιαφέρον) το “Σκιές του Νου” του Roger Penrose.

O Penrose είναι τσαρλατάνος στο συγκεκριμένο ζήτημα. Είναι κρυφοδυϊστής και αν ίσχυαν όσα λέει θα είχαν συνείδηση και οι πέτρες. Αυτά συμβαίνουν όταν ένας μαθηματικός/φυσικός κάνει αυθαίρετες εικασίες για ένα βιολογικό φαινόμενο όπως η συνείδηση. Συνείδηση παρατηρείται μόνο σε βιολογικούς οργανισμούς που έχουν εγκέφαλο.
Ο εγκέφαλος δεν έχει καμία σχέση με μηχανές Turing και κβαντομηχανικούς υπολογιστές.

Πρέπει πρώτα να λυθεί το πρόβλημα με τα qualia.

Αντιγράφω από το link σου:

You can remember the information about events, but not the actual feeling you had at the time.

Κοιτάξτε μπορεί εγώ προσωπικά να έχω διαφορετικό qualia module από τους άλλους ανθρώπους (ίσως λόγω διευρυμένης συνείδησης; Διάολε, έπρεπε να προσέχω με αυτά τα πράγματα στα νιάτα μου), αλλά τέλος πάντων είμαι σίγουρος ότι μπορώ να θυμηθώ πολύ καλά το actual feeling I had π.χ. σε ντροπιαστικές ή επώδυνες ή ευτυχισμένες στιγμές. Δηλαδή αυτό που λέει εκεί είναι λάθος. Κατά τη γνώμη μου το ζήτημα είναι περισσότερο φιλοσοφικό παρά πρακτικό, τουλάχιστον σε ό,τι αφορά την τεχνητή νοημοσύνη.

Προκαταβολικά όμως πρέπει να πω ότι το good old AI είναι μια μαλακία.

Σπίθα, προσωπικά δε μου φαίνεται και τόσο τρομερό που ο συνειρμός δεν είναι εντοπισμένος. Είναι απλά συστημική ιδιότητα. Κάτι τέτοια γίνονται όλη την ώρα. Π.χ. πού συμβαίνει ο πληθωρισμός στην οικονομία; Πού συνέβη η απλοποίηση του κλιτικού συστήματος της αρχαίας ελληνικής;

Στην προκειμένη περίπτωση, η λέξη που ψάχνεις δεν είναι “φρακταλικός”, αλλά “κονεκτιβιστικός”.

Spasiklas, μήπως γίνεσαι λίγο απόλυτος? Καταρχήν επειδή κάποιος είναι μαθηματικός/φυσικός και διατυπώνει απόψεις για ζητήματα βιολογίας πάει να πει ότι αυτά που θα πει είναι “αυθαίρετες εικασίες” μόνο και μόνο επειδή δεν είναι ο επιστημονικός τομέας εξειδίκευσης του η βιολογία? Συμφωνώ ότι στις μέρες μας με τον συνεχή εμπλουτισμό και κατακερματισμό της γνώσης, είναι από πολύ δύσκολο έως απίθανο να υπάρξουν Leonardo da Vinci (πανεπιστήμονες), όμως αυτό δεν σημαίνει ότι η κάθε επιμέρους επιστήμη πρέπει να περιχαρακώνεται και να αυτοπεριθωριοποιείται, σχηματίζοντας στεγανά και μην επιτρέποντας το “μπόλιασμα” από τις εξελίξεις σε άλλους επιστημονικούς κλάδους. Η εσωστρέφεια πάντοτε οδηγεί στο τέλμα, στη στασιμότητα και εν συνεχεία στην οπισθοδρόμηση.
Επίσης αυτό που λες ότι συνείδηση παρατηρείται μόνο σε βιολογικούς οργανισμούς που έχουν εγκέφαλο είναι μια ελλιπής πρόταση κατά τη γνώμη μου. Το σωστό θα ήταν να έλεγες ότι ΜΕΧΡΙ ΣΤΙΓΜΗΣ και με βάση τις περιορισμένες (αποδεδειγμένα) ικανότητες αντίληψης του ανθρώπινου εγκεφάλου, παρατηρείται μόνο σε βιολογικούς οργανισμούς που έχουν εγκέφαλο. Το αν στην πορεία θα μάθουμε και κάτι καινούριο ως προς τις συνθήκες όπου αναδύεται μια συνείδηση, είναι κάτι εντελώς ανοιχτό. Έχουν προταθεί θεωρίες περί “υπερσυνειδήσεων” που εμείς δεν είμαστε καν σε θέση να αντιληφθούμε (αν όντως υπάρχουν). Ένα χαρακτηριστικό παράδειγμα που μου έρχεται στο μυαλό είναι η θεωρία του Τζέιμς Λάβλοκ περί Γαίας. Ως γνωστόν αυτή η θεωρία υποστηρίζει ότι όλο το πλανητικό οικοσύστημα με τα μυριάδες επιμέρους στοιχεία του (από τον άνθρωπο ως την πέτρα) και τις ακόμη πιο πολλές αλληλεπιδράσεις τους συνιστούν έναν ζωντανό οργανισμό. Παραμύθια? Μπορεί, δε λέω…Όμως, η ιστορία της επιστήμης μας έχει διδάξει ότι δεν πρέπει να είμαστε κατηγορηματικοί για τίποτα και να μην προσκολλώμεθα σε δόγματα, γιατί είναι πολύ πιθανό (κι έχει συμβεί αρκετές φορές) να προκύψουν νέες θεωρίες και νέα ευρήματα που να αντρέπουν ριζικά όλα όσα θεωρούσαμε δεδομένα μέχρι εκείνη τη στιγμή.

j95, νομίζω ότι αν το καλοσκεφτούμε λίγο, “φρακταλικός” και “κονεκτιβιστικός” συνιστούν ταυτολογία. Δηλαδή, μήπως τελικά η φρακταλική δομή ενός συστήματος είναι αυτή που του παρέχει δυνατότητες άμεσης, αχρονικής και μη εντοπισμένης διασύνδεσης μεταξύ των επιμέρους στοιχείων του? Και μήπως η ύπαρξη των “κονεκτιβιστικών” ιδιοτήτων προϋποθέτει ως “σκελετό” την ύπαρξη φρακταλικής δομής?

Χαιρετώ σας όλους!
Είδα την ενδιαφέρουσα συζήτηση σας και είπα να μπω και γω (είδα φως και μπήκα που λένε).

@spithas
Βασικά, το “φρακταλικός” με το “κονεκτιβιστικός” δεν έχουν σχέση, βάσει της τυπικής ορολογίας που χρησιμοποιούνται. Προφανώς ο J έκανε μια απ’ ευθείας μετάφραση από το αγγλικό “connectionist” που περιγράφει κυριώς τα Τεχνητά Νευρωνικά Δίκτυα (ΤΝΔ) όπου πολλές ατομικές μονάδες συνδέονται με άλλες, μέσω ενός πολύπλοκου δικτύου ,hence the term “connectionism”.
Το “φρακταλικός” από την άλλη, περιγράφει τη “σπασμένη” όψη (ας πούμε) διαφόρων συνόλων, των fractals, που συναντώνται στη θεωρία του χάους. Συνεπώς το “κονεκτιβιστικός” με το “φρακταλικός” δεν έχουν την ίδια σημασία, και σε καμία περίπτωση δεν είναι ταυτολογία. Βέβαια, τα ΤΝΔ, λόγω της πολυπλοκότητας τους, αλλά και κυρίως λόγω της μη-γραμμικής δυναμικής τους, μπορεί να εμφανίσουν χαοτική συμπεριφόρα, αλλά το ίδιο συμβαίνει με πολλά μη-γραμμικά συστήματα (βλέπε επιστήμη της πολυπλοκότητας).

@Kitasuba
Αυτό που ονομάζεις “συνειρμό” έχει υλοποιηθεί σε τεχνητά συστήματα, και ειδικότερα στα ΤΝΔ. Τα ΤΝΔ είναι περιβόητα λόγω της ιδιότητας τους να αποθηκεύεις “πρότυπα” (ας πούμε πχ εικόνες) σε αυτά, και να του παρουσιάζεις στην είσοδο την ίδια εικόνα αλλαγμένη (ή άλλη εικόνα που είναι όμοια) και να σου βγάζει στην έξοδο του την αρχική εικόνα-πρότυπο που είχες αποθηκεύσει. Τέτοια νευρωνικά δίκτυα τα ονομάζουμε συσχετιστικές μνήμες (associative memories). Αυτό που κάνουν στην ουσία, είναι ένας “συνειρμός”. Βλέπουν (και καλά) στην είσοδο τους κάτι που μοιάζει με κάτι που ξέρουν, και σου βγάζουν αυτό που τους θυμίζει (το αρχικό πρότυπο δηλαδή).

@Σπασίκλας
Θα συμφωνήσω στο ότι ο Penrose μάλλον το γυρνά σε κρυφοδυϊσμό, άλλωστε τα έχω αναλύσει αλλού για τον Penrose και το γκεντελικό του επιχείρημα. Πάντως, το αν έχει σχέση η συνείδηση με μηχανή Turing ή όχι, είναι ένα άλλο τεράστιο θέμα. Το βασικό ερώτημα είναι: είναι η συνείδηση υπολογιστική-αλγοριθμική; Είναι τυπικό σύστημα; Εγώ τείνω προς καταφατική απάντηση.

@Σπίθας και Γιώργος
Είμαι λίγο απόλυτος με τον Penrose επειδή έχω διαβάσει Edelman ο οποίος τοβ απορρίπτει με πολύ πειστικά επιχειρήματα. Δεν αμφιβάλλω πως ο Penrose είναι καλός μαθηματικός/φυσικός. Άλλωστε, αν δεν κάνω λάθος, δεν έχει επιβεβαιωθει τίποτα ως τώρα από τη θεωρία του. Σπίθα, είμαστε αρκετά σίγουροι πως οι γαία δεν έχει συνείδηση και η φαινομενικά ενσυνείδητη συμπεριφορά της μπορεί να εξηγηθεί σαν cellural automaton. Αντίστοιχο μικρότερης κλίμακας φαινόμενο είναι οι μυρμηγκοφωλιές.

Γιώργος έφη: Το βασικό ερώτημα είναι: είναι η συνείδηση υπολογιστική-αλγοριθμική; Είναι τυπικό σύστημα; Εγώ τείνω προς καταφατική απάντηση.

Ακριβώς, αυτό είναι το βασικό ερώτημα. Εγώ τείνω προς αρνητική απάντηση. Ελπίζω πως μέχρι τα γεράματά μας θα μάθουμε.

J95 έφη: […] αλλά τέλος πάντων είμαι σίγουρος ότι μπορώ να θυμηθώ πολύ καλά το actual feeling

J95, τι κάπνιζες όταν το έγραφες αυτό
Δηλ μου λες τώρα, χρειάστηκε να πηδήξεις στη ζωή σου μερικές φορές. Μετά απλά, έκρινες ποια ήταν η καλύτερη και με το να τη θυμάσαι ένιωθες όπως όταν είχες οργασμό. Περιττό επαναβιώνεις πράγματα (σεξ, γεύσεις κτλ) επειδή το να θυμάσαι είναι όπως να τα κάνεις! Ομολογουμένως, ζηλεύω πάρα πολύ αν έχεις πάθει τέτοια μετάλλαξη.

Anyway, το παραπάνω χαρακτηριστικό είναι μια ιδιότητα των qualia που έχει να κάνει και με το γεγογονός πως ο εγκέφαλος είναι ανοιχτό σύστημα και όχι κλειστό όπως ένας υπολογιστής. Επεξεργάζεται συνεχώς εξωτερικά ερεθίσματα και δεν τρεχει κάποιο “αλγόριθμο” εσωτερικά. Συγκεκριμένα qualia “τα νιώθεις” μόνο όταν έχεις και το αντίστοιχο ερέθισμα. Ακόμα και απλά πράγματα, όπως να βλέπεις ένα χρώμα, δεν είναι το ίσιο με το να ανακαλείς πώς είναι ένα χρώμα. Ο Edelman εντάσει τα qualia στη θεωρία του όχι όμως σαν κάτι μεταφυσικό. Απλά υποστηρίζει πως προκύπτουν λόγω διαδικασιών που συμβαίνουν στον εγκέφαλο.

@Γιωργος:
θα διαφωνησω πως το pattern recognition των artificial NN ειναι ταυτοσημο με τον συνειρμο καθοτι οι ιδιες οι «πραξεις» του συσχετισμου ειναι διαφορετικες. Απ’ οσο δυναμαι να ξερω, τα τεχνητα νευρωνικα δικτυα βασιζονται ειτε σε μια απλη binary κωδικοποιηση (ON/OFF) ειτε, λιγο ορθοτερα, στο Firing Rate. Αυτο συμβαινει κυριως γιατι τα ΤΝΔ στηνονται σαν μηχανες Turing, κατι που δεν αντικατροπτιζει τον τροπο επεξεργασιας των βιολογικων νευρωνικων δικτυων.

Για οποιον ενδιαφερεται για μια θεωρητικη αναλυση της επεξεργασιας στα ΒΝΔ, προτεινω ενα υπεροχο paper:
Maass W, Natschlager T, Markram H.
“Real-time computing without stable states: a new framework for neural computation based on perturbations.”
Neural Comput. 2002 Nov;14(11):2531-60.
(Abstract εδω)

@Kitasumba
Δεν θα έλεγα ότι είναι ταυτόσημο, αλλά σίγουρα μοιάζει πάρα πολύ. Όπως λές και εσύ “Ο συνειρμος ειναι η ανακληση μιας καταχωρυμενης μνημης βασει μιας μη γραμμικης σχεσης συναφειας με το τρεχων input και η ταυτοχρονη μεταβολη αυτης σε συνδυασμο με τα καινουρια δεδομενα”. Βλέπεις ότι αυτό ακριβώς κάνουν και τα ΤΝΔ με την ανάκληση του προτύπου. Το αν αλλάζει στη συνέχεια το πρότυπο, αυτό γίνεται σε κάποιους τύπους ΤΝΔ όπου υπάρχει συνεχής μάθηση του νευρωνικού, σε αντίθεση με την off-line μάθηση που γίνεται συνήθως και γίνεται άπαξ.

Από την άλλη, τα ΤΝΔ που αναφέρεις, με το firing rate, μάλλον μου θυμίζουν τα spike NN’s (SNN), όπου η έξοδος τους είναι παλμοσειρές. Αυτά είναι μια άλλη κλάση νευρωνικών η οποία είναι πολύ ειδική και φέρνει περισσότερο στους πραγματικούς νευρώνες. Στην πιο “νορμαλ” περίπτωση ΤΝΔ, δεν έχεις παλμούς στην έξοδο αλλά πραγματικούς αριθμούς. Το activation function είναι ένας hard ή πιο συνηθισμένα soft limiter. Δηλαδή μια μη γραμμική συνάρτηση από το -1 στο 1. Στην οριακή περίπτωση του hard limiter, η συνάρτηση πέρνει 2 τιμές (-1,1) και γίνεται όντως δυαδική. Στην περίπτωση των soft limiters, τα ΤΝΔ δεν είναι μηχανές Turing γιατί δεν έχουν πεπερασμένες καταστάσεις. Δεν είναι FSM δηλαδή. Στην περίπτωση των SNN, αυτό μπορεί να μη συμβαίνει γιατί νομίζω ότι εκεί έχεις όντως boolean activation functions (θα σε γελάσω όμως, μιας και δεν έχω ασχοληθεί με SNN).

Πάντως, σαν γενικό remark θα έλεγα ότι υπάρχει μια σύγχυση σχετικά με τον όρο computational μιας και χρησιμοποιείται με εντελώς αντίθετες έννοιες. Στην αρχική του μορφή (και σωστή) το computational σημαίνει symbolic AI (Turing machine και τα ρέστα), δηλαδή σε ότι μπορεί να αναχθεί σε μια computable συνάρτηση, ενώ στην ΙΕΕΕ το computational intelligence αναφέρεται σε ΤΝΔ, fuzzy, evo και άλλες τέτοιες μεθόδους. Συνεπώς υπάρχει μια ειρωνία στο όλο θέμα μιας και σαν computational θεωρούνται και τα νευρωνικά. Και υπάρχει και μεγάλη διαμάχη μεταξύ του computational approach της νοημοσύνης (δηλαδή το εντελώς symbolic approach) και του connectionism που είναι τα νευρωνικά.

Πάντως, θα έθετα προς προβληματισμό το θέμα ότι τα ΤΝΔ τελικά προσομοιώνονται σε ψηφιακούς υπολογιστές, δηλαδή σε μηχανές Turing! Τελικά, αυτό που υλοποιείται στους υπολογιστές δεν είναι το ίδιο το νευρωνικά αλλά ένα computable representation του μιας και θεωρητικά οι καταστάσεις του νευρωνικού είναι συνεχείς, ενώ στον υπολογιστή κβαντίζονται λόγω της πεπερασμένης ακρίβειας που έχει.

Και υπάρχει και μεγάλη διαμάχη μεταξύ του computational approach της νοημοσύνης (δηλαδή το εντελώς symbolic approach) και του connectionism που είναι τα νευρωνικά.

Σωστόόός!

Γιωργο, τα ΝΝ που λειτουργουν βασει FR τα ανεφερα ακριβως λογω της χαρακτηριστικης τους «μη βιολογικα ορθης» προσεγγισης της επεξεργασιας των δεδομενων. Μπορει να φανταζει πιο «φυσιολογικο» εξαιτιας της παλμικης εξοδου, πεφτει ομως στο βασικο λαθος πως η πληροφορια κωδικοποιειται σε παλμους, ενω ουσιαστικα ειναι η αλλαγη του προηγουμενου state, οποιο κι αν ειναι αυτο αντι να ξεκιναει απο καποιο «θεωρητικο μηδεν», και μαλιστα σε συγχρονισμο απο διαφορετικα input. Το μυνημα δεν μεταφερεται απλα απο τον νευρωνα Α στον Β βασει καποιων παλμων αλλα συμφωνα με την ταυτοχρονη δραστηριοτητα των Γ και Δ. Για να το πω πιο απλα, δεν μπορεις να απομονωσεις ενα «σιγουρο» και «αυτοτελες» κυκλωμα μεσα στον φλοιο τουλαχιστον με τις σημερινες μας γνωσεις. Ο βασικοτερος στοχος ολοκληρου του ινστιτουτου του Μαρκραμ (Brain and Mind Institute, EPFL, Losanne) ειναι ακριβως η αναγνωριση και χαρακτηρισμος των elementary microcircuits που λειτουργουν σαν την «επεξεργαστικη μοναδα» του εγκεφαλου. Ο στοχος ειναι εξαιρετικα (ισως υπερβολικα;) φιλοδοξος, αν ομως τον επιτυχουν θα εχουμε σιγουρα κανει ενα breakthrough στην κατανοηση των βιολογικων νευρωνικων δικτυων.

Επισης, το paper του Μαρκραμ που ανεφερα στο προηγουμενο σχολιο συζηταει το γενικοτερο προβλημα του οτι προσπαθουμε να κανουμε emulation μιας Non FSM επεξεργασιας σε συστηματα Turing.

@Kitasumba
Δεν αντιλέγω ότι η έρευνα για τα microcircuits είναι σημαντική. Έχεις δίκιο ότι δεν μπορείς να απομονώσεις ένα αυτοτελές κύκλωμα και να θεωρήσεις ότι έχεις “συλλάβει” όλη την επεξεργασία που κάνει, ακριβώς λόγω της υψηλής διασύνδεσης του με άλλες νευρώνες. Αυτό είναι φυσικό επακόλουθο της κατανεμημένης επεξεργασίας της πληροφορίας που συμβαίνει με τα ΤΝΔ. Το θέμα όμως σχετικά με τις μηχανές Turing και τα ΤΝΔ δεν βρίσκεται εκεί.

Διάβασα τα papers του Markram (το λινκ που έδωσες καθώς και κάτι άλλα πάνω στο LSM). Αν και είναι αρκετά ενδιαφέρουσα η ιδέα του, its unimpressive. Και εξηγούμαι. Η ιδέα του είναι πολύ καλή σαν εφαρμογή ενός καινούργιου τύπου υπολογιστικού μοντέλου στα νευρωνικά δίκτυα. Ένα καινούργιο concept οργάνωσης και ανάλυσης του ΤΝΔ ας πούμε. Δεν προτείνει όμως κάτι το καινούργιο όσον αφορά το υπολογιστικό μοντέλο. Δηλάδη, δεν προτείνει κάτι αντίστοιχο με την μηχανή Turιng, στα νευρωνικά δίκτυα. Τα νευρωνικά είναι αναλογικοί υπολογιστές, γι’αυτό και μπορούν να λύσουν προβλήματα που οι μηχανές Turing δεν μπορούν. Όμως, το κατά πόσο η φυσική υλοποίηση τους είναι εν τέλει όντως αναλογική (ή ακόμα και αν είναι, αν είναι χρήσιμη) είναι αμφισβητούμενο.

Η διαμάχη μεταξύ υπολογιστική θεώρησης (η συνείδηση είναι ένας αλγόριθμος) και του connectionism ξεκινά από τη βασική θεωρητική διαφορά μεταξύ αλγορίθμου (ή computable συνάρτησης) όπου υλοποιείται με μια μηχανή με πεπερασμένο αριθμό καταστάσεων (FSM), και αναλογικών υπολογιστών οι οποίοι μπορούν να έχουν άπειρα states. Στα μαθηματικά, τα δυναμικά συστήματα τα θεωρούμε σαν (συνήθως) συνεχή, όπερ και έχουν άπειρα states. Το πραγματικό όμως δυναμικό σύστημα είναι αμφίβολο αν τελικά έχει απειρία καταστάσεων λόγω πολύ πρακτικών πραγματικών προβλήμάτων (θόρυβος, πεπερασμένο του ηλεκτρικού φορτίου κλπ).

Πάρε για παράδειγμα ένα πυκνωτή. Στην ιδεατή περίπτωση ο πυκνωτής έχει απειρία καταστάσεων (αφού η τάση του είναι συνεχής). Θα μπορούσες έτσι να αποθηκευσείς πάνω του άπειρη πληροφορία π.χ. σε κάθε τιμή της τάσης αντιστοιχείς κάτι (στην ουσία παίρνεις μια συνάρτηση f(v(t)) της τάσης). Παρόμοια είναι και η ιδέα του Liqiud State Machine όπου αντιστοιχεί στην θεωρητική απειρία των states του υγρού μια τιμή μέσω μιας readout function). Στην πραγματικότητα όμως, ο πυκνωτής τρώει θόρυβο, το φορτίο που αποθηκεύει έιναι κβαντισμένο και η χωρητικότητα του ειναι πεπερασμένη (όπως αντιστοιχα και στο LSM). Κοινώς η απειρία των states παύει να έχει οποιαδήποτε πρακτική σημασία. Αυτή είναι η βασική διαφορά. Η θεωρητική απειρία ασταθών καταστάσων μπορεί να χρησιμοποιηθεί για επεξεργασία και αποθήκευση πληροφόριας. Στον πραγματικό κόσμο όμως, χρειάζεσαι ευσταθείς καταστάσεις, πράγμα που το FSM το έχει εξ΄ορισμού.

Γεια χαρά σε όλους!

Πριν ένα μήνα βρέθηκα σε ένα συνέδριο με θέμα τη στατιστική μοντελοποίηση βιολογικών δικτύων και η μία μέρα ήταν αφιερωμένη στα neuronal data. Για να μην τα πολυλογώ μία παρουσίαση έλεγε τα ακόλουθα:

(Ορισμός “Spike train”: διαδοχικά fires ενός νευρώνα, άρα μπορούμε να το δούμε ως ακολουθία poisson ή μαρκοβιανή αλυσίδα και τέλος πάντων να ξεκινήσουμε από κάπου)
Ωραία. Τώρα:
Πήρανε ένα ποντίκι. Το τοποθετήσανε μέσα σε μία λεκάνη με νερό, στην οποία φυσικά το ποντίκι έπρεπε να κολυμπάει σαν τρελαμένο ενώ ένα σημείο της λεκάνης ήταν αρκετά ρηχό για να πατώνει, το οποίο σημείο δεν μπορούσε ούτε να το δει, ούτε να προσανατολιστεί από τρίτα σημεία κλπ κλπ. Στα πειράματα που κάνανε, καταγράφανε τα spike trains από 100 νευρώνες που σχετίζονται με τη μνήμη (άρα έχουμε κάτι σαν compound poissons ή εν πάσει περιπτώσει συνδυασμούς αυτών των ανελίξεων.)
Έτσι, την πρώτη φορά αφήσανε το ποντίκι, το οποίο εκτέλεσε τυχαίο αφηνιασμένο περίπατο μέχρι που βρήκε το ρηχό σημείο και άραξε (νομίζω χρειάστηκε 40 ”). Την δεύτερη χριεάστηκε 18” και μετά από μερικές φορές χρειαζόταν περίπου 12”. Έτσι, το βιολογικό συμπέρασμα είναι ότι το ποντίκι έμαθε το που είναι το ρηχό σημείο. Έτσι, πλέον τα spike trains που μετρούσαν στο τέλος ήταν καλά dataset για machine learning approaches , δημιουργώντας έτσι ένα υπολογιστικό μοντέλο της κίνησης του ποντικού στη λεκάνη.
Το τελικό βίντεο που μας έδιξε ο τύπος είναι το εξής: Ρίχνουνε τον ποντίκο στη λεκάνη σε ένα σημείο , το οποίο είναι και το starting-point για το μοντέλο και από εκεί και πέρα σημειώνανε με μία κουκκίδα τη θέση που προτείνει το μοντέλο. Όντως η κουκκίδα ήταν πάντοτε σχεδόν πάνω στο ποντίκι.

@Yannis:
Το πειραμα του water maze ειναι κλασσικο για spatial learning (μια clear-cut περιπτωση working memory) στην behavioral neuroscience. Το «μειονεκτημα» του ειναι πως μιλαμε για high stress conditions σε αντιθεση με τον Olton maze (8 μπρατσα, 1 μονο με reward, το ζωο πρεπει να θυμιθει τον δρομο για το reward, στην αρχη με visual cues και κατοπιν χωρις).

Τωρα, για να εξηγησω λιγακι καλυτερα το φαινομενο με τα spike trains… Στον ιπποκαμπο υπαρχουν συγκεκριμενοι νευρωνες που γινονται assign σε μια συγκεκριμενη τοποθετηση μας στον εκαστοτε χωρο - τα λεγομενα place cells. Η θεση μας και η κατευθηνση μας δεν «γραφονται» σαν απλη spike train activity αλλα ο συνδυασμος της activity ολων των place cell αναλογα με την θεση μας.

Για ενα καλο review δες εδω.

Οριστε μια working hypothesis για τον δυναμισμο του κυκλωματος.

Και ενα φοβερο μοντελακι απο - ποιους αλλους; - την ομαδα του Μαρκραμ
εδω.