An Introduction to Artificial Neural Networks

Introduction

 * Τι είναι


 * Που χρησιμοποιείται

General Characteristics

 * Τι έχει (μέρη)


 * Πως δουλέυει ο κόμβος/νευρώνας

(training/learning - testing/recalling)
 * Πως δουλεύει γενικά

Learning Mode:

Find a set of weights that can provide the sought function of the network. This can be:

1.Function approximation (Calculate an I/O relationship / Regression)

2.Classification (Building categories)

3.Association of patterns (Build correlations).

4.Learn a strategy from cues (Reinforcement Learning)

Learning paradigms

 * supervised
 * unsupervised
 * reinforcement

Types of neural networks
(According to flow)

+ backpropagation + RBF (όχι;)
 * Feedforward

for classification

(competitive network) for clustering
 * Kohonen Self Organising Map (SOM)


 * Hopfield Network

for association tasks

+Bidirectional associative memory (όχι;)

+Autoassociative Backpropagation (όχι;)


 * Simple Recurrent Network (όχι;)

Epilogue

 * Advantages


 * Disadvantages

Appendix A: If I were Pythia
γιατι χτίζουμε συσχετίσεις στα δικτυα που κάνουν association;

Εδώ ο ποιητής δίνει μια αναδρομική ερώτηση που μπορεί να μεταγραφεί ώς εξής:

γιατι χτίζουμε συσχετίσεις στα δικτυα που κάνουν συσχετίσεις;

Απάντηση από την Πυθία:

Τα δύκτια που κάνουν συσχετίσεις μπορούν να λειτουργήσουν ώς associative ή content-addressable memories, δηλαδή μνήμες που μπορούν να ανακαλέσουν μια συγκεκριμένη 'ανάμνηση' όταν τους δοθεί έστω και μερικώς ή μετασχηματισμένο το αρχικό ερέθισμα που προκάλεσε την 'ανάμνηση'.

Πλεονεκτήματα των συσχετιστικών μνημών:


 * Κατανεμημένη αναπαράσταση της πληροφορίας στο δίκτυο.
 * Λειτουργούν σωστά ακόμα και όταν ένα κομμάτι του δικτύου έχει απενεργοποιηθεί ή καταστραφεί.
 * Ανταποκρίνονται σωστά όταν υπάρχει θόρυβος στα δεδομένα εισόδου
 * Έχουν την ικανότητα να ανακαλούν ολόκληρη την πληροφορία όταν δοθεί ένα μέρος της στην είσοδο.

Ποιά η σχέση similarity με τη correlation;

Οσες γραμμές κι αν ρούφηξε η πυθία δεν κατάφερε να βγάλει τίποτα άλλο πέρα από το εξής: Το Pearson correlation μπορεί να χρησιμοποιηθεί σαν similarity measure

The philosopher's stoned.