Historie neuronových počítačů a sítí
  • xneudert@fi.muni.cz

    Dokument ve wordu

    Neuronové počítače jsou velmi zjednodušeně matematické modely neuronových systémů živých organismů. Existují dva směry výzkumu, a to pochopit a modelovat jak funguje lidský mozek, a na druhé straně stáli a stojí inženýři inspirováni neurofyzickými poznatky. Hardwarově se realizují úlohy určené k řešení umělé inteligence.

    Počátek prací se datuje k roku 1943, kdy s velmi jednoduchým modelem neuronu přišli pánové Warren McCulloch a Walter Pittse. Pro vysvětlení neuron: je fundamentální jednotka každé neuronové soustavy. Číselné hodnoty byly z množiny {-1,0,1} čili bipolární systém. Zároveň se jim podařilo ukázat, že nejjednodušší typ modelů může počítat s libovolnou aritmetikou či funkcí.


    Obr1: Neuron

    V roce 1949 byla vydána kniha The Organization of Behavior od Donalda Hebba. Poskytla návod, kterak používat učící pravidlo pro synapse neuronů (interface). Inspiroval se myšlenkou podmíněných reflexů, které jsou pozorovatelné u živočichů. Ovlivnil řadu dalších vědců ačkoliv 40.-50. léta nepřinesla zásadní pokrok v oblasti neurovýpočtů. První vlaštovka v této oblasti byl neuropočítač Snark. Byl postaven v roce 1951 a u jeho zrodu stál Marvin Minsky. Byl velice úspěšným z technického hlediska, automatický adaptoval váhy, ale nikdy se nestal užitečným. Jednoduše vznikl, aby existoval.

    Frank Rosenblatt zobecnil model neuronu v roce 1957 na tzv. perceptron, který počítal s reálnými čísly. Jedná se o pevnou architekturu jednovrstvé sítě s “n” vstupními a “m” výstupními neurony. Zároveň navrhl učící algoritmus, který v konečném čase nalezne odpovídající váhový vektor parametrů nezávisle na počáteční konfiguraci. V tomto případě se reálné stavy neuronů ve vstupní vrstvě nastavily na vstup sítě a výstupní neurony počítaly svůj binární stav, který určil výstup sítě stejným způsobem jako obecný neuron. Na základě tohoto výzkumu spolu s Charlesem Wightmanem sestrojil během let 1957 a 1958 první neuropočítač. Jmenoval se Mark I Perceptron a byl navržen pro rozpoznávání znaků. Znak se promítal na světelnou tabuli. Ta byla monitorována maticí 20x20 fotosnímačů. Intenzita celkového počtu 400 snímačů byla vstupem do neuronové sítě perceptronů. Počítač měl odpovědět zda se jedná například o znak “A” nebo “B” atd. Z dalších parametrů tohoto počítače bylo 512 adaptovatelných váhových parametrů, které byly realizovány polem 8x8x8 potenciometrů. Hodnota odporu u každého potenciometru odpovídala příslušné váze. Zajímavostí bylo nastavování váhy pomocí elektrických motorků. Učící pravidlo řídil analogový obvod. Díky úspěchu při prezentaci se oblast neuropočítačů dostává na pořad dne.

    ADALINE se objevuje jako další typ neuronového prvku, který byl velmi podobný perceptronu. Aktivní dynamika se u tohoto modelu lišila tím, že výstupy sítě byly obecně reálné a jednotlivé ADALINE realizovali lineární funkci. Bernard Widrow a jeho studenti byli autory ADAptivního LINeárního Elementu. Sám Widrow se zasloužil o vznik první komerční organizace v polovině 60. let, která se zaobírala stavbou neuropočítačů a jejich součástek. Společnost se jmenovala Memistor Corporation. Zároveň, aby podpořil správnost jeho návrhu, realizoval se studenty řadu jednoduchých úloh. Komerčně se též realizoval Roger Barron a Lewey Gilstrap, kteří v roce 1960 založili první firmu zaměřenou na aplikaci neurovýpočtů. Výsledky lze nalézt v knize Nilse Nilssona Learning Machines (1965).

    Přelom 50.-60. let zaznamenal úspěch Karl Steinbuch, který vyvinul model binární asociativní sítě. Na rozdíl od paměti klasických počítačů, kdy klíč k vyhledání položky v paměti je adresa, u asociativní paměti dochází k vybavení určité události či informace na základě její částečné znalosti. Rozvoj zaznamenal dva typy asociativních pamětí a to autoasociativní a heteroasociativní. U prvního druhu šlo upřesnění vstupní informace a u heteroasociativní dochází k vybavení určité sdružené informace na základě vstupní asociace. Rozdíl byl, že místo afinních kombinací počítal jen lineární kombinace vstupů. Biasy byly nulové, jedná se o označení jednoho ze vstupu do neuronu,který má nastaven váhu na záporný vnitřní potenciál.

    Přes řadu nesporných úspěchů jsou sítě a neuropočítače používány pouze z experimentálního hlediska. Nepříliš velká publicita také nepřála rozvoji oboru. Tyto zkušenosti nepřímo ovlivnily řadu dalších vědců a inženýrů. Nejlepší z nejlepších odcházejí do jiných oblastí výzkumu. Posledním hřebíčkem do rakvičky bylo tažení Marvina Minského a Seymoura Paperta. Využili svého vlivu a diskreditovali celý obor. Řada financí byla přelita do oboru umělé inteligence a robotiky. Kniha Perceptrons od výše zmiňovaných autorů opět poukázala na nemožnost perceptronu počítat funkci XOR. To lze sice vyřešit pomocí vícevrstvé sítě, ale v té době zatím nebyly známy postupy, kterak adaptovat jednotlivé váhy. To částečně pozastavilo přísun financí do této oblasti. Jednotlivé projekty byly převážně realizovány ze soukromých nadací. V období 1967-82 stagnace.


    Obr2: XOR

    V 80.letech se objevila řada zajímavých talentů jako Shun-Ichi Amari, James Anderson, Kunihiko Fukushima, Stephen Grossberg, Teuvo Kohonen a David Willshaw. Podávají vlastní grantové projekty na neuropočítače a jejích využití. Vyniká grantová agentura DARPA (Defense Advanced Research Projects Agency). To, co bylo zdánlivě mrtvé, se opět dostává do popředí. Důkazem toho je John Hopfield, který ve svých pracích datovaných roku 1982 a 1984 ukázal souvislost některých modelů s fyzikálními modely magnetických materiálů. Později podle něj byly nazvány tzv. Hopfieldovy sítě, a ty fungují na principu autoasociativní paměti. Síť má pevnou topologii s “n” neurony, které jsou zapojeny cyklicky. Všechny neurony jsou zároveň výstupní.


    Obr3: Cyklická topologie Hopfielda

    V roce 1986 badatelé sdruženi do PDP skupiny (Parallel Distributed Processing Group) s zástupci Davidem Rumelhartem, Geoffreyem Hintonem a Ronaldem Williamsem publikovali učící algoritmus zpětného šíření chyby tzv. backpropagation pro vícevrstvou neuronovou síťí. Podařilo se jim vyřešit problém, který Minsky označil na nevyřešitelný a tím pozastavil vývoj. Je zároveň jedním z nejuživanějších algoritmů a součástí 80% všech neurosystémů. Model byl zobecněním sítě perceptronů pro acyklickou architekturu se skrytými vrstvami. Síť se učila pomocí algoritmu zpětného šíření chyby. Nejednalo se však o nový objev, ale o druh zombie vymyšlené a publikované v období ticha Arthurem Brysonem a Yu-Chi Ho, Paulem Werbosem a Davidem Parkerem. Backpropagation byl využit a aplikován v systému NETtalk vyvinutým Terrencem Sejnowskim a Charlesem Rosenbergem. Systém úspěšně konvertoval anglicky psaný text na mluvený. Byl přímým konkurentem systému DECtalk, který obsahoval stovky pravidel vytvářených lingvisty po celá desetiletí. Již z tohoto malého příkladu je vidět nesporná síla neuropočítače.


    Obr4: Vícevrstvá sít

    Rok 1987 v San Diegu konala první větší konference s výhradním zaměřením na neuronové sítě. IEEE International Conference on Neural Networks uvítala přes 1700 účastníků s jasným výsledkem založení mezinárodní společnosti pro výzkum neuronový sítí INNS (International Neural Network Society). Vzniká řada světoznámých časopisů jako jsou Neural Networks, Neural Computation, IEEE Transactions on Neural Networks. I Česká republika získává v roce 1991 mezinárodní časopis Neural Networks World. Od roku 1987 řada univerzit na celém světě zakládá nové výzkumné ústavy s tímto zaměřením. V dnešní době se především výpočty simulují na klasických PC stanicích. Některé nadějné neurosítě jsou zaváděny do praxe, ať již v podobě automatického řidiče nebo náhrada u měřících přístrojů. Hopfield se dá velice jednoduše použít na rozpoznávání obrazu. Sám osobně jsem se v minulém roce podílel na studentském projektu simulace přistání na měsíčním povrchu, kde se nám podařilo síť natrénovat na 100% úspěšnost přistání. Závěrem tomuto oboru můžeme popřát řadu profesionální odborníků, kteří přispěji k rozvoji informatiky na celém světě.

  • [Použitá literatura]
    Teoretické otázky neuronových sítí, Jiří Šíma, Roman Neruda, Praha 1996, ISBN 80-85863-18-9