Úvod

S rozvojem výpočetní techniky se v posledních letech množí různé asistivní technologie, které pomáhají lidem s různým postižením. Můžeme se tak dnes setkat například s braillovy terminály a hlasovými syntetizátory, avšak existují i taková postižení, která člověka od svého okolí v důsledku motorického postižení oddělují natolik, že člověk není schopen žádné komunikace. Jde například o pacienty s postižením míchy. U nejtěžších případů jsou pacienti plně při vědomí, avšak neschopni jakéhokoli pohybu. Zde je namístě rozhraní mozek-počítač, neboli brain-interface (BCI). BCI je komunikačním systémem, který obchází obvyklé výstupní kanály mozku – periferní nervy a svaly. Tento obor se nachází na pomezí matematiky, biofyziky, psychologie, fyziologie, neurologie a také mikroelektroniky a nanotechnologií. Ačkoliv se v současné době objevuje celá řada aplikací využívajících BCI k řízení systémů na základě signálů snímaných z lidského mozku, nejsou výjimkou ani pokusy prováděné na zvířatech (zejména opice a laboratorní krysy).

Základní princip BCI

Důvod, proč BCI funguje je ten, mozkové buňky – neurony, které jsou navzájem propojené pomocí dendritů a axonů vykazují elektrickou aktivitu, která je vyvolaná rozdíly v elektrických potenciálech na membráně každého neuronu. A to i přesto, že jsou propojení mezi neurony kryta myelinem.

Princip snímání elektrického signálu z neuronu, zdroj: http://computer.howstuffworks.com/brain-computer-interface1.htm
Neuron, zdroj: http://programujte.com/galerie/2005/06/200506080117_ai1.jpg

Typy BCI systémů

V praxi je možné se setkat se třemi typy BCI systémů. Ty se rozdělují podle toho, jak je daný systém implantován do živého organismu.

Prvním typem jsou invazivní systémy, které jsou implantovány přímo do šedé kůry mozkové pomocí neurochirurgického zákroku. Díky tomu jsou získané signály v nejvyšší možné kvalitě. Nevýhodou je náchylnost k rozšiřování zjizvené tkáně v mozku, což může způsobit zeslabení nebo ztrátu signálu.

Další kategorií jsou částečně invazivní systémy, jež jsou charakteristické tím, že jsou částečně implantovány uvnitř lebky a zbytek se nachází mimo mozek. Produkují přesnější signál než neinvazivní BCI systémy. Zároveň je u nich nižší nebezpečí tvorby zjizvené tkáně v mozku než v případě invazivního přístupu.

Neinvazivní systémy nejsou zaváděny přímo do biologické struktury, ale nacházejí se celé mimo organismus.

Princip BCI systému

  • Snímání dat – V dnešní době je možné mozkovou aktivitu snímat pomocí rozličných metod. Jsou jimi například EEG, MEG, PET či fMRI. V praxi se najčastěji využívá EEG přístroje. Snímání dat se provádí pomocí technologie EEG, která umožňuje měřit napěťové potenciály vycházející z mozkových neuronů. Jednotlivé snímače elektroencefalografu mohou být umístěny přímo na hlavě. Kvalita snímaného signálu je značně ovlivněna deformací, která je způsobena průchodem přes kostní tkáň.
  • Separace artefaktů – Artefakty jsou nežádoucí signály, které vznikají například svalovou aktivitou, mrkáním, nebo vlivem vnějších elektrických polí. Artefakty se snažíme potlačit.
  • Prostorová filtrace – Snímané EEG je tlumeno vrstavmi na cestě od neuronu k elektrodě – mozkomíšní mok, lebka a kůže. Tyto vrstvy fungují jako dolnopropustní filtr. Z tohoto hlediska se snažíme použít filtr zrcadlový – horní propust, což umožňuje zesílení celeho signálu.
  • Parametrizace – V této části je získaný EEG signál analyzován a jsou z něho vyvozeny parametry, které následně slouží k práci s externím zařízením. Parametrizace je nejčastěji postavená na spektrální analýze a autoregresním modelování.
  • Klasifikátor – Klasifikátor je zodpovědný za rozpoznávání povelů dle získaných parametrů a generuje příkazy pro navazující systémy.
  • Akční člen – Vykonává příkazy klasifikátoru (pohyb robotickou rukou, pohyb kurzoru na obrazovce, …)
  • Zpětná vazba – Umožňuje uživateli systému sledovat reakce na jeho mozkovou aktivitu a tak dále zdokonalovat spolupráci se systémem.
Znázornění BCI systému, zdroj: http://trilobit.fai.utb.cz/zpracovani-mozkove-aktivity-v-bci-systemech_e498d494-fd80-4948-a8d6-f5f3720bba2d
Znázornění BCI systému, zdroj: http://trilobit.fai.utb.cz/zpracovani-mozkove-aktivity-v-bci-systemech_e498d494-fd80-4948-a8d6-f5f3720bba2d

Rozpoznání vzorů

ESFAHANI, Ehsan Tarkesh a V. SUNDARARAJAN prováděli experiment, kterého se zúčastnilo 10 dobrovolníků. Každému z nich byly nejprve předloženy vzory jednotlivých objektů. V druhé fázi dostali za úkol si tyto objekty představit. Od každého z nich tento experiment vyžadoval maximální soustředění, aby získané výsledky byly použitelné pro další výzkum. Na Obr. 2 je zobrazena ukázka naměřeného signálu pro dva objekty. Na začátku záznamu se nachází stimulační fáze, kde dochází k předložení objektu, po které následuje fáze duševní úlohy (imaginace objektu). Autoři experimentu prvních 10% druhé fáze signálu vyjmuli a pro další zpracování použili zbylých 90%. Poslední částí signálu je tzv. báze. Tím je myšlena fáze mezi ukončením imaginace objektu a předložením nového vzoru. Teoreticky by se tento stav dal nazvat stavem, kdy mozek nemyslí na nic konkrétního. Tato báze je pak dále použita při samotném zpracování signálu.

Rozpoznávání vzorů v EEG signálu, zdroj: http://trilobit.fai.utb.cz/zpracovani-mozkove-aktivity-v-bci-systemech_e498d494-fd80-4948-a8d6-f5f3720bba2d
Rozpoznávání vzorů v EEG signálu, zdroj: http://trilobit.fai.utb.cz/zpracovani-mozkove-aktivity-v-bci-systemech_e498d494-fd80-4948-a8d6-f5f3720bba2d

Aktivita EEG signálu je zpravidla snímána ve čtyřech základních kanálech:

  • Alpha (8 -13 Hz)
  • Beta (14 – 30 Hz)
  • Theta (4 – 7,5 Hz)
  • Delta (0,5 – 4 Hz)
Typy mozkových vln, zdroj: http://www.lynayre.com/images/Brain\%20Waves\%20Graph.jpg
Typy mozkových vln, zdroj: http://www.lynayre.com/images/Brain\%20Waves\%20Graph.jpg

Pokud je navíc snímáno pásmo Gamma (30-64Hz), pak z každého snímače dostáváme 5 kanálů. U 14 elektrod, které má například systém Emotiv, máme dohromady naměřeno 70 signálů pro každý vzor. S ohledem na výpočetní složitost je tento počet příliš vysoký. Redukce počtu signálů se provádí metodami, pomocí nichž lze zjistit, které ze signálů nesou nejdůležitější informaci o daném vzoru. Při analýze v reálném času pak dochází k porovnávání naměřeného signálu s vlastnostmi naměřených tříd. Třída, ke které má naměřený signál nejblíže, je nakonec vybrána jako výsledek klasifikace.

Aplikace BCI

To, co lidi ohledně BCI fascinuje je to, že pomocí myšlenky mohou ovládat různá externí zařízení. Primárně se BCI zaměřuje na asistivní technologie pro postižené, avšak BCI lze nalézt také v herním průmyslu. V roce 2005 se tetraplegik Matt Nagle stal prvním člověkem s umělou robotickou rukou, kterou ovládal pomocí BCI. Jedním z nejstarších typů použití BCI jsou kochleární implantáty, které převádí přijatý zvukový signál na elektrické signály stimulující vláskové buňky uvnitř hlemýždě. V roce 2010 bylo implantováno přibližně 220000 kochleárních implantátů po celém světě. Zpracování visuální informace mozkem je výrazně složitější než zvuková informace, tudíž nejsou náhrady zraku tak rozvinuty. Princip je však podobný kochleárním implantátům. Elektrody jsou implantovány do oblasti, která zpracovává zrakovou informaci ze sítnice. Brýle, které drží kameru jsou připojeny k počítači a do mozku. Po dostatečně dlouhé tréninkové době je pacient schopen omezeného vidění. V roce 2002 se prvním pacientem se zrakovým implantátem stal Jens Naumann.

Robotická ruka ovládaná pomocí BCI, zdroj: http://www.extremetech.com/wp-content/uploads/2012/12/jan-paraplegic-robot-arm-bci-chocolate-bar-640x353.jpg
Robotická ruka ovládaná pomocí BCI, zdroj: http://www.extremetech.com/wp-content/uploads/2012/12/jan-paraplegic-robot-arm-bci-chocolate-bar-640×353.jpg
Kochleární implantát, zdroj: http://upload.wikimedia.org/wikipedia/commons/thumb/c/cb/Cochlear_implant.jpg/230px-Cochlear_implant.jpg
Kochleární implantát, zdroj: http://upload.wikimedia.org/wikipedia/commons/thumb/c/cb/Cochlear_implant.jpg/230px-Cochlear_implant.jpg
Zrakový implantát, zdroj: http://upload.wikimedia.org/wikipedia/en/thumb/9/99/BCI_JensNaumann.png/220px-BCI_JensNaumann.png
Zrakový implantát, zdroj: http://upload.wikimedia.org/wikipedia/en/thumb/9/99/BCI_JensNaumann.png/220px-BCI_JensNaumann.png

Problémy EEG

Pro analýzu EEG jsou použity podobné algoritmy, jaké se používají pro rozpoznávání řeci – markovské modely, neuronové sítě atd. Je-li vytvořen algoritmus pro převod EEG signálu daného mozku na posloupnost příkazů, které pracuje spolehlivě při řízení externího zařízení, neznamená to, že bude stejně spolehlivě pracovat i s mozkem jiným. Proto se pro tyto účely vyvinuly algoritmy, které jsou vůči časovým změnám charakteristik signálu odolné. Zároveň jsou obecně použitelné. Tyto algoritmy také musí počítat s poměrně vysokou výpočetní složitostí.

Ukázka markovského modelu, zdroj: http://intoverflow.files.wordpress.com/2008/04/process-probabilities.png
Ukázka markovského modelu, zdroj: http://intoverflow.files.wordpress.com/2008/04/process-probabilities.png

Při rozpoznávání EEG vyvstávají specifické problémy

  • Variabilita signálu mezi osobami je velmi vysoká – trendy jsou zachovány, avšak parametry jsou zcela jiné.
  • EEG má velmi nízký odstup signál-šum a vznikají tak artefakty, které je potřeba filtrovat.
  • EEG je hůře dosažitelné, než řecové signály a nelze tedy vybudovat rozsáhlou databázi pro experimenty.

Komerční řešení

Neural Signals

Projekt má za cíl poskytnout komunikační prostředky těžce ochrnutým lidem, zejména se zaměřuje na syntézu řeči.
Elektrody jsou invazivně implantovány poblíž řečového centra v mozku, kde snímají signál pro další zpracování a klasifikaci. Systém využívá neurotrofické elektrody, do kterých mozek „zarůstá“, čímž se zvyšuje dlouhodobá stabilita.
Do roku 2004 bylo umístěno 5 implantátů, 4 pro ovládání syntetizátoru přes počítač, jeden určený přímo pro rychlou komunikaci pomocí databáze frází.
Stránky projektu: http://www.neuralsignals.com/nsidnn/

BrainGate

Projekt pro zlepšení kvality života lidí paralyzovaných či bez končetin, výzkum od 90. let, v roce 2002 převedeno do soukromého sektoru (Cyberkinetics) především kvůli financování výzkumu.
Pole elektrod je chirurgicky implantováno přímo do mozku, kde měří signály z motorického centra, aby bylo umožněno ovládání počítače/robotické končetiny „přirozeně“, například mapováním signálů, které dříve ovládaly končetinu. Technologie není bezdrátová, pacient je opravdu připojen k počítači.
Od roku 2009 probíhají klinické zkoušky systému BrainGate2 na několika pracovištích. Produkt zjevně (alespoň u některých pacientů) funguje, mimo klinické zkoušky však ještě není k dispozici.

4x4mm pole elektrod používané v BrainGate Interface, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm
4x4mm pole elektrod používané v BrainGate Interface, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm
Vizualizace implantátu v těle pacienta, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm
Vizualizace implantátu v těle pacienta, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm
Ochrnutá žena ovládá robotickou paži pomocí BrainGate, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm
Ochrnutá žena ovládá robotickou paži pomocí BrainGate, zdroj: http://www.extremetech.com/extreme/129499-paralyzed-woman-uses-mind-controlled-robot-arm

Stránky projektu: http://www.braingate.com/

The Audeo

Systém je určen k ovládání počítače či telefonu „tichou“ cestou, bez použití hlasu nebo viditelných gest uživatele. Dalo by se říct, že překládá nevyslovenou řeč.
Na rozdíl od typického BCI však tento systém nezískává signál přímo z mozku, snímá nervové signály z okolí hlasivek. Senzory jsou umístěny na krku zvenčí, neinvazivně.
Výrobce prodává základní Development Kit za 2000 USD, v současnosti neprodává žádnou verzi přístroje klasifikovanou jako pomůcku pro postižené.

Stránky výrobce: http://www.theaudeo.com/

Připnutí Audeo senzoru, zdroj: http://www.theaudeo.com/
Připnutí Audeo senzoru, zdroj: http://www.theaudeo.com/

Mindball

Mindball je společenská hra založená na snímání biologických signálů. Úkolem hráčů je se co nejvíce relaxovat a tím dotlačit míček do branky soupeře.
Hra využívá klasické neinvazivní EEG snímače, které hráči nosí jako čelenky.
Herní stůl s příslušenstvím lze zakoupit nebo pronajmout.

Stránky výrobce: http://www.mindball.se/game.html

Hra Mindball ovládaná přes EEG, zdroj: http://www.mindball.se/game.html
Hra Mindball ovládaná přes EEG, zdroj: http://www.mindball.se/game.html

Komponenty pro výzkum

Na trhu existuje celá řada komponent a systémů souvisejících s BCI, hardware i software včetně MATLABovského vývojového systému. Nejsou určeny jako zdravotní pomůcky, ale nástroje pro vývoj a výzkum.

Stránky s produkty: http://www.gtec.at/Products, http://starlab.es/products/biosemi

Cenově dostupné BCI

V posledních letech se na trhu objevila řada společností, které poskytují levné BCI systémy založené na bázi EEG, které však svými parametry neodpovídají snímačům využívaným v medicíně. Jedná se především o hračky a příslušenství k počítačovým hrám.
Přehled dostupných BCI výrobků: http://en.wikipedia.org/wiki/Comparison_of_consumer_brain-computer_interface_devices

Neurosky

Firma Neurosky spolupracuje s výrobci hraček i dalšími průmyslovými odvětvími. Kromě toho však prodává také vlastní BCI produkty pro běžné uživatele i pro výzkum, které jsou velmi snadno použitelné a velmi levné. Neurosky je také jediný výrobce, který poskytuje bezkontaktní EEG snímače, jež fungují dobře i přes vlasy. (Podle všeho jsou však dostupné pouze výzkumným institucím)
MindWave je jedním z nejlevnějších EEG snímačů na trhu, stojí pouze 80 USD a je určen k výukovým a zábavním účelům.
Stránky produktu MindWave: http://www.neurosky.com/Products/MindWave.aspx

MindWave EEG snímač, zdroj: http://www.neurosky.com/Products/MindWave.aspx
MindWave EEG snímač, zdroj: http://www.neurosky.com/Products/MindWave.aspx

Emotiv

Firma Emotiv prodává jak bezdrátové EPOC snímače se 14 senzory (od 300 USD), tak obdobné EEG snímače s přístupem k surovým EEG signálům pro vlastní zpracování (750 USD). Kromě snímačů poskytuje také řadu placených i neplacených aplikací a softwarových nástrojů včetně SDK s licencí pro vývoj a výzkum.

Snímač EPOC má tři zabudované detekční módy:

  • Expressiv pro rozpoznávání mimiky
  • Affectiv pro rozpoznávání emocí
  • Cognitiv pro sledování vědomých myšlenek a záměrů

Mezi typické využití Emotiv produktů patří umělecké a kreativní aplikace pro dynamickou tvorbu obrazu či hudby, ovládání her a virtuálních realit, ale také marketingový průzkum.

Stránky výrobce: http://www.emotiv.com

Emotiv EPOC headset, zdroj: https://guile3d.com/en/wp-content/uploads/2011/09/EMOTIV.jpg
Emotiv EPOC headset, zdroj: https://guile3d.com/en/wp-content/uploads/2011/09/EMOTIV.jpg

Závěr

BCI je technologie, která je v dnešní době na vzestupu. Stále má ještě dlouhou cestu před sebou, avšak možnosti, které tato technologie slibuje je velmi mnoho. Neustále probíhá vývoj na poli EEG a algoritmů, které EEG signál zpracovávají. Snímače EEG jsou dnes na trhu dostupné a je možné pro ně vyvíjet aplikace. Brain-interface je také častým námětem sci-fi filmů a knih. Porozumění lidskému mozku je jednou z největších výzev, která před námi stojí.