Information

3D-Objektmodellierung im Gehirn

3D-Objektmodellierung im Gehirn



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Könnte jemand auf die neurowissenschaftliche Literatur hinweisen, die diesem Thema gewidmet ist? Modellierung von 3D-Objekten im menschlichen Verstand?

Ich interessiere mich für die Gehirnregionen und insbesondere die Details der Schaltung, die an der Simulation/Manipulation (oder der Planung der Manipulation) und/oder der Erkennung von 3D-Objekten beteiligt sind oder sie mit den "2D" -Sensorinformationen in Verbindung bringen. Letztendlich ist mein Interesse quantitativ, d.h. ich würde mich besonders für mehr rechnerische Ausblicke auf das Thema interessieren.

Bearbeiten: Ich kenne den visuellen Erkennungsweg, der grob gesagt mit dem unteren Temporalgyrus (im "welchen Weg") gipfelt. Einige Tiere (nicht nur Menschen) können jedoch simulieren Objekteigenschaften (z. B. wie verzieht sich diese Plastikfigur, wenn ich sie auf eine bestimmte Weise biege? Wie wird diese sich bewegende Ballerina wahrscheinlich in der nächsten Sekunde aussehen?). Dies ist komplexer als die Objekterkennung allein.

Hinweis: Meine Frage bittet um Hinweise auf die grundlegende Literatur zu diesem Thema. Ich weiß, es ist etwas weit gefasst, aber ich frage im Wesentlichen, wo ich anfangen soll zu lesen. Vielen Dank! :)


Autostereogramm

Ein Autostereogramm ist ein Einzelbild-Stereogramm (SIS), das entwickelt wurde, um die visuelle Illusion einer dreidimensionalen (3D) Szene aus einem zweidimensionalen Bild zu erzeugen. Um 3D-Formen in diesen Autostereogrammen wahrzunehmen, muss man die normalerweise automatische Koordination zwischen Akkommodation (Fokus) und horizontaler Vergenz (Augenwinkel) überwinden. Die Illusion ist eine Tiefenwahrnehmung und beinhaltet Stereopsie: Tiefenwahrnehmung entsteht aus der unterschiedlichen Perspektive, die jedes Auge einer dreidimensionalen Szene hat, die als binokulare Parallaxe bezeichnet wird.

Ein Autostereogramm mit zufälligen Punkten kodiert eine 3D-Szene eines Hais, die mit der richtigen Betrachtungstechnik (). Klicken Sie auf das Miniaturbild, um das Bild in voller Größe anzuzeigen. Das obere und das untere Bild erzeugen eine Delle oder Projektion, je nachdem, ob mit Quer- () oder Wand- () Augen Vergenz.

Die einfachste Art von Autostereogramm besteht aus sich horizontal wiederholenden Mustern (oft separate Bilder) und wird als Wallpaper-Autostereogramm bezeichnet. Bei richtiger Konvergenz scheinen die sich wiederholenden Muster über oder unter dem Hintergrund zu schweben. Die gut bekannten Magisches Auge Bücher verfügen über eine andere Art von Autostereogramm, das als Zufallspunkt-Autostereogramm bezeichnet wird. Ein solches Autostereogramm ist oben rechts dargestellt. Bei dieser Art von Autostereogramm wird jedes Pixel im Bild aus einem Musterstreifen und einer Tiefenkarte berechnet. Eine versteckte 3D-Szene entsteht, wenn das Bild mit der richtigen Konvergenz betrachtet wird.

Autostereogramme ähneln normalen Stereogrammen, außer dass sie ohne Stereoskop betrachtet werden. Ein Stereoskop präsentiert 2D-Bilder desselben Objekts aus leicht unterschiedlichen Winkeln für das linke und das rechte Auge, sodass wir das ursprüngliche Objekt über die binokulare Disparität rekonstruieren können. Wenn es mit der richtigen Vergenz betrachtet wird, tut ein Autostereogramm dasselbe, wobei die binokulare Disparität in benachbarten Teilen der sich wiederholenden 2D-Muster vorhanden ist.

Es gibt zwei Möglichkeiten, ein Autostereogramm anzuzeigen: wandäugig und schielen. [a] Die meisten Autostereogramme (einschließlich der in diesem Artikel) sind so konzipiert, dass sie nur auf eine Art und Weise betrachtet werden können, die normalerweise mit Wandaugen ist. Die Betrachtung mit Wandaugen erfordert, dass die beiden Augen einen relativ parallelen Winkel einnehmen, während die Betrachtung mit den Augen einen relativ konvergenten Winkel erfordert. Ein Bild, das für die Betrachtung mit Wandaugen entworfen wurde, scheint bei korrekter Betrachtung aus dem Hintergrund hervorzustechen, während es bei Betrachtung mit schielendem Auge stattdessen als Ausschnitt hinter dem Hintergrund erscheint und sich möglicherweise nur schwer vollständig in den Fokus bringen lässt. [B]


Warum sehen wir in 3D?

Wenn es um das Sehen in 3D geht, sind zwei Augen besser als eines. Um zu sehen, wie das 3-D-Sehen funktioniert, halten Sie einen Finger auf Armlänge und betrachten Sie ihn durch ein Auge, dann durch das andere. Sehen Sie, wie das Bild zu springen scheint? Das liegt an der binokularen Disparität, dem kleinen Unterschied zwischen den Bildern, die von jedem Auge gesehen werden.

Die binokulare Disparität ist eine der wichtigsten Informationen, die die Sehzentren des Gehirns verwenden, um die Tiefe einer Szene zu rekonstruieren.

Wenn sich das Objekt, das Sie betrachten möchten, in Ihrer Nähe befindet, verwendet das Gehirn einen anderen Hinweis: Konvergenz oder den Winkel Ihrer Augen, wenn Sie auf ein Objekt fokussieren. Wenn Sie Ihre Augen kreuzen, erhalten Sie ein extremes Beispiel für das Konvergenzgefühl.

Aber auch ohne binokulares Sehen ist es möglich, die Tiefe zu beurteilen. Tiere ohne überlappende Gesichtsfelder verlassen sich stark auf etwas, das Parallaxe genannt wird, das ist der Geschwindigkeitsunterschied, mit dem sich nähere und weiter entfernte Objekte zu bewegen scheinen, wenn Sie sie passieren. Zum Beispiel fliegen Zaunpfähle entlang einer Autobahn vorbei, während ein Getreidesilo eine Viertelmeile von der Straße entfernt zu schleichen scheint. Laut einer Studie von Nature aus dem Jahr 2008 verfügt unser Gehirn über ein integriertes Verarbeitungszentrum für dieses Phänomen. Ein Bereich hinter dem Ohr, der als mittlerer Schläfenbereich bezeichnet wird, enthält Informationen über die Parallaxe und kann diese mit anderen Tiefenhinweisen synthetisieren.

Andere Mittel, um die Tiefe mit nur einem Auge wahrzunehmen, umfassen Hinweise wie die Objektgröße, parallele Linien, die zusammenzulaufen scheinen, schärfere Texturen bei näheren Objekten und die Art und Weise, wie sich Objekte überlappen.

Trotz all dieser Hinweise macht das Gehirn Fehler. Künstler können das Gehirn dazu bringen, ein 2D-Gemälde in drei Dimensionen zu sehen, indem sie konvergierende parallele Linien zeichnen und "nähere" Objekte detaillierter malen.

Gymnastikunterricht kann auch für das visuelle System eine Enttäuschung sein: Laut einer Studie aus dem Jahr 2008 in der Zeitschrift Proceedings of the National Academy of Sciences nimmt unser Gehirn bei der Beurteilung der Tiefe Abkürzungen basierend auf früheren Erfahrungen. Da sich die meisten Objekte, denen wir begegnen, relativ langsam bewegen, können wir die Entfernung von sich schnell bewegenden Objekten wie einem Fußball, der auf unser Gesicht gerichtet ist, falsch einschätzen.


Eine neue hochauflösende 3D-Karte des gesamten Mausgehirns

Das Allen Mouse Brain Common Coordinate Framework (CCFv3), ein 3D-Referenzatlas, basiert auf einem Mittelwert der Eigenfluoreszenz im Gehirn von Mäusen, die mittels serieller Zwei-Photonen-Tomographie abgebildet wird. Das Bild zeigt eine halbtransparente Top-Down-Ansicht der durchschnittlichen Schablone, die viele markante anatomische Merkmale zeigt. Quelle: Allen Institute for Brain Science.

Nach drei Jahren intensiver Datensammlung und sorgfältiger Zeichnung war die Arbeit der Kartographen abgeschlossen.

Das komplexe Terrain, das sie kartierten, mit all seinen Gipfeln, Tälern und Grenzen ist nur etwa einen halben Zoll lang und wiegt weniger als eine Gummibohne: das Gehirn der Labormaus.

In einem heute in der Zeitschrift veröffentlichten Artikel Zelle, beschreiben die Kartographen des Allen Institute diese kartografische Leistung – die dritte Iteration des Allen Mouse Brain Common Coordinate Framework oder CCFv3 (https://portal.brain-map.org/), einem vollständigen, hochauflösenden 3D-Atlas von das Mausgehirn.

Das Framework soll ein Bezugspunkt für die neurowissenschaftliche Gemeinschaft sein, sagten seine Schöpfer. Mäuse sind in der biomedizinischen Forschung weit verbreitet. Ihre Gehirne enthalten jeweils etwa 100 Millionen Zellen in Hunderten von verschiedenen Regionen. Da neurowissenschaftliche Datensätze größer und komplexer werden, wird eine gemeinsame räumliche Karte des Gehirns wichtiger, ebenso wie die Möglichkeit, viele verschiedene Arten von Daten präzise in einem gemeinsamen 3D-Raum zu registrieren, um sie zu vergleichen und zu korrelieren.

Betrachten Sie es als das neurowissenschaftliche Äquivalent des GPS Ihres Telefons. Anstatt manuell auf einer Papierkarte nach Ihrem Standort zu suchen, basierend auf dem, was Sie um Sie herum sehen, sagt Ihnen das GPS (und der neue Gehirnatlas), wo Sie sich befinden. Bei Datensätzen mit Tausenden oder Millionen unterschiedlicher Informationen ist dieser gemeinsame Satz von Koordinaten – und die Bestimmung der entsprechenden Orientierungspunkte im Gehirn für diese Koordinaten – von entscheidender Bedeutung.

„Früher haben die Menschen verschiedene Gehirnregionen mit dem Auge definiert. Da wir immer mehr Daten erhalten, skaliert diese manuelle Kuration nicht mehr“, sagte Lydia Ng, Ph.D., Senior Director of Technology bei the Allen Institute for Brain Science, eine Abteilung des Allen Institute, und einer der leitenden Autoren des Atlas-Papiers zusammen mit Julie Harris, Ph.D., Associate Director of Neuroanatomy am Allen Institute for Brain Science. "So wie wir eine Referenzgenomsequenz haben, brauchen Sie eine Referenzanatomie."

Eine Schrägansicht des 3D Allen Mouse Brain Common Coordinate Framework (CCFv3), eines hochauflösenden Referenzatlas, der unter Verwendung mehrerer Datentypen in verschiedene Hirnregionen unterteilt ist. Bildnachweis: Allen Institute for Brain Science

Ermöglichung von Ganzhirnstudien

Das Ganzhirn-CCFv3 baut auf einer 2016 veröffentlichten Teilversion auf, die den gesamten Mauskortex, die äußerste Hülle des Gehirns, abbildet. Frühere Versionen des Atlas waren 3D-Karten mit niedrigerer Auflösung, während die Auflösung von CCFv3 fein genug ist, um die Position einzelner Zellen zu lokalisieren. Der neueste Vollhirnatlas steht der Community seit Ende 2017 offen zur Verfügung und wurde bereits von mehreren verschiedenen neurowissenschaftlichen Teams eingesetzt.

Nick Steinmetz, Ph.D., Assistenzprofessor an der University of Washington und Allen Institute for Brain Science Next Generation Leader, verwendete den Atlas in einer kürzlich durchgeführten Studie, in der die Neuronenaktivität untersucht wurde, wenn Mäuse zwischen verschiedenen Bildern wählen, die sie in einem Labor sehen Prüfung. Die Studie verwendete Neuropixel, winzige elektrische Sonden, die die Aktivität von Hunderten von Neuronen gleichzeitig in mehreren verschiedenen Gehirnregionen erfassen können.

Als sie ihre Daten analysierten, wurde klar, dass mehr Teile des Gehirns an dieser visuellen Wahl beteiligt waren, als sie zuvor dachten, sagte Steinmetz. Sie mussten einen großen Überblick gewinnen, und der CCFv3 half ihnen, alle ihre Ergebnisse zusammen zu betrachten.

"Der Atlas war eine wirklich notwendige Ressource, die die Idee von Studien auf hirnweiter Ebene ermöglichte", sagte Steinmetz. "Wenn Sie von Hunderten von Orten im Gehirn aufzeichnen, führt dies zu einem neuen Untersuchungsmaßstab. Sie müssen einen größeren Überblick darüber haben, wo sich alle Aufnahmeorte befinden, und die CCF hat dies möglich gemacht."

Dieses Video zeigt eine Datenfusion im CCF-Framework. Das Hintergrund-Graustufenbild stellt die durchschnittliche Anatomie von 1675 Einzelpräparaten dar, die die Grundlage für das gemeinsame Koordinatensystem bilden. Die farbigen gekrümmten Linien repräsentierten abgetastete Stromlinien. Der Mauskortex ist ein 3D-Blatt, das in Schichten organisiert ist, wobei die Verbindungen zwischen den Schichten normalerweise senkrecht zur Oberfläche verlaufen, was auf eine hypothetische säulenförmige Organisation hindeutet. Die Krümmung der Kortikalis erschwert die Visualisierung entlang dieser theoretischen Dimension. Diese Stromlinien sind eine Schätzung dieser "Vertikalen" basierend auf der gekrümmten Geometrie. Um zu sehen, ob die Stromlinien die wahre Krümmung widerspiegeln, vergleichen wir sie mit echten Daten. Die farbigen Hotmetal-Bilder sind aus mehreren Datensätzen zusammengesetzt, um die Form von dickbüscheligen Dendriten von L5-Pyramidenneuronen zu visualisieren, die selektiv mit Cre-abhängiger viraler Tracer-Injektion in die Sim1-Cre_KJ18- oder A930038C07Rik-Tg1-Cre-Treiberleitung markiert wurden. Jeder Datensatz wurde beim CCF registriert, um die überlagernden Daten von

100 Exemplare. Bildnachweis: Allen Institute for Brain Science

Um den Atlas zu erstellen, zerlegten die Forscher das Gehirn in winzige virtuelle 3D-Blöcke, sogenannte Voxel, und wiesen jedem Block eine eindeutige Koordinate zu. Die Daten, die in diese 3-D-Konstruktion einflossen, stammten aus der durchschnittlichen Gehirnanatomie von fast 1.700 verschiedenen Tieren. Das Team ordnete dann jedes dieser Voxel einer von Hunderten von verschiedenen bekannten Regionen des Mausgehirns zu und zeichnete sorgfältige Grenzen zwischen verschiedenen Bereichen. Die Datensätze, die in diese beiden Aspekte des Atlas eingespeist wurden, stammten aus verschiedenen Arten von Experimenten, die in den letzten Jahren am Allen Institute durchgeführt wurden.

Historisch wurden Gehirnatlanten in 2D gezeichnet, wobei blattartige Ansichten des Gehirns in verschiedenen Tiefen aufgenommen und aneinander gereiht wurden. Für einige Arten von Daten funktioniert diese Form der Gehirnkartierung gut. Aber für moderne neurowissenschaftliche Studien, die Neuronenaktivität oder Zelleigenschaften im gesamten Gehirn untersuchen, bietet ein 3D-Atlas einen besseren Kontext.

  • Das Allen Mouse Brain Common Coordinate Framework (CCFv3), ein 3D-Referenzatlas, basiert auf einem Mittelwert der Eigenfluoreszenz im Gehirn von Mäusen, die mittels serieller Zwei-Photonen-Tomographie abgebildet wird. Links ist ein virtueller Ausschnitt des 3D-Durchschnitts dargestellt. Auf der rechten Seite werden Abgrenzungen gezeigt, die verschiedene Gehirnregionen zeigen. Bildnachweis: Allen Institute for Brain Science
  • Das Allen Mouse Brain Common Coordinate Framework (CCFv3), ein 3D-Referenzatlas, enthält eine detaillierte Annotation des Mauskortex (regenbogenfarben). Bildnachweis: Allen Institute for Brain Science

Die Forscher sagten, dass zukünftige Iterationen des Atlas wahrscheinlich auf maschinellem Lernen oder anderen Formen der Automatisierung basieren werden, anstatt auf die mühsame manuelle Kuration, die in die aktuelle Version einging.

"Wie wir jetzt wissen, sollten Atlanten sich entwickeln und lebende Ressourcen sein, denn wenn wir mehr über die Organisation des Gehirns erfahren, müssen wir Aktualisierungen vornehmen", sagte Harris. "Das automatische und unvoreingenommene Erstellen von Atlanten ist der Ort, an dem sich das Feld wahrscheinlich bewegt."


Abstrakt

Ziele

Die Fähigkeit, eine kontextfreie dreidimensionale Mehrfachobjektverfolgungsaufgabe (3D-MOT) durchzuführen, steht in engem Zusammenhang mit der sportlichen Leistung. In der vorliegenden Studie untersuchten wir die Übertragbarkeit eines perzeptuell-kognitiven 3D-MOT-Trainings von einer Laborumgebung auf einen Fußballplatz, eine Sportart, bei der die Fähigkeit, die dynamische visuelle Szene richtig zu lesen, eine Voraussetzung für die Leistung ist.

Entwurf

Während der Trainingseinheiten vor und nach dem Training haben wir uns drei wesentliche Fähigkeiten (Passen, Dribbeln, Schießen) angesehen, die verwendet werden, um die Oberhand über den Gegner zu gewinnen.

Methode

Wir haben die Entscheidungsgenauigkeit bei Kleinfeldspielen bei Fußballspielern auf Universitätsniveau (n = 23) vor und nach einem Trainingsprotokoll aufgezeichnet. Experimentelle (n = 9) und aktive Kontrollgruppen (n = 7) wurden jeweils während 10 Sitzungen von 3D-MOT- oder 3D-Fußballvideos trainiert. Eine passive Kontrollgruppe (n = 7) erhielt keine besondere Schulung oder Anleitung.

Ergebnisse

Die Entscheidungsgenauigkeit beim Passen, aber nicht beim Dribbeln und Schießen, zwischen den Vor- und Nachsitzungen war für die 3D-MOT-trainierte Gruppe im Vergleich zu den Kontrollgruppen überlegen. Dieses Ergebnis wurde mit der subjektiven Entscheidungsgenauigkeit der Spieler korreliert, die nach Vor- und Nachsitzungen durch einen visuellen Analogskala-Fragebogen bewertet wurde.

Schlussfolgerungen

Unseres Wissens stellt diese Studie den ersten Nachweis dar, dass eine nicht-kontextuelle, wahrnehmungskognitive Trainingsübung einen Transfereffekt auf das Feld bei Sportlern hat.


Das virtuelle Gehirn

In der Erkenntnis, dass Netzwerkknoten in realen Menschen alles andere als homogen sind, erfasst The Virtual Brain die Funktionsweise der Teilnetzwerke des menschlichen Gehirns durch das neuartige Konzept der Raum-Zeit-Struktur der Netzwerkkopplungen, mit Mitteln für quantifizierbare Kopplungsmatrizen innerhalb und überregional.

Kommende Versionen werden diese experimentellen Ergebnisse ständig durch maschinelle Lernmethoden verarbeiten und The Virtual Brain weiter verfeinern, damit es für einen individuellen klinischen Fall am besten geeignet ist.

Während die Reaktionen isolierter Hirnregionen heute gut untersucht sind, überlagert The Virtual Brain eine ausgeklügelte Karte funktioneller Bahnen auf und zwischen diesen Regionen:

  • Ein robuster mathematischer Kern aus anatomisch realistischen Verbindungsmatrizen (basierend auf DTI/DSI-Scans) definiert das Netzwerk selbst.
  • Ein physiologisches Modell neuronaler Populationen erfasst die einzelnen Regionen.

Dieses Modell wird verwendet, um nach den entscheidenden Punkten in tatsächlichen Netzwerkschadensszenarien in der Gehirngesundheit zu suchen.

Schlüsselerkenntnisse für die Konstruktion von The Virtual Brain

Prinzip 1: Berücksichtigung unterschiedlicher Geschwindigkeiten

Während die bekannte gefaltete Struktur des Gehirns schon immer als Meisterwerk der Natur bewundert wurde, so viele Neuronen wie möglich auf engstem Raum zusammenzupressen, wurde die zweite anatomische Meisterleistung dieser Struktur erst kürzlich entdeckt.

Es stellt sich heraus, dass die von einem neuronalen Signal zurückgelegte Strecke ist absolut notwendig, um das Netzwerk des Gehirns wirklich zu verstehen: Nur wenn man die einzigartigen Zeitverzögerungen für die Signalübertragung von Neuronen zu Neuronen berücksichtigt, die aus der Anatomie des Gehirns stammen, kann man die messbaren räumlichen Eigenschaften des Gehirns erfolgreich nachbilden. zeitliche Muster.

Ohne diese harmlosen Zeitverzögerungen (von wenigen bis zu Hunderten von Millisekunden, je nach Entfernung und Richtung) würde unser Gehirn einfach nicht mehr richtig funktionieren.

Prinzip 2: Ausruhen ist das neue Aktiv

Historisch wurde das menschliche Gehirn als klassisches Feed-Forward-Informationsverarbeitungssystem verstanden: Man stellt es einem äußeren Reiz aus (sensorischer Input) oder lässt es eine Aufgabe steuern (motorische Aktion) und seine messbaren Signalmuster spiegeln dieses Verhalten wider – irgendwie.

Was in diesem Bild fehlt, ist eine vernünftige Erklärung für die zweifellos anhaltende Gehirnaktivität, wenn es einfach nur tut. nichts. Ist es nur Rauschen, irrelevant für Funktionsabläufe oder eher etwas anderes?

Die faszinierenden Ergebnisse einer Vielzahl experimenteller Untersuchungen im letzten Jahrzehnt weisen auf „etwas anderes“ hin:

Mehrere theoretische Analysen haben in der Tat die wichtige Rolle der sogenannten ruhende staatliche Netzwerke innerhalb des Gehirns. Ihre komplexen Schwingungen auf unterschiedlichen Zeitskalen bilden sogar die Grundlage für funktionelle Prozesse im Gehirn.

Bildlich gesprochen, den Ruhezustand des Gehirns kann man sich als flinken, stets wachsamen Tennisspieler vorstellen, der auf seiner Grundlinie auf den neuen Aufschlag seines Gegners wartet (das wäre ein äußerer Reiz oder eine Aufgabe, die ausgeführt wird). Dank seiner ständigen Bewegung, die sich mögliche Routen bewusst vorstellt, kann er leichter auf Ereignisse aus verschiedenen Richtungen reagieren.

Prinzip 3: Die Autonomie der Waagen

Das traditionelle Verständnis des Gehirns teilt es in verschiedene Regionen und Lappen unterschiedlicher Größe (von winzig bis riesig) ein, die jeweils für unterschiedliche kognitive Fähigkeiten verantwortlich sind. Darüber hinaus wissen wir, dass die Signalmuster des Gehirns Oszillationen auf verschiedenen Zeitskalen aufweisen, wie z. B. 10 Hz im ruhenden Gehirn, 4 Hz im Gedächtnis und 40 Hz im kognitiven Gehirn.

Durch die Vereinheitlichung des beobachteten Verhaltens und der Organisation des Gehirns auf mehreren räumlich-zeitlichen Skalen wurden mehrere Ansätze untersucht, indem Analogien aus bekannten physikalischen Phänomenen (z. B. Flüssigkeiten oder Magnetisierung) untersucht wurden. Keiner von ihnen konnte jedoch das Verhalten des Gehirns hinreichend solide erklären, geschweige denn modellieren.

Das virtuelle Gehirn ruft a . auf clevere Mischung zwischen klassischen, vereinheitlichenden Multiskalen-Frameworks und pyramidenartigen Ansätzen in anderen Informatik-orientierten Projekten gesehen:

  • Durch die Waage nach oben bewegt, verwendet The Virtual Brain Dimensionsreduktionstechniken um den Haupteinfluss kleinerer Skalen auf größere beizubehalten und gleichzeitig ihre inhärente Komplexität zu nivellieren.
  • Wenn Sie sich durch die Skalen nach unten bewegen, können detailliertere Modellierungsparameter verwendet werden, z. um bestimmte Hypothesen zu testen.
  • Kein bestimmter Maßstab dominiert das Modell. Stattdessen, mehrere Skalen funktionieren durch gegenseitige Abhängigkeit, was sich auch positiv auf die Rechenlast des Modells auswirkt.

Was ist der Grund für die Entwicklung von The Virtual Brain?

Die Virtual Brain Software (TVB) ist ein Computer-Framework zur Virtualisierung der Gehirnstruktur und -funktion. Dies wird durch die Simulation der Netzwerkdynamik unter Verwendung biologisch realistischer, großflächiger Konnektivität erreicht.

TVB führt strukturelle Informationen über einzelne Gehirne zusammen, einschließlich der 3D-Geometrie des Neokortex, der Konnektivität der weißen Substanz usw. und simuliert dann die entstehende Gehirndynamik. Die Logik von TVB ist die folgende:

  • Strukturelle Informationen liefern bestimmte Beschränkungen bezüglich der Art der Netzwerkdynamik, die auftreten kann.
  • Während diese Beschränkungen die willkürliche Gehirndynamik begrenzen, bildet die strukturelle Konnektivität die Grundlage, auf der ein dynamisches Repertoire funktioneller Konfigurationen entstehen kann.
  • Wenn die Gehirnstruktur durch Reifung, Alterung oder durch Schäden oder Krankheiten verändert wird, ändert sich das dynamische Repertoire des Gehirns.

TVB ermöglicht die systematische Untersuchung des dynamischen Repertoires als Funktion der Struktur. Es entfernt sich von der Untersuchung isolierter regionaler Reaktionen und betrachtet die Funktion jeder Region im Hinblick auf das Zusammenspiel zwischen Hirnregionen.

  • (1) Läsionen in Bezug auf das Netzwerk von Knoten (Regionen) und Verbindungen (Axone, Trakte der weißen Substanz), die geschädigt wurden, neu zu klassifizieren
  • (2) die Mechanismen zu untersuchen, die die Funktion erhalten, indem verstanden wird, wie regionale Schäden die Funktion anderer Teile des Netzwerks beeinflussen.

In diesem Zusammenhang hängt die Gehirnreparatur (Wiederherstellung der Funktion) von der Wiederherstellung und dem Ausgleich der Aktivität in den verbleibenden Knoten im Netzwerk ab.

Die Vorhersage und Behandlung der Folgen von Hirnschäden ist bekanntermaßen schwierig. Dies liegt daran, dass die Beziehung zwischen der Art der Läsion und dem funktionellen Defizit bei Patienten, die nach einer Klassifikationsmetrik (z.

Eine formalisierte Erklärung einer solchen Variabilität erfordert

  • (1) eine Neubewertung unserer Klassifizierungsmetriken,
  • (2) ein besseres Verständnis der Mechanismen, die die Funktion erhalten und/oder wiederherstellen und
  • (3) die Fähigkeit, das Gehirn einer Person zu nutzen, um das Defizit und die Prognose besser zu charakterisieren.

TVB bietet einen neuroinformatischen Rahmen, um diesen Herausforderungen zu begegnen.

Was sind die Kernelemente von The Virtual Brain?

TVB verwendet entweder vorhandene kortikale Konnektivitätsinformationen (z. B. CoCoMac-Datenbank) oder traktografische Daten (DTI/DSI) oder eine Fusion von beiden (individuelle Traktografie mit generischer Direktionalität von CoCoMac), um Konnektivitätsmatrizen zu generieren und kortikale und subkortikale Gehirnnetzwerke aufzubauen.

Die Konnektivitätsmatrix definiert die Verbindungsstärken und Zeitverzögerungen über die Signalübertragung zwischen allen Netzknoten. In TVB stehen verschiedene neuronale Massenmodelle zur Verfügung, die die Dynamik eines Netzknotens definieren. Zusammen, Die neuronalen Massenmodelle an jedem Netzwerkknoten, die Konnektivitätsmatrix und die geschichtete 3D-Gehirnoberfläche definieren The Virtual Brain.

TVB simuliert und generiert die Zeitverläufe verschiedener Formen neuronaler Aktivität, einschließlich lokaler Feldpotentiale (LFP) und Feuerrate sowie Bildgebungsdaten des Gehirns wie EEG (Elektroenzephalographie), MEG (Magnetenzephalographie) und FETT GEDRUCKT (Blutsauerstoffgehalt abhängiger Kontrast) Aktivierungen, wie in fMRI beobachtet.

Wie wird die Simulation berechnet?

Jedes Netzwerk wird durch seine Netzwerkknoten und seine Konnektivität definiert. TVB unterscheidet zwei Arten von Gehirnkonnektivität:.

  • Konzentrieren auf Regionen, umfassen die Netzwerke diskrete Knoten und Konnektivität, wobei jeder Knoten die neuronale Populationsaktivität einer Gehirnregion modelliert und die Konnektivität aus interregionalen Fasern besteht.
  • Zum oberflächenbasierte Konnektivität, werden kortikale und subkortikale Bereiche auf einer feineren Skala modelliert, wobei jeder Punkt ein neuronales Populationsmodell darstellt.

Dieser Ansatz ermöglicht eine detaillierte räumliche Abtastung, insbesondere der kortikalen Oberfläche, was zu einer räumlich kontinuierlichen Annäherung der neuronalen Aktivität führt, die als Neural Field Modeling bekannt ist (Wilson Cowan 1972 Nunez 1974, Amari 1978 Jirsa Haken 1996 Robinson 1997).

Hier setzt sich die Konnektivität aus lokalen intrakortikalen und globalen interkortikalen Fasern zusammen. Bei der Simulation der Gehirnaktivität im Simulatorkern von TVB wird die neuronale Quellenaktivität aus beiden regionen- oder oberflächenbasierten Ansätzen mit einem Vorwärtsmodell in den EEG-, MEG- und BOLD-Raum projiziert (Breakspear Jirsa 2007).

Die erste neuroinformatische Integration dieser Elemente wurde durch ( Jirsa et al. 2002 ) durchgeführt, indem die Neuralfeldmodellierung in einem EEG/MEG-Paradigma demonstriert wurde. In dieser Arbeit wurde homogene Konnektivität nach dem Vorbild von ( Jirsa Haken 1996 ) implementiert.

Zu dieser Zeit war keine andere großflächige Konnektivität verfügbar – daher musste diese Art der Näherung durchgeführt werden. Dann wurde die neurale Feldaktivität auf einer kugelförmigen Oberfläche für die Recheneffizienz simuliert und auf der gewundenen kortikalen Oberfläche mit ihren Gyri und Sulci abgebildet. Die Vorwärtslösungen von EEG- und MEG-Signalen wurden berechnet und zeigten, dass trotz der Einfachheit der neuronalen Felddynamik eine überraschend große Komplexität im simulierten EEG- und MEG-Raum beobachtbar ist.

Insbesondere neuronale Feldmodelle ( Wilson Cowan 1972 Nunez 1974, Amari 1978 Jirsa Haken 1996 Robinson 1997 ) berücksichtigen die räumliche Symmetrie der Gehirnkonnektivität, die sich immer in der Symmetrie der resultierenden neuronalen Quellenaktivierungen widerspiegelt, auch wenn sie signifikant sein kann weniger auffällig (wenn überhaupt) im EEG- und MEG-Raum.

Aber offensichtlich stammt die auferlegte Symmetrie aus der Näherung, die in der Konnektivität gemacht wurde. Dies führte zu der Schlussfolgerung, dass die Integration traktographischer Daten für zukünftige groß angelegte Hirnmodellierungsversuche zwingend erforderlich ist, da die Symmetrie der Konnektivität die Lösungen der neuronalen Quellen einschränken wird, sich jedoch nicht trivial in den anderen Bildgebungsräumen des EEG zeigt. MEG und BOLD.

Dies war im Grunde der Hauptgrund, The Virtual Brain zu entwickeln.

Netzwerkknoten in TVB: neuronale Populationen mit lokaler mesoskopischer Dynamik

Die mesoskopische Dynamik beschreibt die mittlere Feldaktivität von Neuronenpopulationen, die als kortikale Säulen oder subkortikale Kerne organisiert sind. Gängige Annahmen in der Mean-Field-Modellierung sind, dass explizite Strukturmerkmale oder zeitliche Details neuronaler Netzwerke (z Verhalten (Breakspear Jirsa 2007).

Einfache Mean-Field-Modelle erfassen Änderungen der Mean-Fire-Rate ( Brunel Wang 2003 ), während komplexere Mean-Field-Modelle die Parameterstreuung in den Neuronen und das anschließende reichere Verhalten der Mean-Field-Dynamik berücksichtigen ( Assisi et al 2005 Stefanescu Jirsa 2008, 2011 Jirsa Stefanescu 2010).

Diese Ansätze demonstrieren das relativ neue Konzept aus der statistischen Physik: makroskopische physikalische Systeme gehorchen Gesetzen, die unabhängig von den Details der mikroskopischen Bestandteile sind, aus denen sie aufgebaut sind (Haken 1983).

Diese und verwandte Ideen wurden bereits in den Neurowissenschaften genutzt ( Kelso 1995 Buzsaki 2006 ). Bei TVB liegt das Hauptinteresse in der Ableitung der mesoskopischen Gesetze, die die beobachteten dynamischen Prozesse auf der makroskopischen Großhirnskala systematisch steuern.

In TVB stehen verschiedene Mean-Field-Modelle zur Verfügung, um typische Merkmale der mesoskopischen Populationsdynamik zu reproduzieren.

Für jeden Knoten des großräumigen Netzwerks beschreibt ein neuronales Populationsmodell die lokale Dynamik. Die neuronalen Populationsmodelle in TVB sind gut etablierte Modelle, die aus der Ensembledynamik einzelner Neuronen abgeleitet werden (Wilson Cowan 1972 Jansen Rit 1995 Larter 1999 Brunel Wang 2003 Stefanescu Jirsa 2008).

TVB bietet auch ein generisches, zweidimensionales Oszillatormodell für die Verwendung an einem Netzwerkknoten, das in der Lage ist, eine Vielzahl von Phänomenen zu erzeugen, wie sie in der neuronalen Populationsdynamik beobachtet werden, wie Multistabilität, Koexistenz von oszillatorischem und nicht oszillierendem Verhalten, verschiedene Verhaltensweisen, die mehrfache Zeit zeigen Skalen usw. – um nur einige zu nennen.

Die generische großskalige Gehirnnetzwerkgleichung in TVB

Beim Durchlaufen der Skala zum großräumigen Netz unterliegt jeder Netzknoten seiner eigenen Eigendynamik im Zusammenspiel mit der Dynamik aller anderen Netzknoten.

Diese Interaktion erfolgt über die Konnektivitätsmatrix über spezifische Verbindungsgewichtungen und Zeitverzögerungen aufgrund von Signalübertragungsverzögerungen. Die folgende (generische) Evolutionsgleichung ( Jirsa 2009 ) erfasst alle oben genannten Merkmale und liegt der Entstehung der raumzeitlichen Netzwerkdynamik in TVB zugrunde:

Die Gleichung beschreibt die stochastische Differentialgleichung eines Netzwerks verbundener neuronaler Populationen.

:math:´Psi(x,t)´ ist der Aktivitätsvektor der neuronalen Population am Ort :math:´x´ im physikalischen 3D-Raum und zum Zeitpunkt :math:´t´. Es hat so viele Zustandsvariablen, wie das neuronale Populationsmodell definiert, das durch :math:´N(Psi(x,t))´ spezifiziert wird.

Die Konnektivität unterscheidet lokale und globale Verbindungen, die in zwei Ausdrücken getrennt erfasst werden.

Die lokale Netzwerkkonnektivität :math:´g_(x,xprime)´ wird durch Verbindungsgewichte zwischen :math:´x´ und :math:´t´ beschrieben, während globale Konnektivität durch :math:´g_(x,xprime)´.

Der entscheidende Unterschied zwischen den beiden Konnektivitätsarten besteht in drei Punkten:

  • Die lokale Konnektivität ist eine kurze Reichweite (Größenordnung von cm) und die globale Konnektivität ist eine große Reichweite (Größenordnung von mehreren zehn cm).
  • Die Signalübertragung über lokale Verbindungen erfolgt unverzögert, über globale Verbindungen jedoch eine Zeitverzögerung abhängig von der Entfernung :math:´|x-xprime|´ und der Übertragungsgeschwindigkeit :math:´v´.
  • Lokale Konnektivität ist typischerweise räumlich invariant (natürlich mit Variationen von Gebiet zu Gebiet, aber im Allgemeinen nimmt sie mit der Entfernung ab), die globale Konnektivität ist sehr heterogen.

Stimuli jeglicher Form, wie Wahrnehmungs-, kognitive oder Verhaltensstörungen, werden über den Ausdruck :math:´I(x,t)´ in das virtuelle Gehirn eingebracht und über einen Ort :math:´x´ mit einer bestimmten Zeit definiert Kurs.

Lärm spielt eine entscheidende Rolle für die Gehirndynamik und damit für die Gehirnfunktion (vgl. McIntosh et al. 2010). In TVB wird es über den Ausdruck :math:´xi (x,t)´ eingeführt, wobei die Art des Rauschens und seine räumlichen und zeitlichen Korrelationen unabhängig angegeben werden können.

In TVB stehen verschiedene numerische Algorithmen zur Verfügung, die grob in deterministisch (kein Rauschen) und stochastisch (mit Rauschen) eingeteilt werden können. Dazu gehören der Heun-Algorithmus, Runge Kutta verschiedener Ordnungen, Euler Maruyama und andere.

Wie TVB Neuroimaging-Signale simuliert

EEG-MEG-Vorwärtslösung

Nichtinvasive Neuroimaging-Signale stellen die überlagerten Darstellungen der Aktivität vieler Quellen dar, was zu einer hohen Mehrdeutigkeit bei der Abbildung zwischen internen Zuständen und beobachtbaren Signalen, d. h. dem inversen Problem, führt.

Als Konsequenz ist die EEG- und MEG-Rückwärtslösung unterbestimmt (Helmholtz 1853). Ein entscheidender Schritt zu den skizzierten Zielen ist daher die korrekte Synchronisation von Modell und Daten, d. h. der Abgleich von Modellzuständen mit internen – aber oft nicht beobachtbaren – Zuständen des Systems.

Das Vorwärtsproblem des EEG und MEG ist die Berechnung des elektrischen Potentials :math:´V(x,t)´ am Schädel und des Magnetfeldes :math:´B(x,t)´ außerhalb des Kopfes aus einem gegebenen Primärstromverteilung :math:´D(x,t)´. Die Quellen der elektrischen und magnetischen Felder sind sowohl Primär- als auch Rückströme.

Die Situation wird durch die Tatsache erschwert, dass sich die gegenwärtigen Leitfähigkeiten wie das Gehirngewebe und der Schädel um die Größenordnung von 100 unterscheiden.

In TVB werden drei Kompartiment-Volumenleitermodelle aus strukturellen MRT-Daten unter Verwendung des MNI-Gehirns konstruiert:

  • Oberflächen für die Grenzflächen zwischen grauer Substanz
  • Zerebrospinalflüssigkeit und weiße Substanz, angenähert mit dreieckigen Maschen

For EEG predictions, volume conduction models for skull and scalp surfaces are incorporated. Here it is assumed that electric source activity can be well approximated by the fluctuation of equivalent current dipoles generated by excitatory neurons that have dendritic trees oriented roughly perpendicular to the cortical surface and that constitute the majority of neuronal cells (

So far subcortical regions are not considered in the forward solution. We also neglect dipole contributions from inhibitory neurons since they are only present in a low number (

15 %) and their dendrites fan out spherically.

Therefore, dipole strength can be assumed to be roughly proportional to the average membrane potential of the excitatory population. Then the primary current distribution :math:´D(x,t)´ is obtained as the set of all normal vectors perpendicular to the vertices at locations :math:´x´ of the cortical surface multiplied by the relevant state variable in the population vector :math:´Psi(x,t)´.

FMRI-BOLD contrast

The BOLD signal time course is approximated from the mean-field time-course of excitatory populations accounting for the assumption that BOLD contrast is primarily modulated by glutamate release ( Petzold, Albeanu et al. 2008 Giaume, Koulakoff et al. 2010 ).

Apart from these assumptions, there is relatively little consensus about how exactly the neurovascular coupling is realized and whether there is a general answer to this problem.

In order to estimate the BOLD signal, the mean-field amplitude time course of a neural source may be convolved with a canonical hemodynamic response function as included in the SPM software package or the “Balloon-Windkessel” model of ( Friston, Harrison et al. 2003 ) may be employed cf. ( Bojak, Oostendorp et al. 2010 ) for some more technical details.

Literaturverzeichnis

Biological Cybernetics, 1977, 27:77-87.
Amari S.
Dynamics of pattern formation in lateral-inhibition type neural fields.

Physical Review Letters, 2005, 94 (1):018106
Assisi, C. G., Jirsa, V. K., and Kelso, J. A. S.
Synchrony and clustering in heterogeneous networks with global coupling and parameter dispersion

Brain Topography, 2010, 23 (2):139-149
Bojak, I., Oostendorp, T. F., Reid, A. T. and Kötter R.
Connecting mean field models of neural activity to EEG and fMRI data

Brain Connectivity (Understanding Complex Systems), 2007, Springer Berlin / Heidelberg, 3-64
Breakspear, M. and Jirsa, V.
Neuronal Dynamics and Brain Connectivity - Handbook of

Journal of Neurophysiology, 2003, 90:415-430
Brunel, N. and Wang, X-J.
What determines the frequency of fast network oscillations with irregular neural discharges? I. Synaptic dynamics and excitation-inhibition balance

Oxford: Oxford University Press, 2006
Buzsaky, G
Rhythms of the Brain

Neuroimage, 2003, 19:1273-1302.
Friston, K., J., Harrison, L., and Penny, W.
Dynamic causal modelling

Nature Reviews in Neuroscience, 2010, 11:87-99
Giaume C., Koulakoff A., Roux L., Holcman D., Rouach N.
Astroglial networks: a step further in neuroglial and gliovascular interactions

3rd rev. enl. Hrsg. New York: Springer-Verlag, 1983
Haken, H.
Synergetics, an Introduction: Nonequilibrium Phase Transitions and Self-Organization in Physics, Chemistry, and Biology

Biological Cybernetics, 1995, 73:357-366
Jansen, B., H. and Rit V., G.
Electroencephalogram and visual evoked potential generation in a mathematical model of coupled cortical columns

Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 2009, 367(1891): 1131-1143
Jirsa, V., K.
Neural field dynamics with local and global connectivity and time delay

Physical Review Letters, 1996, 77(5): 960-963
Jirsa V., Haken H.
Field theory of electromagnetic brain activity

Bulletin of Mathematical Biology, 2010, 73(2): 325-343
Jirsa, V., K., and Stefanescu, R., A.
Neural population modes capture biologically realistic large scale network dynamics

MIT Press, 1995
Kelso Scott J., A.
Dynamic patterns: the self-organization of brain and behavior (Complex Adaptive Systems)

Chaos, 1999, 9(3):795
Larter, R., Speelman, B. and Worth, R., M.
A coupled ordinary differential equation lattice model for the simulation of epileptic seizures

Archives Italiennes de Biologie, 2010, 148(3)
McIntosh, A. R., Kovacevic, N., Lippe, S., Garrett, D., Grady, C and Jirsa V
The Development of a Noisy Brain

Mathematical Biosciences, 1974, 21:279-297
Nunez P., L.
The brain wave equation: A model for the EEG

Neuron, 2008, 58:897-910
Petzold G., C., Albeanu, D.,F., Sato T., F., and Murthy V., N.
Coupling of neural activity to blood flow in olfactory glomeruli is mediated by astrocytic pathways

Brain Connect, 2013 3(2): 121-145
Ritter, P., Schirner M., McIntosh A. R., Jirsa V. K.
The Virtual Brain integrates computational modeling and multimodal neuroimaging

Physical Reviews Letters E, 1997, 56:826-840
Robinson, P.A., Rennie, C.J., Wright, J.J.
Propagation and stability of waves of electrical activity in the cerebral cortex

Brain Connect, 2014 Dec4(10):791-811
Roy D., Sigala R., Breakspear M., McIntosh A. R., Jirsa V. K., Deco G., Ritter P.
Using The Virtual Brain to reveal the role of oscillations and plasticity in shaping brain's dynamical landscape

eLife, 20187:e28927
Schirner M., McIntosh A. R., Jirsa V. K., Deco G., Ritter P.
Inferring multi-scale neural mechanisms with brain network modelling

Neuroimage, 2015 Aug 15117:343-357
Schirner M., Rothmeier S., Jirsa V. K., McIntosh A. R., Ritter P.
An automated pipeline for constructing personalized virtual brains from multimodal neuroimaging data

PLoS Computational Biology, 2008, 4(11):26-36
Stefanescu, R. and Jirsa, V. K.
A Low Dimensional Description of Globally Coupled Heterogeneous Neural Networks of Excitatory and Inhibitory


The Role of Micro-CT in 3D Histology Imaging

Ziele: 3D histology tissue modeling is a useful analytical technique for understanding anatomy and disease at the cellular level. However, the current accuracy of 3D histology technology is largely unknown, and errors, misalignment and missing information are common in 3D tissue reconstruction. We used micro-CT imaging technology to better understand these issues and the relationship between fresh tissue and its 3D histology counterpart.

Methoden: We imaged formalin-fixed and 2% Lugol-stained mouse brain, human uterus and human lung tissue with micro-CT. We then conducted image analyses on the tissues before and after paraffin embedding using 3D Slicer and ImageJ software to understand how tissue changes between the fixation and embedding steps.

Ergebnisse: We found that all tissue samples decreased in volume by 19.2-61.5% after embedding, that micro-CT imaging can be used to assess the integrity of tissue blocks, and that micro-CT analysis can help to design an optimized tissue-sectioning protocol.

Schlussfolgerungen: Micro-CT reference data help to identify where and to what extent tissue was lost or damaged during slide production, provides valuable anatomical information for reconstructing missing parts of a 3D tissue model, and aids in correcting reconstruction errors when fitting the image information in vivo and ex vivo.


3D Brain Organoids: Studying Brain Development and Disease Outside the Embryo

Scientists have been fascinated by the human brain for centuries, yet knowledge of the cellular and molecular events that build the human brain during embryogenesis and of how abnormalities in this process lead to neurological disease remains very superficial. In particular, the lack of experimental models for a process that largely occurs during human in utero development, and is therefore poorly accessible for study, has hindered progress in mechanistic understanding. Advances in stem cell–derived models of human organogenesis, in the form of three-dimensional organoid cultures, and transformative new analytic technologies have opened new experimental pathways for investigation of aspects of development, evolution, and pathology of the human brain. Here, we consider the biology of brain organoids, compared and contrasted with the endogenous human brain, and highlight experimental strategies to use organoids to pioneer new understanding of human brain pathology.


Scientists 3D Bioprint Tumor Models and Vasculature

A new material has been discovered that can be used to 3D print structures that resemble vasculature. The biomaterial is created using a protein that can self-assemble when it's exposed to another chemical. The flexible parts of the proteins strongly interact with graphene oxide, when mixed they form an ordered structure. By controlling the manner in which the components are mixed, the assembly of structures can be guided, and used in a 3D printer. In work reported in Nature Communications, the material was used to generate tubular structures that are similar in some ways to vascular tissue.

"This work offers opportunities in biofabrication by enabling simultaneous top-down 3D bioprinting and bottom-up self-assembly of synthetic and biological components in an orderly manner from the nanoscale," said the research leader Professor Alvaro Mata of the University of Nottingham. "Here, we are biofabricating micro-scale capillary-like fluidic structures that are compatible with cells, exhibit physiologically relevant properties, and have the capacity to withstand flow. This could enable the recreation of vasculature in the lab and have implications in the development of safer and more efficient drugs, meaning treatments could potentially reach patients much more quickly."

In another research study reported in Science Advances, investigators used 3D bioprinting to create a model of glioblastomas, aggressive brain tumors that are made of various types of cells and are difficult to treat. The researchers used patient cells in a bioink to print tissue along with vasculature, which enabled the tissue to survive for months.

"There is a need to understand the biology and the complexity of the glioblastoma," said Xavier Intes, a professor of biomedical engineering at Rensselaer Polytechnic Institute. "What's known is that glioblastomas are very complex in terms of their makeup, and this can differ from patient to patient. We developed a new technology that allows us to go deeper than fluorescence microscopy. It allows us to see, first, if the cells are growing, and then, if they respond to the drug."

In another study reported in Nature Communications, scientists at the Advanced Science Research Center at The Graduate Center, CUNY (CUNY ASRC) and Northwestern University have engineered a 4D printer that is able to recapitulate the patterning on the outside of cells. Nanopatterning can now be performed on a surface that has molecules attached. Researchers will be able to create precise and delicate 4D structures with a tailored chemical composition.

"I am often asked if I've used this instrument to print a specific chemical or prepare a particular system," said the primary investigator of the study Adam Braunschweig, a faculty member with the CUNY ASRC Nanoscience Initiative and The Graduate Center and Hunter College Chemistry Departments. "My response is that we've created a new tool for performing organic chemistry on surfaces, and its usage and application are only limited by the imagination of the user and their knowledge of organic chemistry."


Engineering/Simulation

Quality data in, quality data out.

When you need reliable data, Zygote's Solid 3D anatomy is the only product with quality you can trust.

Based on medical scans of a 50th percentile individual, the Zygote data is the most medically accurate and comprehensive collection of anatomy for CAD design and Simulation available anywhere.

Import Zygote 3D anatomy directly into your CAD assembly and begin creating products to fit real human data right away. From stents to prosthetics, Zygote's Solid 3D anatomy is a perfect solution for CAD designers and engineers.

Develop a discretized mesh for simulation and analysis that is based on real human data with tremendous true-to-life detail. Perfect for tight regional work or simplified volumetric stand-ins for whole-human macro work, the comprehensive Zygote collection is versatile and precise.

When you need reliable anatomical data for your simulation, the Zygote 3D Solid anatomy collection is the only trusted solution.

Learn more about Zygote's Solid 3D for CAD and Sim


Doris Y. Tsao

We want to understand how we know what is where by looking. How are objects identified, and how is the ambient optic array sensed by the retinae transformed into a vivid 3D representation of space? We use fMRI, electrophysiology, anatomy, and mathematical modeling.

Tackling the problem of how the brain recognizes visual form is incredibly difficult due to the infinite number of possible forms and the huge cortical territory dedicated to encoding visual form. For making headway into this problem, it would be ideal if there were a small piece of brain specialized to encode a single visual form. This situation, surprisingly, exists: functional magnetic resonance imaging (fMRI) reveals six small regions of highly face-selective cortex in the macaque temporal lobe. In at least two of these regions, termed "face patches", single-unit recordings show that almost all visually responsive cells are face-selective. Experiments combining fMRI with microstimulation demonstrate that the face patches are strongly and specifically interconnected. The face patch system thus offers a unique opportunity to dissect the neural mechanisms underlying form perception, because the system is specialized to process one class of complex forms, and because its computational components are spatially segregated. The central challenge to understanding the face patch system, and the goal of our research program, is to understand the functional specialization of each patch. We are approaching this from several directions, including Representation, Behavior, Connectivity, and Transformation.

In 1832, Charles Wheatstone made a remarkable accidental observation (which can be reproduced by looking at a frying pan with a well-turned bottom under a light source, or at a Magic Eye Picture):
"An effect of binocular perspective may be remarked in a plate of metal, the surface of which has been made smooth by turning it in a lathe. When a single candle is brought near such a plate, a line of light appears standing out from it, one half being above, and the other half below the surface the position and inclination of this line changes with the situation of the light and of the observer, but it always passes through the centre of the plate. On closing the left eye the relief disappears, and the luminous line coincides with one of the diameters of the plate on closing the right eye the line appears equally in the plane of the surface, but coincides with another diameter on opening both eyes it instantly starts into relief."

What is the neural mechanism by which the brain reconstructs the 3D world? Several lines of evidence point to the critical importance of areas V3, V3A, and CIPS in 3D representation: 1) Columns of cells tuned to near, far, and zero disparities have been found in areas V3 and V3A. 2) Cells in CIPS are tuned to surface orientation defined by binocular disparity and perspective. 3) fMRI in alert monkeys shows that areas V3, V3A, and CIPS are the areas in macaque visual cortex most strongly activated by a disparity-rich compared to a zero disparity stimulus. Most physiological studies of 3D perception, however, have focused on areas V1, V2, and MT. Thus our knowledge of the neural mechanisms underlying 3D perception contains a gap precisely where a vital processing module appears to exist. Our research aims to fill this gap, by systematically exploring the hypothesis that areas V3, V3A, and CIPS are representing the geometry of 3D visual surfaces.