HoloDeck

Projektbeschreibung

HoloDeck ist seit dem 12.02.2025 die offizielle Förderprojektkennung der Justus-Liebig-Universität Giessen für das Rechenkraft.net Molecular AR Environment. Es erlaubt die interaktive Augmented Reality (AR) gestützte Visualisierung komplexer molekularer Zusammenhänge im multipersonellen Face-to-Face Besprechungsformat. Das bedeutet in der Praxis, dass man mit mehreren Personen an einem Arbeitstisch platznehmen kann, um gemeinsam auf einer speziellen faltbaren Arbeitsoberfläche ein computererzeugtes, für alle Teilnehmer aus der jeweils individuellen Perspektive sichtbares 3D-Hologramm zu betrachten. Dabei schauen die Teilnehmer durch eine leichte, durchsichtige Projektorbrille, die über ein USB 3.0 Kabel direkt an den Steuercomputer (z.B. ein halbwegs moderner Laptop) oder einen USB 3.0 Hub angeschlossen ist. Das Besondere an diesem System ist die Möglichkeit, nicht nur die molekularen Objekte, sondern gleichzeitig auch die Kollegen zu sehen und mit ihnen interagieren zu können. Die Raumumgebung wird also uneingeschränkt erfasst - ganz im Gegensatz zu aktuellen Virtual Reality Systemen, bei denen die Teilnehmer in einer völlig von der Außenwelt abgeschlossenen Umgebung agieren.

Das System basiert auf der - von uns sozusagen "zweckentfremdeten" - TiltFive AR Spiele-Hardware und dem zugehörigen SDK für Unity. Wir setzen darüber hinaus die Molekülvisualisierungssoftware ChimeraX der UCSF ein, um molekulare Strukturen für die Visualisierung im Rechenkraft.net Molecular Augmented Reality Environment aufzubereiten.

Nach unserem Kenntnisstand stellt diese sehr einfach aufgezogene Arbeitsumgebung aktuell das weltweit kostengünstigste und gleichzeitig interessanteste AR-System für molekulare Visualisierungen dar. Es läßt sich wunderbar für Forschungs- und Entwicklungsprojekte im professionellen Bereich einsetzen, ist aber ebenso geeignet, um im Rahmen von universitären Lehrvorhaben und des regulären Schulunterrichts für ein eindrucksvolles Erlebnis und ein tiefgreifendes Verständnis molekularer Strukturen zu sorgen.

Aktuelle Aktivitäten

Die derzeitige Version erlaubt interaktive 3D-Visualisierungen beliebiger molekularer Strukturen und Mehrkomponentenstrukturkomplexe, bei denen Rotationen und Translationen um bzw. entlang der xyz-Achsen sowie dynamische Größenanpassungen möglich sind. Inzwischen arbeiten wir an einer Weiterentwicklung, um unabhängiger von externer Vorbereitungssoftware molekulare Manipulationen auch innerhalb der eigentlichen AR-Arbeitsumgebung zu ermöglichen.

Aktuell bereiten wir einen größeren Satz an Lehrpaketen für Lehrer und Dozenten vor, die den gesamten molekülrelevanten Stoff der Schulen in den Fächern Chemie und Biologie abdecken und zumindest auch für die Grundvorlesungen an Universitäten einsetzbar sein sollen. Die Pakete können dann themenbezogen kostenfrei heruntergeladen, für den Unterricht direkt eingesetzt oder in Eigenarbeit individuell aufbereitet werden. Ein kleiner Einblick in die Möglichkeiten findet sich unten auf dieser Seite in Form einiger Beispiel-Movies.

Seit Dezember 2024 ist unser System an der Justus-Liebig-Universität Giessen im Einsatz. Auch die Richtsberg Gesamtschule in Marburg hat sich einige Systeme zugelegt, um diese künftig im Unterricht einsetzen zu können. Dort werden wir Anfang 2025 auch einen kleinen Einführungskurs für das Lehrpersonal anbieten.

Am 12.02.2025 wurde von der JLU/HessenHub/HMWK ein Förderantrag zur Entwicklung von Hochschulkursmaterial bewilligt, der zum Ziel hat Kursteilnehmer dazu zu befähigen, HoloDeck zur Entwicklung eigener Lehr- bzw. Lernmaterialien zu befähigen. Seit dem 08.04.2025 ist hierzu auch eine zusammenfassende HessenHub-Projektwebseite verfügbar.

Inzwischen läuft unser System auch unter Linux und wurde unter Ubuntu 24.04 LTS vom 22.-23.03.2025 auf den Chemnitzer LinuxTagen (CLT2025) an einem Rechenkraft.net Stand präsentiert.

Nach der Entdeckung von Michael Weber, dass das Unity-Software-Framework unter bestimmten Bedingungen automatisch eine Stereoinversion des betrachteten 3D-Objekts im AR-Raum vornimmt, konnte am 16.02.2025 eine automatisierte Methode etabliert werden, Proteine ab sofort auch gezielt als Enantiomerenpaar darzustellen - inkl. Export sämtlicher Atomkoordinaten- und Bindungskonversionen zur weiteren Bearbeitung mit externer Fachsoftware.

Am 08.04.2025 präsentierten wir HoloDeck in der AG von Prof. Umesh Varshney am Indian Institute of Science (IISc) in Bangalore/Indien, wo wir neben einigen eigenen Materialien auch vorbereitete Strukturen aus den Arbeiten von Prof. Varshney zeigen konnten und sogar vor Ort die Durchführung individueller Anpassungen demonstrierten. Ein paar Fotos hierzu finden sich unten in der SocialMedia Rubrik.

Auf der MakerFaire in Hannover am 23./24.08.2025 haben wir erstmals im Vorfeld per SocialMedia angekündigt, Besuchern ihre eigenen, mitgebrachten Biomoleküldaten so aufzubereiten, dass wir sie auf der Messe direkt gemeinsam im HoloDeck anschauen können. Dies wurde zu unserer Freude in einem ersten Fall auch genutzt.

Seit dem 30. September 2025 können wir auch medizinische MRT- und CT-Datensätze in HoloDeck visualisieren.

Aktuell arbeiten wir daran, Molecular Dynamics Simulationstrajektorien in HoloDeck zu importieren.

Entwickler

Das HoloDeck Rechenkraft.net Molecular AR Environment ist ein Rechenkraft.net-Projekt unter der Leitung von Dr. Michael H.W. Weber, das programmiertechnisch im Rahmen eines dreimonatigen Medieninformatik-Bachelorpraktikums von Lukas Sandhop (Rechenkraft.net / Hochschule Harz) realisiert werden konnte.

Publikation

Eingereicht.

Quellcode

Der Quellcode und die Executables werden nach akzeptierter Fachpublikation freigegeben. Wir planen, das gesamte System kostenfrei unter einer offenen Lizenz (Creative Commons, CC International 4.0 BY-SA) verfügbar zu machen, damit es maximal nutzbar ist und möglichst breit weiterentwickelt werden kann.

Anfang 2024 hatten wir zunächst eine Windows-Version entwickelt und lieferten dann im März 2025 eine Linux-Version, die wir erstmals auf den Chemnitzer LinuxTagen vorstellten.

Funktionsprinzip der TiltFive Hardware

Die darzustellenden 3D-Daten werden von einem Steuercomputer über (mindestens) USB 3.0-fähige Buchsen (SS, SuperSpeed, 5 GB/s) und entsprechende Datenkabel an die AR-Brillen übertragen. Der Hersteller liefert für jede Brille einen USB-A (Stecker) auf USB-C (Buchse) Adapter und ein Datenkabel mit. Es ist möglich, die mitglieferten Kabel mit eigenen (mindestens) USB 3.0-fähigen Verlängerungskabeln zu verlängern.

Wir verwenden erfolgreich Material der Firma UGreen, da sich offenbar nicht sämtliche Kabelersteller an die USB-Standardspezifikationen halten. USB-Adapterstecker können ebenfalls generell Probleme bereiten - u.a. auch z.B. hinsichtlich der Verbindungsorientierung.

Als Steuercomputer können unerwarteter Weise auch Laptop-Systeme ohne dezidierte Grafikkarte eingesetzt werden, sodass es also komplett extrem mobil in einem Rucksack verstaut mitgeführt werden kann - wir verwenden aktuell beispielsweise stndardmässig ein Lenoveo Thinkpad T14 (Gen. 1) mit einer AMD Ryzen 7000 PRO APU und 32 GB RAM. Grundsätzlich wird die Komplexität der ruckelfrei darstellbaren Szenen mit der Leistungsfähigkeit des Steuercomputers zunehmen.

Die Brille projiziert mit Hilfe zweier DLP-Projektoren für jedes Auge ein links- bzw. rechtspolarisiertes Bild des darzustellenden 3D-Objekts auf die Oberfläche eines Spielbretts, das aus einer dichten Anordnung kleiner Kügelchen besteht. Durch die gewölbte Oberflächenstruktur des Spielbretts wird zum Betrachter ein Stereobild reflektiert, das als 3D-Hologram erscheint. Die Auflösung des Systems liegt bei 720p.

Die AR-Brille enthält zudem eine Kamera, welche anhand einiger kreisförmiger Spielbrettrahmenmarkierungen und des TiltFive Firmenlogos unten rechts dynamisch die Position des Betrachters relativ zum Spielbrett erfasst. Ein IR-Sendemodul innerhalb des "Zauberstab"-Controllers meldet gleichzeitig einem IR-Empfänger der AR-Brille die Position des Controllers, sodass zu jeder Zeit die Orientierungen des Betrachters und Controllers erfasst werden.

Aufgrund der leichten Wärmeentwicklung beider Brillenprojektoren sind in der Brille zwei kleine Ventilatoren verbaut. Außerdem kann das Audiosignal des Steuercomputers an ein Lautsprechersystem innerhalb der AR-Brille weitergeleitet werden - z.B. für AR-Brettspiele.

Der "Zauberstab"-Controller wird über zwei 1,5 V AAA-Batterien mit Energie versorgt, die Batterien sind nicht im Lieferumfang des Kits enthalten. Es können entweder alkalische Batterien oder Li-Ionenakkus eingesetzt werden. Leider hat der Hersteller keinen Spannungsanhebungsschaltkreis verbaut, sodass der Controller nicht mit den wiederaufladbaren 1,2 V Metallhydrid-Akkus läuft. Wir haben dem Hersteller dieses Problem gemeldet und es soll in einer künftigen Version des Systems berücksichtigt werden.

Kurse, Lehrgänge, Seminare & Workshops

Justus-Liebig-Universität Gießen

• am 23.10.2025 wurde in Seminarraum 18.2 im Biomedizinischen Forschungszentrum (BFS) der Justus-Liebig-Universität Gießen erstmals ein dreistündiger Kurs für Studierende und Lehrpersonal angeboten (ehem. URL zur Anmeldung für JLU-Angehörige). Illustrierter InfoFlyer mit Inhaltsübersicht.
• am 30.10.2025 fand in Seminarraum 18.2 im Biomedizinischen Forschungszentrum (BFS) der Justus-Liebig-Universität Gießen ein zweiter dreistündiger Kurs für Studierende und Lehrpersonal statt (ehem. URL zur Anmeldung für JLU-Angehörige). Illustrierter InfoFlyer mit Inhaltsübersicht.
• am 19.11.2025 wurde im Rahmen des Parasitologie-Seminars am Institut für Parasitologie der Justus-Liebig-Universität Gießen ein neu konzipierter, englischsprachiger HoloDeck-Workshop mit Fokus auf das praktischer Ausprobieren vorgestellt (ehem. URL zur Anmeldung für JLU-Angehörige). Illustrierter InfoFlyer mit Inhaltsübersicht.
• Angebot mehrerer HoloDeck-Workshoptermine an der JLU-Giessen am 3., 4., 9., 16. und 18. Dezember 2025. Ankündigung auf LinkedIn.

Verfügbare Materialien von unseren Präsentationen

IdeenExpo, Hannover (2024)

• IdeenExpo 2024 Visitenkarte
• Video-Demo des Rechenkraft.net Molecular Augmented Reality Environments (1. Prototyp)
• auf der IdeenExpo 2024 präsentierte Demo-Strukturen:
  • Alpha-Variante des trimeren SARS-CoV-2 Spikeproteins (PDB # 7LWV, vgl. folgende Fachpublikation)
  • Trimer des SARS-CoV-2 Spikeproteins im Komplex mit drei Mini-Inhibitormolekülen, die das Andocken an den ACE2-Rezeptor blockieren und das Ergebnis eines CitizenScience-Projekts des DistributedComputing Projekts Rosetta@home sind (PDB # 7JZL, vgl. folgende Fachpublikation)
  • SARS-CoV-2 RNA-abhängige RNA-Polymerase beim Replikationsprozess (PDB # 6YYT, vgl. folgende Fachpublikation)
  • Salmonella enterica typhimurium Injektisom: Injektionsnadelkomplex des Typ III Sekretionsapparats mit dem Salmonella Bakterien Effektorproteine in Zielzellen injizieren können (PDB # 7ah9, vgl. folgende Fachpublikation)
  • Schistosoma mansoni Aldehyd-Dehydrogenase (ALDH) Tetramer-Modell, das als Ziel neuer Wurmwirkstoffentwicklungen dient (generiert mit AlphaFold2 gemäß folgender Fachpublikation)

Chemnitzer LinuxTage (2025)

• auf den Chemnitzer LinuxTagen 2025 präsentierte Demo-Strukturen:
  • Blockade der RNA-Polymerase II durch das Toxin (α-Amanitin) des grünen Knollenblätterpilzes (PDB # 6EXV, vgl. folgende Fachpublikation)
  • Wirkung von Coffein durch Besetzung des Adenosin-Rezeptors (PDB # 3RFM, vgl. folgende Fachpublikation)
  • Bindung der schweren Kette des Allergie-vermittelnden Antikörpers IgE an seinen hochaffinen IgE-Rezeptor (PDB # 1F6A, vgl. folgende Fachpublikation)
  • natürlich haben wir auch einige der Modelle gezeigt, die wir schon im vergangenen Jahr auf der IdeenExpo 2024 präsentiert hatten

Indian Institute of Science (IISc), Bangalore/India, AG Prof. Varshney (2025)

• DNA-Reparatur durch die Uracil DNA Glycosylase (PDB # 6AJO, vgl. folgende Fachpublikation)

Maker Faire Hannover (2025)

• auf der MakerFaire Hannover 2025 präsentierte Demo-Strukturen:
  • Wirkung von Coffein durch Besetzung des Adenosin-Rezeptors (PDB # 3RFM, vgl. folgende Fachpublikation)
  • ein von uns erstelltes AlphaFold3-Modell der Carbapenemase OXA679 (eine Beta-Lactamase) aus Acinetobacter calcoaceticus mit gebundenem Imipenem (ein Reserveantibiotikum, das zur Therapie lebensbedrohlicher Infektionen eingesetzt wird) als Substrat (von uns gedockt mit Boltz-2)
  • Kristallstruktur des Lipase-Kolipase-Proteinkomplexes aus Pankreas (PDB # 1n8s, vgl. folgende Fachpublikation) - dieses Modell wurde auf Wunsch eines Standbesuchers in wenigen Minuten ad hoc vor Ort von uns erzeugt und vorgeführt

Game2Learn, Wiesbaden (2025)

• auf der Game2Learn 2025 in Wiesbaden präsentierte Demo-Strukturen:
  • SARS-CoV2 Spikeprotein-Trimer (PDB # 7LWV, vgl. folgende Fachpublikation) der Alpha-Variante als kombinierte Darstellung in der jeweils die Oberflächenstruktur, der (regenbogenfarbige) Verlauf der Aminosäurekette (blau: N-Terminus, rot: C-Terminus des Spikeprotein-Monomers) und die Oberflächenladungsverteilung (blau: basisch/positiv geladen, rot: sauer/negativ geladen, weiss: neutral/ungeladen) einer der drei Aminosäureketten gezeigt ist
  • überlagerter Komplex bestehend aus einem humanen IgE-gebundenen FceR1-Rezeptor (PDB # 8YWA) und einem von zwei IgE-Fragmenten verbrückend gebundenen Hausstaubmilbenallergen (PDB # 8VK1)

Möglichkeiten zur Projektunterstützung

Wenn Ihnen dieses Projekt und/oder unser Engagement für CitizenComputing und CitizenScience gefällt, können Sie unsere Arbeit jederzeit gern mit einer Spende unterstützen - unser Verein ist als gemeinnützig anerkannt, sodass wir Ihnen auf Wunsch auch eine steuerabzugsfähige Spendenquittung ausstellen können. Hier finden Sie unser Spendenkonto. Darüber hinaus sind jederzeit auch Vereinmitgliedschaften möglich, um Teil unserer Community und ihrer Projekte zu werden. Der Mitgliedschaftsantrag findet sich hier).

SocialMedia

IdeenExpo, Hannover (2024)

Twitter | Mastodon | Bluesky | LinkedIn

Chemnitzer LinuxTage (2025)

Mastodon | Bluesky | LinkedIn

Indian Institute of Science (IISc), Bangalore/India, AG Prof. Varshney (2025)

Mastodon | Bluesky | LinkedIn

MakerFaire Hannover (2025)

Mastodon | Bluesky | LinkedIn

Game2Learn, Wiesbaden (2025)

Ankündigung: LinkedIn

Bericht: LinkedIn | Mastodon | Bluesky

Kurse & Lehrgänge: Justus-Liebig-Universität (23.10.2025)

Mastodon | Bluesky | LinkedIn

Kurse & Lehrgänge: Justus-Liebig-Universität (30.10.2025)

Mastodon | [Bluesky | LinkedIn

Labs for Innovative Teaching — Network for Impactful Digital International Teaching Skills (NIDIT) (05.11.2025)

Mastodon | Bluesky | LinkedIn

Kurse & Lehrgänge: Justus-Liebig-Universität (19.11.2025)

Mastodon | Bluesky | LinkedIn

EduNext25, Frankfurt (2025)

Ankündigung: LinkedIn

Mastodon | Bluesky | LinkedIn

Einige Bilder von unseren Ausstellungsständen

IdeenExpo, Hannover (2024)

Chemnitzer LinuxTage (2025)

MakerFaire Hannover (2025)

Game2Learn, Wiesbaden (2025)

Labs for Innovative Teaching, Standort: JLU Gießen — Network for Impactful Digital International Teaching Skills (NIDIT) (2025)

EduNext25, Frankfurt (2025)

Einige Bilder & Movies präsentierter Makromoleküle

IdeenExpo, Hannover (2024)

Salmonella Injektisom (Movie) Type IVa Pilus-Maschine (Movie)

ATP-Synthase (Movie) Antikörper (Movie)

Curli-Transportlipoprotein (Movie) Staphylococcus aureus Alpha-Hämolysin (Movie)

Rattus norvegicus VAULT (Movie) Nukleosompartikel (Movie)

EcoRI Restriktionsenzym (Movie) EcoRV Restriktionsenzym (Movie)

SARS-CoV-2 Spike-Protein Alpha (Movie) SARS-CoV-2 Spike + Inhibitor (Movie)

SARS-CoV-2 Polymerase (Movie) SARS-CoV-2 Polymerase + Remdesivir (Movie)

Tubulin-Stathmin-Komplex (Movie) Simian Virus 40 (SV40) Capsid (Movie)

Anthrax-Toxin Präpore (Movie) E. coli Enterotoxin (Movie)

T. thermophilus 70S Ribosom (Movie) T. thermophilus Phe-tRNA-Synthetase (Movie)

Chemnitzer LinuxTage (2025)

α-Amanitin blockiert RNA Polymerase II (Movie) Coffein im Adenosin-Rezeptor (Movie)

IgE-Rezeptor mit gebundenem IgE (Movie) Cartoon: IgE-Rezeptor mit gebundenem IgE (Movie)

Indian Institute of Science (IISc), Bangalore/India, AG Prof. Varshney (2025)

DNA-Reparatur durch Uracil DNA Glycosylase (Movie)

MakerFaire Hannover (2025)

Coffein in Adenosin-Rezeptor (Movie) Imipenem in der Carbapenemase OXA679 aus A. calcoaceticus (Movie)

Lipase-Kolipase-Komplex aus dem Pankreas (Movie)

Game2Learn, Wiesbaden (2025)

SARS-CoV-2 Spike-Protein Alpha (Movie) FceR1-IgE-gebundenes Hausstaubmilbenallergen (Movie)

Labs for Innovative Teaching, Standort: JLU Gießen — Network for Impactful Digital International Teaching Skills (NIDIT) (2025)

SARS-CoV-2 Spike-Protein Alpha (Movie) Salmonella Injektisom (Movie)

EduNext25, Frankfurt (2025)

Liste weiterer HoloDeck-Vorführungen

• 27.01.2025: Vom FB 10 der JLU Gießen: Prof. Dr. Arnhold (Dekan), Dr. Braun (Dekanatsassistent), Prof. Dr. Hamann (Studiendekanin) und Prof. Geyer - Thema: SARS-CoV2
• 06.02.2025: Prof. Dr. Richard Palmer, Gründer von Grove Nanomaterials - Thema: IgE und Allergien
• 29.04.2025 Augustin Rauch, Stabsabteilung Studium, Lehre, Weiterbildung und Qualitätssicherung (StL) der Servicestelle Hochschuldidaktik der JLU Gießen (HMWK-Projekt: HessenHub - Netzwerk digitale Hochschullehre Hessen) - Thema: Helicobacter pylori
• 02.06.2025: Maraike Büst, Leiterin des "Lab for Innovative Teaching, Project NIDIT" der JLU Gießen - Thema: Helicobacter pylori
• 25.06.2025: VetMed Studierendengruppe - Thema: IgE und Allergene
• 07.07.2025: Luisa Langhoff und Flavia Reyer aus der Frankfurter AG um Prof. Dr. Kraiczy - Thema: Complement-interferierende Borrelia-Proteine und Acinetobacter Beta-Lactamasen
• 05.11.2025: Lab for Innovative Teaching, Standort Gießen (Philosophikum I, Otto-Behaghel-Straße 10, 35390 Gießen, Haus B, Raum 029, Tel.: 0641 99 18052) - Thema: HoloDeck vor Ort einfach mal ausprobieren

Pressespiegel

• Justus-Liebig-Universität Gießen: Pressestelle | Bluesky | Mastodon

HoloDeck 3D-Objektdatenbank

• im Aufbau...