Input
Sprache · Chat · VR Camera
Input & Interaktion
Sprache, Gesten und VR-Kamera als Einstieg — natürliche Interaktion ohne klassisches UI.
- Speech-to-Text & Push-to-Talk
- Hand-Tracking & Widgets in VR
- Unterbrechbare Gespräche
New Media2026· Technische Umsetzung — Unreal Engine, KI-Agenten, Lip-Sync, VR/RL
DORI
DORI macht Gedächtnisverlust digital erlebbar. Die New-Media-Installation verbindet fotorealistische MetaHumans in der Unreal Engine mit hochentwickelten KI-Agenten per Convai (STT/LLM/TTS). Dadurch führen Besucher völlig unskriptierte Live-VR-Gespräche.
Discover project
Services
Unreal Engine · Convai · MetaHuman · Virtual Reality · AI Agents
Thema
Amnesia & Dementia Awareness — Simulation statt Erklärung
Wofür?
Immersive New-Media-Installation angetrieben von intelligenten Sprach-KI-Agenten, Live Lip-Sync und NPC Emotionen.
Rolle
Technische Umsetzung — Unreal Engine, KI-Agenten, Lip-Sync, VR/RL
Framework
HTW Berlin · LIMINAL FIELDS · Kollaboration mit Nicole Ber
Services
Unreal Engine · Convai · MetaHuman · Virtual Reality · AI Agents
Thema
Amnesia & Dementia Awareness — Simulation statt Erklärung
Wofür?
Immersive New-Media-Installation angetrieben von intelligenten Sprach-KI-Agenten, Live Lip-Sync und NPC Emotionen.
Rolle
Technische Umsetzung — Unreal Engine, KI-Agenten, Lip-Sync, VR/RL
Framework
HTW Berlin · LIMINAL FIELDS · Kollaboration mit Nicole Ber
Auf einen Blick
Brain
Convai · LLM · TTS · Memory & Characterization
KI · Memory & Emotion
Convai orchestriert LLM, Gedächtnis und Emotion-Tags — Antworten entstehen in Echtzeit.
- Memory & Charakterisierung
- Emotion-Tags im Dialog
- Dynamische NPC-Reaktionen
Body
MetaHuman · Live generated Lip-Sync · Live Link
MetaHuman & Rendering
Fotorealistische Avatare in UE5 — Lip-Sync, Licht und Partikel für VR-taugliche Performance.
- Live Lip-Sync auf MetaHumans
- 60–90 FPS · Licht & Schatten
- Stimmung durch Partikel & Glas
Hand-Tracking & Projektion · Ausstellung vor Ort
LIMINAL FIELDS · Ausstellung
Implementation
Technische Umsetzung: MetaHumans in Unreal Engine, angetrieben von Convai — Gespräche entstehen live, NPCs reagieren auf Unterbrechungen.
Story und ethischer Rahmen in Kollaboration mit Nicole Ber.
Pipeline
Echtzeit-Stack: Input → LLM mit Memory & Emotion → TTS & Lip-Sync auf MetaHumans.
Demos
VR-Einstieg, Erinnerungsszene, NPC-Dialog und Unreal BTS — Nancy mit Ton im Loop; Hover aktiviert den Sound des jeweiligen Clips.
Startbildschirm in VR
DORI · Einstieg in die Erfahrung.
VR · Szene
Erinnerungsfragment — Unfall im Erlebnis.
Nancy
NPC stellt sich live vor.
NPC ↔ NPC
Zwei Bots im Dialog — unterbrechbar.
Unreal BTS
Follow · Interrupt · Lip-Sync.
Collaboration
Tech
Sarah Abuquaita
Unreal · Convai · VR · Lip-Sync
The Challenge
Amnesia awareness through lived experience — not explanation. Users enter without context: no identity, no place, no backstory. Empathy-driven, without hand-holding or a fixed path.
The Solution
Immersive VR with real-time AI NPCs (Convai, MetaHuman, Unreal): unscripted dialogue, interruptible conversations, and emotional truth instead of tutorial logic.
Unreal EngineConvaiMetaHumanVRLip SyncNew MediaAI NPCExhibited
More Projects
