The Art of Designing Sound for Spaces
011
Vorwort – Sibylle Lichtensteiger
Why Sound
020 Editorial
024
Dieses Buch klingt
026
Über die Wirkung von Klängen
011
Foreword – Sibylle Lichtensteiger
Why Sound
020 Editorial
024 A Book You Can Hear
026 On the Impact of Sounds
Holistic Sound Scenography
036
Der direkte Weg zu immersivem Klang im Raum
038
Sieben Schritte zur Holistic Sound Scenography
042 Sounds of Silence – Sound formt Raum und Zeit
062
Realtime Binaural Sound (Research Input)
Holistic Sound Scenography
036 The Direct Way to Immersive Sound in Space
038 Seven Steps towards a Holistic Sound Scenography
042 Sounds of Silence – Sound Shapes Space and Time
062
Realtime Binaural Sound (Research Input)
Sound Space
Architecture
068
Die symbiotische Beziehung von Klang und Raum
078
National Museum of Qatar – Komplexe RaumklangArchitektur
106
Akustische Simulationen (Research Input)
108
Schindler City Center – Klangszenografie für Markenräume
126
3D-Sound-Technologien (Research Input)
Perspectives on Sound
132
Idee und Klang Audio Design vernetzt sich mit der Welt und trifft auf Soundverwandte
134
Interviews mit Bettina Mittelstrass, Daniel Hug, Cathy van Eck, Ludwig Berger, Martin Lachmann, Christian Zehnder, Peter Phillippe Weiss, Beat Gysin, Daniel Dettwiler
Sound Space Architecture
068
The Symbiotic Relationship of Sound and Space
078
National Museum of Qatar – Complex Spatial Sound Architecture
106
Acoustic Simulations (Research Input)
108
Schindler City Center – Sound Scenography for Brand Spaces
126
3D Sound Technologies (Research Input)
Perspectives on Sound
132
Idee und Klang Audio Design Networks with the World and Finds Sound Soulmates
134
Interviews with Bettina Mittelstrass, Daniel Hug, Cathy van Eck, Ludwig Berger, Martin Lachmann, Christian Zehnder, Peter Phillippe Weiss, Beat Gysin, Daniel Dettwiler
Dieses Buch klingt A Book You Can Hear
Mit den QR-Codes, die in diesem Buch zu finden sind, können Klangbeispiele direkt abgerufen und während des Lesens angehört werden. Um den Code mit einem mobilen Endgerät (etwa Smartphone oder Tablet) zu scannen, sollten die folgenden Schritte beachtet werden.
Öffnen Sie die Kamera-App.
Richten Sie das Kamerafenster auf den QR-Code, bis das Gerät den Code erkennt.*
Tippen Sie auf den erscheinenden Link, um das zugeordnete Klangbeispiel zu öffnen.
You can use the QR codes in this book to access sound clips and listen to them while you read. Please follow the steps below in order to scan the code with your mobile device (such as a smartphone or tablet).
Open the camera app.
Point the camera at the QR code until it is recognized by your device.*
Tap on the link that appears to open the corresponding sound clip.
Soundbeispiel mit QR-Code
Sound example with QR-Code
Scannen Scan
Hören Hear
* Falls Ihr Gerät nicht automatisch den QRCode erkennt, installieren Sie bitte eine QR-Code-Scanner-App. Öffnen Sie dann die App und folgen Sie Schritt 2 bis 3.
Klangbeispiele können auch direkt über den folgenden Link abgerufen werden: ideeundklang.com/sound-scenography/ play.html
Zum Erzielen des bestmöglichen Klangerlebnisses empfehlen wir das Hören mit ohrumschliessenden Kopfhörern.
* Should your device fail to automatically recognize the QR code, please install a QR code scanner app. Open the app and follow steps 2 through 3.
You can access the sound clips directly using the following link: ideeundklang.com/sound-scenography/ play.html
For the best possible sound experience, we recommend using ear-enclosing headphones.
Wie echt – aber über Kopfhörer – Realtime Binaural Sound
Just
Like Reality –
But via a Headset – Realtime Binaural Sound
Wenn die räumlichen Bedingungen einer Ausstellung einen offenen Raumklang nicht zulassen (etwa wegen der Nähe zu benachbarten Räumen oder Installationen), kann 3DSound auch über Kopfhörer in Echtzeit generiert werden. Man nutzt dazu die sogenannte binaurale Sound-Technologie.
Bei dieser Technologie handelt es sich um ein spezielles Tonaufnahme- und Wiedergabeverfahren, das eine räumliche Klangverortung des Hörenden ermöglicht. Bei der viel weiter verbreiteten Stereoaufnahme werden nur die Laufzeitunterschiede oder eine unterschiedliche Ausrichtung zwischen dem rechten und dem linken Mikrofon aufgezeichnet. Bei der binauralen Aufnahme hingegen werden auch Faktoren wie die Kopf- und Ohrmuschelform beim Aufnahmeprozess berücksichtigt. Trifft nämlich ein Klang von oben oder unten auf unser Ohr, wird er dank unserer asymmetrischen Körper- und Ohrmuschelform leicht anders reflektiert, was zu minimalen, aber unterschiedlichen Klangfärbungen führt. Unser Gehirn kann
When the spatial conditions of an exhibition do not permit sound in the open (perhaps because of proximity to other exhibitions or installations), then 3D sound can be generated in real time via headphones. To achieve this, we use binaural sound technology.
This technology involves a special sound recording and playback procedure that permits listeners to localize sound in space. The much more common form of stereo recording only captures the interaural time difference or the different directions for the right and left microphones, whereas binaural technology also takes into account factors such as the shape of the listener’s head or outer ear when recording. When a sound arrives at our ear from above or below, the asymmetrical shapes of our bodies and outer ears reflect it slightly differently, which leads to minimal but nonetheless different tone colors. Our brain can interpret these tone colors and inform us whether a sound is coming from above and in front of us or from below and the left, for example. This information we receive when perceiving sound
diese Klangfärbungen interpretieren und uns mitteilen, ob ein Geräusch etwa von vorne oben oder unten links ertönt. Diese im wahrgenommenen Klang enthaltenen Informationen können bei der Aufnahme direkt mit aufgezeichnet werden, zum Beispiel indem man zur Aufnahme kleine Mikrofone verwendet, die direkt in die Ohren einer Person gesteckt werden, oder mithilfe eines sogenannten Kunstkopfes. Sie können aber auch künstlich durch spezielle Filter nachträglich hinzugefügt werden.
Kombiniert man die bereits in den 1980er-Jahren entwickelte binaurale SoundTechnologie jedoch mit einer interaktiven Programmierung, kann in einem Raum eine begehbare dreidimensionale Klanglandschaft aufgebaut werden. Ein Motion-TrackingSystem ermittelt die Position und Kopfrotation aller Personen im Raum. Ausgehend von diesen Daten kann die jeweilige Hörperspektive der einzelnen BesucherInnen in Relation zu ihrer umgebenden Klanglandschaft fortlaufend in Echtzeit errechnet werden. Das ermöglicht ein komplettes Eintauchen und individuelles Interagieren, wodurch das Gefühl von Bewegung in einer realen Klanglandschaft entsteht, denn sämtliche Klänge kommen immer aus der korrekten Richtung und Distanz, unabhängig davon, in welche Richtung der Besucher schaut oder geht.
Durch diese Überlagerung des virtuellen dreidimensionalen Klangraums mit der realen, visuellen Umgebung ergibt sich eine Art «Augmented Reality».
can be directly recorded either by using small microphones that are placed inside a person’s ears or by using a so-called dummy head. The information can also be artificially added later by using special filters.
When binaural sound technology, which was first developed in the 1980s, is combined with interactive programming, it is possible to construct a three-dimensional walk-in soundscape in a room. A motion tracking system calculates the positions and the head rotation of all the people in the room. These data can be used to continually work out in real time the individual listening perspectives of each visitor in relation to the ambient soundscape. This enables complete immersion and individual interaction, with a sense of movement in a real soundscape as all the sounds are emanating from the right direction and distance, no matter which way the visitor is looking or walking. This overlapping of a virtual three-dimensional sound space with a real visual environment leads to a form of augmented reality.
DesignerInnen einsetzen dürfen, damit das Zusammenspiel der einzelnen Galerien in dieser offenen Architektur funktioniert. Bei der Definition dieser «Regeln» mussten wir sehr restriktiv vorgehen: Die gesamte Klangästhetik musste sehr dezent und soundscapeartig komponiert werden, vorzugsweise basierend auf Naturgeräuschen, denn Geräuschwelten sind besser verträglich und angenehmer und somit in einem gewissen Sinne neutraler als zum Beispiel Gesang, Sprache oder prägnante Melodien, welche die KomponistInnen aus diesen Gründen nicht einsetzen durften. Zum anderen laufen die Filme im Loop mit einer Dauer von jeweils 5 bis 15 Minuten. Wären den ganzen Tag die gleichen Melodien zu hören, würden BesucherInnen und erst recht MitarbeiterInnen sehr empfindlich reagieren. Das heisst aber nicht, dass keine «musikalischen» Elemente verwendet werden durften. Der Komponist Jean Poinsignon beispielsweise, welcher für den Soundtrack der zweiten Galerie mit dem Thema «Natural Environments» verantwortlich war, kreierte musikalische Strukturen und Klangflächen, die er aus transponierten und bearbeiteten Vogelstimmen generierte und welche sich ganz selbstverständlich mit den «naturbelassenen» Tierstimmen verwoben.
Parallel zum Style-Guide-Prozess fand die akustische und elektroakustische Planung statt. Da bereits einige Monate nach Auftragserteilung die ersten Lautsprecher eingebaut werden sollten, musste diese Aufgabe unter Hochdruck erledigt werden. Die grössten Herausforderungen stellten dabei die Raumstruktur und die akustischen Bedingungen im Museum dar. Es gab keine abgeschlossenen Räume, sondern zwölf ineinander verschachtelte Galerien. Die Übergänge zwischen den Galerien waren also meist fliessend. Zudem waren sämtliche Wände, Decken und manchmal auch die Böden angewinkelt, oft auch konkav oder konvex geformt, was eine Vielzahl von unvorhergesehenen Fokussierungs- und Reflexionspunkten nach sich zog. Um diese komplexe Situation in den Griff zu bekommen, war die Erstellung einer Akustiksimulation unabdingbar. Unser Partnerbüro WSDG realisierte diese und glich die Modelldaten mit Messungen vor Ort ab. Daraus konnten
posed in a manner that was very low-key and resembled a soundscape, preferably based on sounds from the natural world. This was because such sound environments are easier on the ear and more pleasant. It also gives them a greater degree of neutrality than, for instance, song, the spoken word, or striking melodies, which the participating composers were therefore asked not to use. On the other hand, the films would be played in loops lasting from five to fifteen minutes. If the same melodies were repeated throughout the entire day, the visitors, and the museum staff in particular, would react very negatively to them. But that did not preclude the use of any “musical” elements at all. The composer Jean Poinsignon for instance, who was responsible for the soundtrack to the second gallery entitled “Natural Environments,” created musical structures and soundscapes from transposed and processed birdsong, which were then interwoven quite seamlessly with the more “natural” animal noises.
The acoustic and electro-acoustic planning took place parallel to the process of developing the style guide. Given that the first loudspeakers were already due to be installed just a few months after the contract had been awarded, we were under a lot of pressure to finish this task as quickly as possible. The greatest challenges here were presented by the spatial structure and the acoustic conditions in the museum. Instead of fully enclosed spaces, there were twelve galleries nested inside one another, meaning that, for the most part, the transitions between the galleries were gradual. In addition, all the walls, ceilings, and sometimes even the floors were at an angle, often with concave or convex shapes, resulting in a large number of unpredictable acoustic focal and reflection points. In order to get a grip on this situation, we had no choice but to create an acoustic simulation. Our partner firm WSDG took on this task, comparing the data from the model with the on-site measurements. As a result we were able to develop a fundamental understanding of the spatial acoustics of the building, and hence to virtually simulate all the different speaker types, along with their numbers and positions. A further problem came from the limitations of the consistently visible architecture, which did not envisage the usual kind of non-illuminated technical ceilings,
Im installativen Bereich wie bei Museumsausstellungen können sich die BesucherInnen zwar normalerweise frei bewegen und somit das Tempo und den Ablauf der Dramaturgie beeinflussen, jedoch sind die Klangquellen fest verortet und der akustische Raum bleibt an sich bewegungslos. Bewegte Schallquellen sind fast ausschliesslich im Bereich akustischer Skulpturen und Klanginstallationen anzutreffen.
Bei Schindler ist Bewegung eine treibende Kraft. Menschen werden in Aufzügen, auf Rolltreppen und Fahrsteigen in der vertikalen und horizontalen Ebene bewegt. Als Projektleiter und Lead Sound Designer ist mir bei der Betreuung dieses Projektes klar geworden, dass sich dadurch aus klangszenografischer Perspektive ein Unterschied zwischen zwei grundlegenden Bewegungsprinzipien in Bezug auf Klangräume ergibt: Das erste Prinzip wird in der ersten Installation, dem Auftakt der Besucher-Experience, ersichtlich: In das Schindler City Center gelangen die BesucherInnen über eine Rolltreppe, die klanglich durch verschiedene Zonen führt, von einer ländlichen bis hin zu einer urbanen Soundscape.
Hierbei handelt es sich um ein Paradebeispiel für eine lineare Führung durch einen immersiven Klangraum. Die Narration wird durch die Fahrt auf der Rolltreppe erzielt. So bewegen sich die BesucherInnen linear durch einen Erzählstrang, als würden sie sich durch ein Hörspiel bewegen. Das Timing und die Aufteilung der Zonen war bei der Mischung eine grosse Herausforderung, da man die Experience nur mit der fahrenden Rolltreppe wirklich nachvollziehen konnte. Und im fahrenden Betrieb war es nicht möglich, an einem bestimmten Punkt zu verweilen, geschweige denn mal eben schnell an eine Stelle zurückzukehren. Auf diese Weise wurde die Arbeit an der Mischung zu einem regelrechten Fitnessprogramm. Im Gegensatz zur Rolltreppe ist ein Aufzug ein relativ kleiner, akustisch geschlossener Klangraum. Dieser bewegt sich durch eine Klangumgebung, die von innen für die Passagiere nicht wahrnehmbar ist, was das zweite Bewegungsprinzip der Klangräume darstellt. Im von uns mitkonzipierten Erlebnis im Schindler City Center wird die Bewegung in
With sound installations such as those found in museum exhibitions, while visitors are normally able to move about freely and can thus influence the pace and sequence of the dramaturgy, the sound sources themselves remain static and the acoustic space remains motionless. Moving sound sources are encountered almost exclusively in acoustic sculptures and sound installations.
Movement is a driving force for Schindler, whose products are used to transport people in elevators and on escalators and moving walkways both vertically and horizontally. As the project’s manager and lead sound designer, one thing became clear to me as the work progressed: that from the perspective of sound scenography, we can differentiate between two fundamental principles of movement in relation to sound spaces. The first principle becomes evident in the first installation, which is where the visitors’ experience commences. Visitors to the Schindler City Center are transported by means of an escalator that moves them through various auditory zones, starting with a rural soundscape and ending with something more urban.
It is a prime example of linear movement through an immersive sound space. The narrative arises from the journey on the escalator, which takes visitors in a straight line along the narrative thread as if they were moving through a radio drama. The timing and dividing up the zones was one of the greatest challenges we faced while devising the sound mix, because the acoustic experience could only be worked on while actually riding on the escalator. But once on the escalator it was impossible to stop at a specific point, much less swiftly return to a previous point. All of this movement meant that working on the installation was more akin to taking part in a fitness program. The elevator, however, in contrast to the escalator, offers a relatively small, acoustically enclosed sound space moving through a sound environment that the passengers cannot hear – which brings us to the second principle of movement in relation to sound spaces. In the experience we designed for the Schindler City Center, movement in an elevator is simulated by means of imagery and sound in static, standing spaces. The “Cube Installation,” which in principle corresponds to a cinema, tells a
Schindler
einem Aufzug über Bild und Ton in stehenden statischen Räumen simuliert. Die sogenannte Cube-Installation, die vom Prinzip her einem Kino entspricht, erzählt eine Geschichte, welche aus mehreren virtuellen Liftfahrten besteht. Der Raum wurde mit einem Auro-3D-System und einer 270-Grad-Projektion ausgestattet. Durch den geschickten Einsatz von Bild und Ton und das Ausblenden des physischen Raumes entsteht für die BesucherInnen das Gefühl eines Raumes in Bewegung. Ein ähnliches Vorgehen haben wir bei der sogenannten R&D-Station gewählt: Diese stellt einen auf zwei Seiten hin geöffneten Fahrstuhl dar. Im Inneren sind die Wände vorne und hinten sowie die Decke mit Video-Screens ausgestattet. Der obere Screen ermöglicht einen Ausblick in einen Liftschacht. Dies unterstützt auch visuell das Erlebnis der vertikalen Bewegung einer
story consisting of a number of different elevator rides. The room was equipped with an Auro3D system and imagery projected through 270 degrees. The deft use of imagery and sound combined with blocking out the physical space allows visitors to feel as if they are standing in a moving room. We adopted a similar approach in the design of the “R&D Station,” which resembles an elevator car open on two sides. Video screens are mounted on the front and back walls as well as on the ceiling, with the latter offering a view into the elevator shaft, thereby visually conjuring up the feeling of moving vertically in an elevator. A custom designed 3D loudspeaker system ensures the elevator ride is a vivid and palpable experience. As part of the sound design process, we created noises that simulate the sound of an accelerating motor (and other similar sounds with rising and falling pitches), inserted “shakers” under the
Liftfahrt. Durch ein massgeschneidertes
3D-Lautsprechersystem wird die Illusion der Liftfahrt sehr lebhaft und spürbar. Hierfür gestalteten wir im Sound Design Klänge, die zum Beispiel die Beschleunigung eines Motors (und ähnliche Geräusche mit steigender/ fallender Tonhöhe) simulieren, und liessen die Bodenplatten mittels Shaker vibrieren sowie Sounds vorbeirauschen, um so eine realistische Liftfahrt erlebbar zu machen. Abgesehen von der Wahrnehmung der Beschleunigung und Verzögerung durch den Gleichgewichtssinn kann die Liftfahrt mit Bild und Ton somit sehr umfassend simuliert werden.
Aufzüge sind ein sehr eigentümliches Transportmittel, da Antrieb und Technologie für die BenutzerInnen grösstenteils im Verborgenen bleiben. Das City Center von
floor panels to make them vibrate, and added “rushing past” sounds; together these all generated the feeling of a real elevator ride. Sound and imagery can provide a highly immersive experience, with the sole exception being the acceleration and braking that we perceive through our sense of balance.
Elevators are a very curious form of transportation, because the motor and technology that drives them are kept almost entirely out of the user’s view. The Schindler City Center grants visitors a detailed look at all of these background processes, from research and design to production, implementation, and maintenance. In our multimedia installations – which in some cases are also interactive – our task was to provide sounds for Schindler’s products. This posed an immense challenge, as these modes of transportation work relatively quietly
Sound macht Unbeschreibliches hörbar.
Sound Makes the Indescribable Audible.
Das Imperial War Museum London hatte sich 2011 im Zuge einer Neukonzeption der Ausstellung zukunftsweisende Standards des Geschichtenerzählens im Museumsraum zum Ziel gesetzt. Mithilfe einer neuen, medial unterstützten Szenografie konnte die neu gestaltete Ausstellung schliesslich 2014 eröffnet werden.
In 2011, the Imperial War Museum London redesigned its exhibition and included the aim of creating new and forward-looking standards of museum storytelling. The new exhibition design with innovative mediasupported scenography was opened in 2014.
Klangszenografie – The Art of Designing Sound for Spaces widmet sich ganz der Inszenierung von Räumen und Umgebungen durch Klang. Als Disziplin, die sich aus der Szenografie entwickelt hat, kommt Klangszenografie vor allem im Ausstellungskontext wie zum Beispiel in Museen oder Medieninstallationen, aber auch in Geschäften, Erlebnisparks, Spas oder Empfangs- und Schalterhallen zur Anwendung. Die dadurch entstehenden «Klanglandschaften» haben die Kraft, visuelle Inhalte oder ganze Räume mit einer neuen Bedeutung zu versehen. Die Publikation spürt dem noch jungen Thema Klangszenografie und dessen Bedeutung nicht nur für Museen und Ausstellungen nach. Essays und Interviews ausgewiesener ExpertInnen aus der Klangforschung und -praxis beleuchten einzelne Aspekte des Sujets. Zahlreiche Projektbeispiele und persönliche Erfahrungsberichte werfen darüber hinaus Schlaglichter auf das Schaffen des Basler Ateliers Idee und Klang Audio Design und die Praxis im Bereich Audiokreation. Hörbeispiele, die mittels QR-Codes abgerufen werden können, erweitern das Buch um eine auditive Dimension.
Sound Scenography – The Art of Designing Sound for Spaces, is devoted entirely to staging spaces and settings by means of sound. As a discipline that developed out of conventional scenography, sound scenography primarily plays a role in exhibition scenarios such as museums or media installations, but also in businesses, amusement parks, spas, reception areas, and ticket halls. These soundscapes have the power to impart new meanings to visual content or entire spaces. Tracing the emergent discipline of sound scenography and explaining its significance, this book moves beyond the realm of museums and exhibitions. Essays by recognized researchers and handson sound professionals focus on individual aspects of the subject. Moreover, with numerous examples of typical projects and individuals describing their own personal experiences, the publication highlights the work of the Basel-based studio Idee und Klang Audio Design and more generally explores the practical side of audio creation. There is an auditory dimension to the book, too, with the essays supplemented by audio examples that can be streamed using QR codes.