collabsynth:triggerwand [Project Sci.Com Wiki]

Diese Seite ist nicht editierbar. Sie können den Quelltext sehen, jedoch nicht verändern. Kontaktieren Sie den Administrator, wenn Sie glauben, dass hier ein Fehler vorliegt.
===== Idee ===== 


Mit Hilfe von Lichtsensoren wird ein Schattenspiel zur Tonerzeugung genutzt. Eine
Wand (Triggerwand), die mit einer Matrix von 4x4 Fotoresistoren bestückt ist, wird aus
unterschiedlichen Richtungen von verschiedenfarbigen Lampen beleuchtet.
{{ :collabsynth:vorderansicht_der_triggerwand.jpg?200 |}}
Durch die Positionierung von Körperteilen und Objektion zwischen den Lampen und
der Triggerwand kann ein Tonsignal erzeugt oder verändert werden

----

==== Nutzung der Sensordaten ====

Die Daten können entweder zum Abspielen kurzer Soundsamples, oder zum modellieren
des Soundsignals genutzt werden. Hierbei können durch die Fotoresistoren, die verschiedene Lichtspektren abdecken auch unterschiedliche Modelle verbunden werden.

----

=== Ideen zur Soundgestaltung ===

{{ :collabsynth:draufsicht_triggerwand.png?200 |}}

  * Je Sensorposition wird in regelmäßigen Abständen ein Soundsample abgespielt. Durch Schattenbildung der verschiedenen Lichtquellen kann das abgespielte Sample in der Tonhöhe oder der Lautstärke verändert oder mit Filtern belegt werden
  * Die Triggerwand wird in verschiedene Bereiche aufgeteilt (bspw. 4 Quadrate aus jeweils 4 Sensorpositionen), die jeweils einem Effekt oder einer Tonmodulation zugeordnet sind. In Abhängigkeit von von der Anzahl der abgedeckten Sensorpositionen wird der zugeordnete Effekte bzw. Modulation stärker oder schwächer angewendet
  * Jedem Fotoresistor ist ein Soundsample zugeordnet. Durch Bewegungen entsteht eine vielfältige Geräuschkulisse


==== Sensoraufbau ====

Es wird insgesamt 16 Sensorpositionen geben. Jede Position besteht aus 3 Fotoresistoren
für je eine Lichtfarbe (und einer Leuchtdiode für visuelles Feedback). Die Differenzierung
der Lichtfarben werden farbige Folien vor den Fotoresistoren verwendet. Jeweils zwei
Sensorpositionen (also 6 Fotoresistoren) werden von einem Arduino nano ausgelesen.
Die insgesamt 8 Mikrocontroller kommunizieren über I2C. Einer der Mikrocontroller
muss jedoch als USB-Host fungieren können damit von der Triggerwand ein MIDI-Signal
ausgegeben werden kann.

{{ :collabsynth:draufsicht_sensor_triggerwand.png?200 |}}

===== Umsetzung =====

Während der Umsetzung haben wir uns dafür entschieden vorerst auf die Farbkodierung zu verzichten. Somit erhöht sich die Anzahl der Sensorpositionen von zwei pro Arduino auf bis zu sechs pro Arduino. Auf diese Weise konnten wir einen Prototypen mit 16 Sensorpositionen (d.h. 16 Fotoresistoren) mit nur 3 Arduinos bauen. Statt einem Mikrocontroller als USB-Host verwenden wir nun einen Raspberry Pi um die Werte von den verschieden Arduinos bzw. Sensoren zu aggregieren und zu verarbeiten.

{{ :collabsynth:img_3807.jpeg?400 |}}

Das Bild zeigt die Rückseite des ersten Triggerwand-Protoypen. Wir haben eine 8x2 Matrix aus Fotoresitoren gebaut, welche einfach direkt in die Pappwand gesteckt haben. Bisher ist es möglich einen externes Gerät zur Sounderzeugung via MIDI anzusteuern. 

==== Prototyp eines Sensormoduls ====
{{ :collabsynth:img_3811.jpeg?200 |}} 
Die Sensoren sollen flexibel auf einem Untergrund befestigt werden können. Für den tatsächlichen Einsatz müssten wir die Pappwand durch einen wetterbeständigeren und stabileren Untergrund ersetzen. Möglichkeiten dafür wären bspw. Styropor auf einer Holzwand oder Folie in einem Rahmen aufgespannt.

==== Platinenaufbau ====
{{ :collabsynth:img_3813.jpeg?400 |}} {{ :collabsynth:img_3815.jpeg?400 |}}
In der auf dem Bild abgebildeten Version der Schaltung ist noch ein Fehler enthalten, da wir vergessen haben die Fotoresitoren in einer Voltage Divider Schaltung mit den Arduinos zu verbinden. ((https://cdn.sparkfun.com/assets/resources/4/4/input_photoresister.pdf))

==== Code ====
https://github.com/wuxmax/mensch-musik-maschine

Unsere Software-Implementierung besteht aus zwei Teilen: C++ Code, der auf dem Arduino läuft und Python Code, der auf dem Raspberry Pi läuft.

Während der Arduino-Code recht simpel ist und auch so bleiben wird, entwickeln wir die Raspi-Code noch weiter.
Der Rapsi-Code ist modular und konfigurierbar konzipiert. Aktuell gibt es Module für folgedne Zwecke: 
  * Auslesen der Sensordaten
  * Verarbeitung der Sensordaten (aktuell Transformation in MIDI Noten)
    * Aktuell sind ein einfaches Keyboard und ein einfacher Sequencer implementiert
  * Ansteuern des externen MIDI-Gerätes
  * Visaulisierung des Sensor-Werte-Matrix im Terminal

===== Ausblick =====

 * Hardware
    * Erweiterung auf 48 Sensoren (bspw. 5x8 oder 3x16, ist aber flexibel)
      * Bau von 5 weiteren Arduino-Boards
    * Prototyp zu robustem Aufbau
      * Transfer auf einen anderen Untergrund
      * Fixierung der Platinen, Kabel, etc.
    * Experimentieren mit verschiedenen Beleuchtungssituationen
  * Software
    * Robostere Datenverabeitung (bspw. adaptives Clusteringverfahren zur bestimmung der Trigger-Schwellwerte)
      * Ziel ist es, dass sich das System permanent an veränderte Lichtverhältnisse anpassen kann
    * Sounderzeugung vollständig auf dem Raspi (oder leistungsfähigerem Computer, falls notwendig)
      * Hier müssen wir uns noch damit auseinandersetzen, welche Software sich am besten dazu eignet und wie sie sich ansteuern lässt (Kandidaten sind PureData, Max, Ableton, etc.)
    * Automatische Zuordnung von I2C-Adressen via eines Konfigurationsmodus, bei dem die Sensoren in einem festgelegten Muster nacheinander angeleuchtet werden