reactable for iPad

ด้วยเหตุผลว่า reactible มาลง iPad/iPhone ให้เราทดลองเล่นในราคา $10 แล้ว เลยถือโอกาส นำบทความเก่า 3 ปีก่อนมา Republish ในที่นี่อีกครั้งครับ

นวัตกรรมทางเสียง : reactable 

ตีพิมพ์ครั้งแรก The Absolute Sound & Stage ปี 2007 

“The reactable is a collaborative electronic music instrument with a tabletop tangible multi-touch interface”

 

 

 

เมื่อ 2 ปีก่อน ผู้เขียนเคยนำเสนอเรื่องราวของ “AudioPad” ผลงานของนักศึกษา MIT Media Labs มันเป็นโต๊ะที่มีตัวหมาก (Tangible Interface) สำหรับควบคุมการเกิดเสียงดนตรีในรูปแบบต่าง ๆ โดยมีการฉายภาพ (Visual Feedback) ลงบนโต๊ะเพื่อให้ผู้เล่นสามารถรับรู้ได้ว่ากำลังทำอะไร และเกิดอะไรขึ้น หัวใจสำคัญของ AudioPad คือ Matrix Antenna ที่คอยจับตำแหน่งของตัวหมากที่เก็บวงจร LC อยู่ข้างใน 

มาวันนี้ผู้เขียนขอนำเสนอโปรเจกต์ที่มีแนวคิดคล้าย ๆ กัน ต่างกันเพียงแค่การใช้ Matrix Antenna มาเป็นระบบ Computer Vision ในการจับตำแหน่งของตัวหมาก กับโปรเจกต์ที่ชื่อว่า “reactable” ครับ

 

reactable นั้นไม่ใช่ของใหม่เสียทีเดียว หากแต่เริ่มพัฒนากันมาตั้งแต่ปี 2003 ภายใต้การนำทีมของ  Dr. Sergi Jordà แห่งทีม “Interactive Sonic Systems” เป็นทีมย่อยของกลุ่ม Music Technology Group ของสถาบัน Audiovisual ของมหาวิทยาลัย Pompeu Fabra à¹ƒà¸™à¸šà¸²à¹€à¸‹à¹‚ลน่า ประเทศสเปน มีจุดมุ่งหมายในการออกแบบสร้าง Musical Interface ใหม่ ๆ ไม่ว่าเป็น Tangible Music Instrument à¸«à¸£à¸·à¸­à¸‹à¸­à¸Ÿà¸•à¹Œà¹à¸§à¸£à¹Œà¸”นตรีบนโทรศัพท์มือถือ

แนวคิดในการออกแบบ reactable นั้น มีกฏหลักอยู่ 5 ข้อง่าย ๆ ดังนี้ครับ
 

•  à¹€à¸¥à¹ˆà¸™à¸žà¸£à¹‰à¸­à¸¡à¸à¸±à¸™à¹„ด้ครั้งละหลายคน ไม่ว่าจะเล่นผ่านโต๊ะเดียวกัน หรือเล่นพร้อมกันจากคนละโต๊ะ
•  à¹€à¸¥à¹ˆà¸™à¹„ด้โดยสัญชาตญาณ ไม่จำเป็นต้องอ่านคู่มือหรือคำสั่งใด ๆ 
•  à¹€à¸ªà¸µà¸¢à¸‡à¸•à¹‰à¸­à¸‡à¹€à¸›à¸¥à¸µà¹ˆà¸¢à¸™à¸•à¸²à¸¡à¸à¸²à¸£à¹€à¸¥à¹ˆà¸™à¹„ด้อย่างน่าสนใจ
•  à¹à¸¡à¹‰à¹à¸•à¹ˆà¹€à¸”็ก ๆ ก็เรียนรู้ที่จะเล่นใหà¹
  ‰à¹€à¸à¹ˆà¸‡à¸‚ึ้นได้ 
•  à¹€à¸¥à¹ˆà¸™à¹„ด้ทั้งคนที่ไม่รู้ดนตรีมาก่อน และศิลปินเก่ง ๆ ก็สามารถนำไปเล่นบนคอนเสิร์ตได้

รายละเอียดทางเทคนิคและฮาร์ดแวร์

 

 

 

reactable ประกอบด้วยโต๊ะกลมโปร่งแสง à¸•à¸´à¸”กล้องไว้ใต้โต๊ะ เพื่อคอยจับตำแหน่งของตัวหมาก à¹à¸¥à¸°à¸•à¸³à¹à¸«à¸™à¹ˆà¸‡à¸‚องนิ้วมือผู้เล่น à¹‚ดยกล้องจะส่งข้อมูลนี้ เข้าไปยังคอมพิวเตอร์ที่รันซอฟต์แวร์ reacTIVision (จะกล่าวถึงต่อไป) ซอฟต์แวร์ reacTIVision จะวิเคราะห์การเล่นของผู้เล่น และส่งข้อมูลไปยัง TUI Application เพื่อสั่งงานโปรเจกเตอร์ที่วางอยู่ใต้โต๊ะเช่นกัน ให้ฉายภาพ Visual สวย ๆ กลับมาบนโต๊ะ เพื่อรายงานสถานะต่างๆ ให้ผู้เล่นได้รับทราบ ส่วนเสียงก็จะนำข้อมูลจาก reacTIVision ส่งต่อไปสร้างด้วยซอฟต์แวร์ซินธีไซเซอร์อีกทีหนึ่งครับ 

 

 

 

Fiducials ในรูปแบบต่าง ๆ 

ตัวหมากจะมีภาพ Fiducial อยู่ที่ด้านใต้ของตัวหมาก (หมากบางตัวมี Fiducial ติดอยู่รอบด้าน) เพื่อใช้เป็นเป้าหมายให้กล้องจับ ภาพ Fiducial เป็นภาพขาวดำ ประกอบด้วยจุดและวงกลมในรูปแบบต่าง ๆ ให้ซอฟต์แวร์ reacTIVision จับตำแหน่ง และตีความหมายของการที่ผู้เล่นขยับหมากอีกทีหนึ่ง อย่างเช่นหากผู้เล่นหมุนตัวหมาก ไปตามทิศทางตามเข็ม หรือทวนเข็มนาฬิกา ซอฟต์แวร์ reacTIVision ก็เข้าใจได้ แลà¸
°à¸ªà¸²à¸¡à¸²à¸£à¸–แยกออก

ส่วนใหญ่แล้ว ตัวหมากจะเป็นแบบแบน มีภาพ Fiducial ติดอยู่แค่ภาพเดียว แต่บางอันก็เป็นลูกบาศก์ ติด Fiducial รอบด้าน เพื่อให้เราใช้งานมันได้หลายฟังก์ชันด้วยหมากตัวเดียวครับ

ถ้าจะนำ reactable ไปเปรียบเทียบกับ AudioPad แล้ว จะเห็นว่านอกจากวิธีการจับตำแหน่งของตัวหมากแล้ว ยังมีจุดแตกต่างที่สำคัญอีกอย่างคือวิธีการสร้างเสียงครับ AudioPad จะใช้โปรแกรม Ableton Live ในการเล่นเสียงดนตรีที่เตรียมไว้ก่อนล่วงหน้า ขณะที่ reactable จะสร้างเสียงด้วยรูปแบบเดียวกับโมดูลาร์ซินธ์ โดยใช้หมากแต่ละตัว à¹à¸—นแต่ละองค์ประกอบของซินธ์อย่าง ฟิลเตอร์ ออสซิวเลเตอร์ มอดดูเลเตอร์ ซีเควนเซอร์ ส่วนวิธีการเล่น จะใช้การเคลื่อนตัวหมากไปในทิศทางต่าง ๆ เพราะระยะห่างระหว่างหมากแต่ละตัวนั้น มีผลต่อพารามิเตอร์ของซินà
¸˜à¹Œ ไปจนถึงการหมุนตัวหมาก ก็เป็นการเปลี่ยนพารามิเตอร์เช่นกัน

นอกจากหมากที่ใช้เป็นตัวแทนของโมดูลต่าง ๆ ของซินธ์แล้ว ยังมีหมากพิเศษอย่าง radar จะใช้ทริกเกอร์การทำงานของหมากตัวอื่น ๆ เป็นคาบเวลา (Periodic Trigger) และหมากสำหรับใช้จำกัดการทำงานของ VCO ให้สร้างโน้ตที่อยู่ในบันไดเสียงต่าง ๆ 

ตัวอย่างการเล่น

 

 

 

แสดงให้เห็นจุดสีขาว ที่ทำหน้าที่เป็น Output

หากผู้เล่นวางหมากที่ชื่อ VCO ลงไปบนโต๊ะ ซินธ์จะเพิ่มโมดูล VCO เข้าไป และจะแสดงภาพ Waveform ออกมาระหว่างตัวหมากกับ �Output� (จุดสว่างที่อยู่ตรงกลางโต๊ะ) และจะมีวงกลมขึ้นมาล้อมตัวหมาก เพื่อให้เราใช้นิ้วจิ้มลงบนโต๊ะเพื่อควบคุมความดังของ VCO ส่วนการหมุนตัวหมากเป็นการเปลี่ยนความถี่ 

 

 

 

และหากเราวางหมาก Filter เข้าไปแทรกระหว่างหมาก VCO กับ Output ตัว Waveform ของ VCO จะไปเชื่อมกับหมาก Filter แทน และจะมี Waveform ต่อไปยัง Output อีกที หรือหากเราวางหมาก LFO ไว้ใกล้ ๆ VCO ตัว Waveform ก็จะไปเชื่อมโยงระหว่างหมากทั้งสองตัวเข้าด้วยกัน และ LFO ก็จะทำหน้าที่มอดดูเลทการทำงานของ VCO ได้ทันที

ซอฟต์แวร์ reacTIVision

reacTIVision เป็นซอฟต์แวร์หลักที่ใช้ในการจับตำแหน่งของภาพ Fiducials เพื่อให้เราสามารถสร้าง Tangible Interface ในการควบคุมเสียงหรืออะไรก็ตามได้ แต่จุดที่น่าสนใจที่สุดคือ reacTIVision เป็นซอฟต์แวร์โอเพ็นซอร์à
¸ª ทำให้พวกเราหรือใครก็ตามที่สนใจจะทำ Tangible Interface แบบนี้ ลดเวลาลงไปได้ครึ่งหนึ่ง เหลือแต่เพียงส่วนที่ทำ Visual Feedback และออกแบบวิธีการเล่น 

 

 

 

ภาพ Fiducials ที่ปรากฏบนโปรแกรม reacTIVision

ในกรณีของ reactable (อย่าพึ่งสับสนนะครับ ractable คือเครื่องดนตรีที่ใช้ reacTIVision เป็นส่วนหนึ่งของระบบ) ภาพวิดีโอที่ส่งเข้ายังคอมพิวเตอร์จะถูกซอฟต์แวร์ reacTIVision จับตำแหน่งพิกัด (Cartecians) และตำแหน่งหมุน (Rotational) ของภาพ Fiducials ที่แปะอยู่บนหมากแต่ละตัว มาผ่านการตีความที่ออกแบบไว้ก่อนแล้ว ว่าหมากแต่ละตัวนั้น
ทำหน้าที่อะไร ก่อนที่จะส่งข้อมูล Open Sound Control ไปยังซอฟต์แวร์ซินธีไซเซอร์ครับ ระบบนี้ยังสามารถส่ง MIDI หรือแม้แต่โปรโตคอลพิเศษอย่าง TUIO ที่ออกแบบมาเพื่องานนี้โดยเฉพาะ

reacTIVision ยังออกแบบมาเพื่อให้สามารถจับตำแหน่งของนิ้วจิ้มได้ด้วยนะครับ เป็นมัลติทัช นั้นหมายความว่าเรายังสามารถนำมาประยุกต์ใช้งานได้อีกหลายอย่าง ตัวซอฟต์แวร์รันบนแพลทฟอร์มหลักอย่าง Windows, Mac OS X, Linux ได้หมด บน Windows นั้น เราจะใช้กล้องได้ทุกตัวที่มีไดร์เวอร์ WDM อย่าง USB, USB 2.0, FireWire, DV Camera ส่วนบน Mac นั้น จะใช้ได้กับกล้องทุกตัวที่สนับสนุน QuickTime ส่วนบน Linux นั้น กล้องแบบ FireWire จะมีโอกาสใช้งานบน reactable มากที่สุดครับ หรือถ้าอยากใช้ USB ก็ควรจะเป็นกล้องแบบ Video4Linux

ในเว็บไซต์ของผู้สร้าง http://mtg.upf.edu/reactable ยังมีตัวอย่างซอฟต์แวร์ Client ที่จะรับโปรโตคอล TUIO ต่อจาก reacTIVision ต่ออีกที โดยเขียนเป็นภาษาต่าง ๆ มากมายครับ ไม่ว่าจะเป็น C++, Java, C#, Processing, Pure Data, Max/MSP, Flash, SuperCollider, Quartz Composer ฯลฯ และยังโปรเจคต์อื่น ๆ ที่ใช้ reacTIVision เป็นพื้นฐานมากมาย (ผู้เขียนรู้จัก reactable ก็จากโปรเจกต์เหล่านี้ก่อน) 

 

 

 

reactable ยังเคยไปแสดงตัวตามงานนิทรรศการใหญ่ ๆ ระดับโลกอย่าง Ars Electronica, Sónar, NIME SIGGRAPH หรือแม้แต่บนเวทีคอนเสิร์ต ก็ถูก Björk ยกขึ้นไปà
¹€à¸¥à¹ˆà¸™à¸¡à¸²à¹à¸¥à¹‰à¸§ มีบทความที่เกี่ยวข้องกับขั้นตอนการผลิตมากมาย ตีพิมพ์ลงวารสารวิชาการต่าง ๆ รวมไปถึงคำแนะนำในการสร้าง reacTIVision ขึ้นมาเล่นเองด้วย แต่น่าเสียดายนิดหน่อย ที่ไม่มีข้อมูลของระบบ Synthesizer ที่ใช้บน reactable เลย มีความเป็นไปได้ว่าทางทีมงานอาจใช้ส่วนนี้จากซอฟต์แวร์ซินธ์ที่มีอยู่แล้วตามท้องตลาด เพราะต่อให้ทำขึ้นมาใหม่ก็จะได้ผลลัพธ์แบบเดียวกันอยู่แล้ว เลยไม่ต้องการระบุที่มาอย่างชัดเจน อย่างไรก็ตามครับ หากเราต้องการสร้างระบบแบบเดียวกัน ก็สามารถแมปคอนโทรลดาต้าไปยังซอฟต์แวร์ซินธ์แบบสำเร็จไม่ยากนัก และถ้าใครคิดจะลองทำจริง ๆ อย่าลืมนำมาเล่าสู่กันฟังนะครับ ผู้เขียนเองก็มีไอเดียอีกหลายอย่างที่คิดต่อยอดจาก reactable ไว้เยอะเลย