Mais conteúdo relacionado Semelhante a 運用情感運算於數位藝術之互動設計 ver.2012/12/30 (8) 2. 大．綱 多元．創意．新科技
新媒體與數位藝術時代
情感運算 (Affective Computing)
擴增實境
眼球追蹤與眼動分析
數位藝術作品賞析
作品製作流程
成果展示
幸福晚餐系列
意念 誌
2012/12/30 共 392 (123) 頁 2
3. 林豪鏘
我是鏘鏘
國立清華大學資訊科學博士, 1997
國立臺南大學．數位學習科技系．教授．系主任
中華民國視覺藝術協會．理事
中華民國數位內容學會．監事
中華民國資訊管理學會．理事
ISAC 中華民國大專校院資訊服務協會．理事
資訊安全管理主導稽核員．ISMS (ISO 27001) LA
數位藝術與互動設計實驗室主持人
現代詩人．藝術觀點總編輯
藝術所 (美術系)．所長．資訊長
DDLab 網路行銷叢書作者
棒球評論網路作家
網站流行音樂業餘樂評
人工智慧社群網站創站站長 (Since 1995)
台北數位藝術獎評審．網路藝術組召集人
國際新媒體藝術節．策展人
Boom！快速與凝結新媒體的交互作用，關渡美術館．參展藝術家
藝術家博覽會－「藝．極棒」多媒體藝術展．參展藝術家
2012/12/30 共 392 (123) 頁 3
4. 我是鏘鏘
鏘鏘的研究領域
數位藝術．情感運算．擴增實境．
互動設計．自然語言．人工智慧
網路行銷．電視商務．數位學習
跨界．跨領域
從事數位內容之相關活動：
創作．科技．行銷
2012/12/30 共 392 (123) 頁 4
5. 我是鏘鏘
興趣多元化：
寫作 (現代詩．散文．小說．評論．網路文學)、
繪畫 (美工設計．漫畫製作)、
歌唱、流行音樂、電影、
保齡球、網球、慢跑、棒球、髮型
鏘鏘的臨檢經驗
2012/12/30 共 392 (123) 頁 5
6. 「洞悉了所謂的幸福之感，」我驚愕發現，
是一種莫可名狀的喜悅。
於焉透明的語調驟具十足的彈性
可從酷烈的性情中 析出可愛的溫柔。
是以卓越的心情攬夢而醒
濾情了心境，止於一種思念。
鏘鏘作品
2012/12/30 共 392 (123) 頁 6
11. DDLab 近期得獎
Best Paper Award (Arts Creation), ICDC2010, International Conference
on Digital Contents, 12/21-22, 2010.
Best Paper Award, ICWE2010, 3rd International Conference of Web 2.0
and Education, 11/20, 2010.
Best Paper Award, AIED@TAAI, 14th Conference on Artificial
Intelligence and Applications, 2009/10.
榮獲全國第一名：2012第17屆大專校院資訊服務創新競賽。Fun Music! 以行
動裝置實現音樂與影像集體創作 (林言翰、王將仰、王政傑)。
榮獲全國第二名：2010第15屆大專校院資訊服務創新競賽。運用感測系統創
作表演藝術之互動裝置 (楊宇辰、曾怡甄、王聖天)。
榮獲全國第三名：2012第17屆大專校院資訊服務創新競賽。運用MIDI樂器結
合情感運算技術之自動音樂產生回饋機制 (何宜軒、謝蕙如、楊士緯)。
榮獲全國第三名：2011第16屆大專校院資訊服務創新競賽。Excelent - 運用
Google App Engine、Google Docs API、HTML5建立一套快速跨平台
Excel檔案閱讀器 (張家鈞)
榮獲國科會創作獎：99年度大專學生參與專題研究計畫研究創作獎。
Speshow Stage!個人舞台之數位藝術創作與研究 (楊宇辰、曾怡甄、王聖天)
2012/12/30 共 392 (123) 頁 11
12. 教學績優獎，國立台南大學，2011
傑出教學獎 (通識類)，國立清華大學，2003
獲頒「指導有方」獎章，國科會，2011
2012/12/30 共 392 (123) 頁 12
14. 藝術創作．個展．策展．聯展
個展，參展藝術家，林豪鏘，「意念 誌」，
台北數位藝術中心，3/6-4/11, 2010.
個展，參展藝術家，林豪鏘，「洞見數位流光」，資訊
月教育館，世貿，Dec. 4-12, 2010.
個展，參展藝術家，林豪鏘，「當圖像遇上視覺詩」，
華夏藝廊，November 1-30, 2010.
聯展，林豪鏘，「身體感」， 看向南方－當代藝術熱思
維徵候展，大東文化藝術中心展覽館，5/23-8/26, 2012.
聯展，林豪鏘，「無從界定 (Impossible to Define)」，
2012視盟藝術家博覽會，台中文化創意產業園區、松山
文創園區，9/28-11/11, 2012.
個展，林豪鏘，「載體」，亞洲大學，Nov., 2011.
聯展，林豪鏘，「我，以及其他 (Me, and the
Others)」， 2011視盟藝術家博覽會，剝皮寮歷史街區、
駁二藝術特區，8/19-9/18, 2011.
2012/12/30 共 392 (123) 頁 14
15. 參展藝術家，聯合個展，林豪鏘，「適可而止 (Enough Be
Enough)」，「藝想Ten開－See U Next 10」－2010視盟藝
術家博覽會，台中文化創意園區（TADA），September 3-
12, 2010.
網路展，參展藝術家，林豪鏘，「人比花嬌」，網路藝術行
動創作，3/16-18, 2011.
策展人，林豪鏘，數位靈光，ICDDC2009國際數位藝術展，
南台科技大學國際會議廳，10/8-9, 2009.
個展，參展藝術家，林豪鏘，「撐傘走在時間的雨中」，台
北．政治大學計中藝廊，9/25-10/24, 2009.
參展藝術家，聯合個展，林豪鏘、李政宗，「不跑，就回不
了家」，花蓮創意文化園區，8/1-8/30, 2009.
策展人，Exhibition Chair, ArtsIT2009, 之間-國際互動媒體
藝術展，宜蘭晶英酒店，新月蘭城廣場，9/24-25, 2009.
參展藝術家，林豪鏘、李政宗、DDLab，「不跑，就回不了
家」，「夏藝眺」─2009視盟藝術家博覽會，台北．京華城，
7/1-8/30, 2009.
2012/12/30 共 392 (123) 頁 15
17. 情緒感測與情感運算
Affective Computing
定義：
透過各種感應器
取得由情緒、情感所引起的表情及生理變化信號
針對這些訊號進行識別
理解人的情感 INPUT:
做出適當的回應 •表情
•語音
新興學術領域： •文字
如何感知情緒 •生理資訊
建立適當的情緒模型 •肢體感應器
將情緒適切地以各種方式表達 •聲調
或在網路上傳遞
生理 & 心理
感情 & 情緒
2012/12/30 共 392 (123) 頁 17
18. Physiological, Facial Expression
Face Detection
Eye Tracking
Development Toolkits
Attention Meter
(MIT Media Lab )
A Vision-based
Input Toolkit for
Interaction Designers
2012/12/30 共 392 (123) 頁 18
20. 眼動儀
網路行為研究新方法：
可追蹤分析網友視線
專用的電腦螢幕與攝影機
捕捉使用者臉部、眼球、角膜反射點
分析人類左右眼的眼球運動
Eye Tracking Report
測試網頁動線與工具配置是否洽當
注視結構（Gaze Plot）
熱點（Hot Spot）
2012/12/30 共 392 (123) 頁 20
26. 眼動分析與擴增實境之相關研究
重量：750 g
傳輸線：FireWire 1394
紅外線：880 nm
分析軟體：MangoldVision
可分析之內容：images, videos, text, web
2012/12/30 共 392 (123) 頁 26
27. 校正畫面 校正結果
2012/12/30 共 392 (123) 頁 27
28. 研究分析-Heatmap (Tree&People)
• 請問您是否看 看過
過這張圖片？ 是 否
相似圖
• 請問您在圖中先
看到什麼？ 樹幹旁二人
• 請問您還看到其
他什麼圖形？ 樹
• 經過提示後，請
問您是否看到提 是 否
示所見圖形？
看不出10人
2012/12/30 共 392 (123) 頁 28
31. 情緒辨識與情緒昇華
INPUT OUTPUT
(Multimedia Feedback)
語音
多媒體推薦
聲調
情 Avatar
文字 緒
AR擴增實境
語意
數位藝術作品展現
表情
二維公仔
Emotion Transition
2012/12/30 共 392 (123) 頁 31
34. 擴增實境
AR ( Augmented Reality)
電脳フィギュア ＡＲｉｓ（アリス）
ＰＶ.flv
http://daid.mooo.com/arecs/demo/AR
ECS_lamp.wmv
http://daid.mooo.com/arecs/demo/AR
ECS_motor.wmv
2012/12/30 共 392 (123) 頁 34
38. 用 OpenCV 做 Face Detection, 然後找到頭髮的位置。
http://www.youtube.com/watch?v=hNBeEpKtGlo&feature=player_embedded
2012/12/30 共 392 (123) 頁 38
40. Levels of Machine Emotions
To recognize emotions
To express emotions
To have emotions
Emotional Intelligence
Intention Estimations
Affective Computing, Affective Design, Emotion Recognition
2012/12/30 共 392 (123) 頁 40
41. 方法論
Computational Intelligence
SVM
LIBSVM
CRF, KNN, HMM, ANN
Symbolic AI
Ontology
OMCSnet 最完整
(Logic Inference, LISP-Like)
OCC Model 情緒
HowNet 情緒 + 中文
NLP Understanding
Parser + Semantic Roles (Theta Grid)
2012/12/30 共 392 (123) 頁 41
42. Facial Expression
DEASM (Detected Emotion based on
Active Shape Model)
ActiveShape Model Library
(ASMLibrary 5.0) SDK
Ammar (2010)提出的演算法
由webcam取得即時影像資訊後，對每一個
frame作主動形狀模型的匹配，再取得演算
法所需的特徵點座標，最後透過臉部情緒辨
識演算法辨識使用者情緒。此部分將作為系
統回饋回饋代理人的參考資料。
2012/12/30 共 392 (123) 頁 42
45. D1 D2 D3 D4 D5 D6
Joy ＝ ＝ ↑ ↑ ＝ ↓
Sadness ↓ ↑ ＝ ＝ ↓ ＝
Anger ↑ ↓ ＝ ↑or↓ ＝ ＝
Fear ? ↑ ＝ ＝ ↑ ＝
Disgust ＝ ＝ ↑ ↑ ＝ ＝
Surprise ↑ ↑ ＝ ↑ ＝ ＝
2012/12/30 共 392 (123) 頁 45
46. 系統介面
動畫代理 數位藝術課程
內容
人
課程選
擇紐
DEASM 結果狀 OMCSNetKai處理對 語意情緒推論
態條
Demo 話框392 (123) 頁
共
結果
2012/12/30 46
47. 面部情緒辨識
1) 收集訓練之樣本（開心、生氣、難過、驚訝、害怕
、厭惡）
2) 正負樣本分類
訓練情緒：生氣 正樣本 負樣本
3) 訓練分類器
4) 利用訓練好的分類器進行目標檢測
2012/12/30 共 392 (123) 頁 47
53. 基於情感運算模擬人類情緒
之音樂創作機制
本作品著重於MAX/MSP電腦程式自動化
情感音樂設計、玩家彈奏MIDI樂器的情
緒辨識裝置以及視覺化情境營造之間的
關係做研究並創作。
希望達到的兩大目標：
產生結合視覺動態與聽覺曲調的藝術表現
在情感運算方面，使電腦理解人類情緒並以
音樂達到對應的情感互動
2012/12/30 共 392 (123) 頁 53
55. 音樂理論
一般而言，大調可表現出澎湃的感覺，
例如人類的「怒」情緒。
小調則在營造悲傷
或詭異的氣氛上較明顯。
舉例來說
A大調可以表現「怒」的情緒
C大調有喜悅的感覺
A小調則可以呈現悲傷的情感
2012/12/30 共 392 (123) 頁 55
58. MIDI 樂器
音色滾輪
共有 12 種樂器音色可供選擇
如：鋼琴、管風琴、鐵琴……等
音色選定鍵
以 MIDI 樂器最高音為此鍵
2012/12/30 共 392 (123) 頁 58
60. 情緒特徵數值化
大、中、小、多、偏少……
統計各分級佔多少比例
較集中、中長皆有、短長皆有……
較小的標 較大的標
準差 準差
＝ 平均值 ＝
如:
1. 「0, 0, 1, 2, 4, 3, 4,平均值 ＝ 16 / 8 標準差 ：1.5 ( 中長皆有
2」 ＝2
2. 「0, 0, 0, 0, 0, 5, 6, 5」 標準差 ：2.6 ( 較集中
同平均值
2012/12/30 共 392 (123) 頁 有較大的標準差 60
62. Fun Music!
以行動裝置實現音樂與影像集體創作
國立臺南大學 數位學習科技學系
成員 : 王將仰、王政傑、林言翰
指導老師 : 林豪鏘 教授
決賽編號 : IAP7-11
全國大專校院資訊應用服務創新競賽
64. 應用
Processing程式設計 Max/MSP程式設計
鋼琴互動 對應物件 自動給配
介面 互動 和弦旋律
Pad
2012/12/30 共 392 (123) 頁 64
65. 人
機
介
面
2012/12/30 共 392 (123) 頁 65
67. 自 按下同一個琴鍵可以產生不同的線性和弦旋律
動
和
弦
配
置
大於門檻值
2012/12/30 共 392 (123) 頁 67
69. 鏘鏘個展 意念誌
詩作+ 錄像創作 程式 互動
本作品承載的，既不是文字，也不是圖像
繪畫性 文字堆疊
流動感
無終點美學
視覺並非終點，不只是互動的結果
回溯意念．生活態度
播放：意念誌 (七分鐘)
技術
Processing, 程式產生錄像畫面
2012/12/30 共 392 (123) 頁 69
79. 結合感測裝置與表演藝術之
互動舞台燈光控制系統設計
Light
up the Speshow Stage!
結合感測器控制與表演藝術之
個人舞台互動裝置藝術創作
楊宇辰, 曾怡甄, 王聖天 (大四)
2012/12/30 共 392 (123) 頁 79
80. Max/MSP/Jitter
Arduino
Max：MIDI訊息
開放原始碼的電路板
MSP：Audio音訊 小型晶片
Jitter：動靜態影像 外接電子元件
2012/12/30 共 392 (123) 頁 80 80
82. 表演藝術+數位科技
不同層次的互動
視覺事先製作，透過編舞與排演
VJ現場控制視覺互動
完全即時互動
不同媒材的互動
聲音+視覺
肢體+視覺
肢體+聲音
聲音+視覺+肢體
2012/12/30 共 392 (123) 頁 82
94. 跨界接軌
打破傳統的線性創作思路，
加入數位視覺藝術的元素
透過音樂為媒介，讓舞蹈與數位藝術交疊。
由數位藝術創作者透過程式碼
對音樂進行首次的詮釋與創作，
產出與音樂緊密交疊的視覺影像效果
而編舞考量除了音樂的意境，
還須針對影像進行專屬的動作設計
力求三者合一的接軌，
透過音樂搭起跨界的橋梁。
2012/12/30 共 392 (123) 頁 94
96. 戒環
影像畫面呈現空心的立體圓形，
由無數細小顆粒組成似環狀的圓，
猶如流沙般的流動，
時而四散時而群集，
但皆在一個空心立圓的雛型下流轉
有欲擺脫限制，
掙扎、離去卻始終在環的四周流轉，
無法抽離之意念。
2012/12/30 共 392 (123) 頁 96
97. 本作品使用現代舞的手法進行動作創作
利用軀幹與手部的swing、sway
呈現左右搖擺，
但依然同一支撐點上沒有離開。
以curve、spiral、turn作為動作設計主軸，
與立圓影像相互呼應。
中段間凝住的樂句與視覺畫面，
為作品擺下一個情緒的轉折點
舞者背向觀眾手置環狀之間，微弱的顫動，
展現受環制約、牽制的心境。
而背向亦有不願面對之隱喻。
2012/12/30 共 392 (123) 頁 97
100. 影像畫面呈現由大至小的延伸螺旋，
打破演出場域的限制，
拓展了舞台深度的視覺效果。
螺形呈現思維的意念，
而延伸的螺旋更有領觀眾走入內心之隱喻。
畫面隨著樂曲起伏由具象至粒子紛飛，為顫
抖的詞句融入更多的情緒。
影像右上角隨著樂曲強弱閃爍的光點，
似越女心中愛戀之對象
而主畫面的螺旋粒子波動，
以搖曳的晃動展現舟上蕩漾。
詞句中則呈現越女內心的愛戀、渴望與被動
。
2012/12/30 共 392 (123) 頁 100
104. 林豪鏘
幸福晚餐系列
錄像裝置
互動藝術實驗創作，運用Max/MSP/Jitter程式與Sobel
運算，並結合影像、聲音、MIDI音樂之間的互動。
在短片中，作者記錄著回宿舍時，沿途期盼老婆準備的
晚餐，那種幸福滿滿的感覺。
本作品以老婆準備晚餐的聲音作為輸入控制源，同時邊
緣偵測扮演了重要角色。它隨機並且巧妙地勾勒出沿途
景緻的輪廓，並且將物體色彩做了不斷的置換，因而產
生一種奇幻的效果。
由烹調聲音控制而產生的音樂，一樣有種在搖晃視覺裏
充滿期盼的感受。
2012/12/30 共 392 (123) 頁 104
108. 本作品之製作流程
情感資料之獲取
輸入已取樣的聲音、影像
自動事件偵測 邊緣偵測
聲音處理
情感運算
模組
產生 由聲音控制
MIDI 音樂 影像變化
2012/12/30 共 392 (123) 頁 108
109. 情感資料與情感運算
透過感應器 (Sensor)
獲取觀眾的情感資料
訊號 數位訊號處理
擷取關鍵性參數
作品的變化驅動因子
追蹤MSP聲音訊號的強度
用聲音強度的變化
分辨出單一聲音事件
依此驅動影像或特效
2012/12/30 共 392 (123) 頁 109
110. 情緒輸出
產生兩個主要的情緒輸出
根據這些參數 自動產生一段MIDI音樂
這些聲音資料裏的事件結構 作為節拍
控制畫面影像的變化。
情緒轉換模組
根據「事件」的「節奏」
Conway 的生命遊戲 (Game of Life) 機制
自動變換影像的亮度 (Gardner, 1970)
每隔一段時間 加入隨機因子
實現偶發藝術 (Happening)
結合不確定因子的創造活動
2012/12/30 共 392 (123) 頁 110
111. [Step 1] Edge detection
本創作使用Sobel運算子檢測法來做邊緣的搜尋
▽f = mag(▽f) = [Gx2+Gy2]1/2
=[(f / x )2+(f / y)2]1/2
▽f ≈ |Gx|+|Gy|
Gx= (Z9-Z5) Gy= (Z8-Z6)
▽f = [(Z9-Z5)2+(Z8-Z6)2]1/2
▽f ≈ |Z9-Z5|+|Z8-Z6|
▽f ≈
|(Z7+2Z8+Z9)-(Z1+2Z2+Z3)|+
|(Z3+2Z6+Z9)-(Z1+2Z4+Z7)|
2012/12/30 共 392 (123) 頁 111
112. G G
1
2
x Gy 2 2
Edge detection
用另一個方式來說，Sobel遮罩是用來檢測影
像中邊緣的3×3梯度運算子，分為X與Y方向 ：
Gx： Gy：
-1 -2 -1 -1 0 1
0 0 0 -2 0 2
1 2 1 -1 0 1
而對 (x, y) 而言，其梯度的強度G可表示為：
1
G G Gy
2
x
2 2
以此遮罩對影像作處理所得之新影像，回應強
烈的位置，即為邊界的部份
2012/12/30 共 392 (123) 頁 112
113. Edge detection
相較於Roberts Cross operator：
Sobel operator
雖然運算較慢
但Noise-Sensitive的問題較小
由於Smoothing效果，具有較粗的邊緣線條
頗適合本次作品所需要的效果
2012/12/30 共 392 (123) 頁 113
114. [Step 2] Control the Work by
Sound Signals
本作品參考
Cycling74公司 (2007) 的Jitter Tutorial
李岳凌 (2006) 所譯的課程手冊
進行若干程式與參數設定
展示如何追蹤MSP聲音訊號的強度
說明如何用聲音強度的變化分辨出單一聲音事件
說明如何驅動影像或特效 。
用聲音作為控制源
可控制影像變化以及MIDI音樂產出
可以直接從外界聲源 (例如麥克風) 輸入
或者使用事先收音的聲音檔。
2012/12/30 共 392 (123) 頁 114
115. [Step 3]
Tracing of the peak sound
當我們要追蹤聲音音量，以作為Max內的控制
資料源，一般常使用下列三種物件：
snapshot~ 物件：取得即時聲音強度
avg~物件：得到某段時間內的平均強度
peakamp~ 物件：得到訊號峰值 (Peak Value)
經過反覆實驗
在這次作品中，採用peakamp~ 的效果較好
每隔固定時間，peakamp~ 會送出頂點強度值
我們可追蹤聲音訊號的音量峰值，並依以追蹤聲音
音量。
2012/12/30 共 392 (123) 頁 115
116. [Step 4] Decibel transformation
人類對於聲音的音量感知
相對音量間的比例關係
非絕對音量的線性關係
分貝
我們接收peakamp~ 的頂點強度，並將換算為分貝
將強度1轉換成0 dB dB 20 log 10 ( A )
較低強度則轉換為負值 A0
將「聲音強度」轉為「分貝」的公式
A為接收的聲音強度，A0則為參考強度
Noise Floor：在現場收音時，常常會有一些低音量雜
訊
我們設定Noise Floor門檻只分析門檻以上的聲音會較精確
採用Cycling74的AtodB子程式，過濾出我們想要使用
的音量
將之延展到整個分貝範圍內
我們設定的範圍是0到-120分貝
2012/12/30 共 392 (123) 頁 116
117. [Step 5]
Automatic event detection
分析聲音的「結構」
追蹤其「聲音事件」的「拍子」
兩項關鍵：
起音 (Attack)：
當音量上升超過某個門檻值，視為一個聲音事件的起音。
事件結束：
當聲音低於門檻一段時間後，則視為此事件的結束。
設定下列參數：
起音門檻：
聲音超過此值將被視為一個「事件」的開端，也因此是一個「音
符」的起頭。
等待時間：
開始尋找音量降回門檻值以下的等待時間。
當音量超過門檻值，且到達局部最大值時，則系統判
斷此處為一聲音事件
2012/12/30 共 392 (123) 頁 117
118. [Step 6] Generating MIDI
music via sound signals
處理一個新的音量時，如果其已滿足兩項條件：
音量大於門檻值
尚未產生一個音符
那麼我們會繼續觀察，直到強度值不再增加
此時就是要送出的頂點音量值
以此驅動MIDI音符，並決定MIDI音符的音高、速度、
音長：
1. 將此範圍限定在0-120間 (一律加上120)，當作為MIDI的「速
度」。
2. 接下來，再將此值對應到96-36之間 (除以-2，再加上96)，作
為MIDI的「音高」。
3. 經由步驟 (2)，我們已將範圍顛倒。因此低音的音量較大，高
音音量較小。
4. 「音符長度」則由上節所設定的「等待時間」決定。
2012/12/30 共 392 (123) 頁 118
120. [Step 7] Controlling the image
processing via sound signals
直接在事件發生時，同時驅動其他不同的物件
當偵測到聲音事件時，我們開始進行影像特效處理
本作品中主要有下列影像處理：
對輸入的景物影像進行邊緣偵測
以勾勒其「輪廓」
對已勾勒輪廓的物體
不斷進行顏色置換
根據「事件」的「節奏」
以隨機的機制自動變換影像的亮度
將影像分成RGB三個向度
分別針對三個不同向度
以不同速度擴散物體的輪廓
將每個Frame被處理過的畫面
2012/12/30 連續進行重疊 共 392 (123) 頁 120
121. [幸福晚餐系列，之二] 幸福晚餐熱情版
http://web.tnnua.edu.tw/~koong/HotDinnerY.wmv
幸福晚餐也可以很熱情噢!
一樣以老婆準備晚餐的聲音為輸入背景，
另外設計處理方式，
產生了截然不同的非具像畫面。
2012/12/30 共 392 (123) 頁 121
123. [幸福晚餐系列，之三]
幸福常駐於一個思念的刻度
http://web.tnnua.edu.tw/~koong/GreenDinner.wmv
今夜無事。我收集草木輕淺的呼聲
「洞悉了所謂的幸福之感，」我驚愕發現，
是一種莫可名狀的喜悅，值以令人拆卸多餘的思考。
是以透明的語調驟具十足的彈性
可從酷烈的性情中 析出可愛的溫柔。
是以卓越的心情攬夢而醒
濾情了心境，止於一種思念。
這次，你可以把喇叭開大，聆聽思念的聲音。
或者關掉喇叭，在靜謐中思念幸福。
因為，幸福常駐於一個思念的刻度。
2012/12/30 共 392 (123) 頁 123
126. 《玩劇˙Play》
404 義大利國際電子藝術節, 2008
上海電子藝術節, 2007
台北數位藝術節, 2007
電腦3D動畫建構「秦俑」人物 + 西方劇場舞台
Virtools程式
引用中國「提線板」操縱玩偶
English version‐
http://tw.youtube.com/watch?v=zI_Tv29bTXs
Working progress‐
http://tw.youtube.com/watch?v=QjLFfuvwvCk
2012/12/30 共 392 (123) 頁 126
127. 我是鏘鏘
經歷：
明新科技大學．電算中心主任．資訊管理系主任／所長，
資工系主任，2000/08-2005/01 (明新17000人、資管2500人)
國立清華大學．通識教育中心，兼任副教授，1992/02-
國立交通大學．外文系，兼任助理教授，1997/08-1998/02
鑑榮資訊公司．研發部，網路評量組長，1996/05-1997/03
美國 NEC 研究中心 (Princeton)．資訊部門，
計畫研究人員，1995
明新技術學院．企業管理系，助理教授，1997/08-2000/07
全國大專運動會新聞組長，1999/01-2000/12
新聞稿．記者招待會．演唱會
2012/12/30 共 392 (123) 頁 127
128. 鏘鏘作品
先後榮獲國際TAAI、IAoM、ICDC、ICWE、DCMA、CABMT等
最佳論文獎，並獲EC2008最佳評審獎
2012/12/30 共 392 (123) 頁 128
129. 專家導覽，林豪鏘，2009第四屆台北數位藝術節-超介面，台
北數位藝術中心，11/8, 2009.
藝術評論人，林豪鏘，2009數位設計創意創作暨國際學術研
討會，台南，10/8, 2009.
專家導覽，林豪鏘，跨界創新－數位藝術展，國立科學工藝
博物館，2009/2/7.
專家導覽，林豪鏘，異態－數位藝術創作成果展，台北數位
藝術中心，2009/1/10.
專家導覽，林豪鏘， 2008第三屆台北數位藝術節-超介面，
當代美術館，10/5, 2008.
參展藝術家，林豪鏘、李政宗，撐傘走在時間的雨中，
「藝．極棒」─2008視盟藝術家博覽會，四四南村，8/29-9/7,
2008.
參展藝術家，林豪鏘、李政宗，存在於身體與歲月軌道之間，
歲月系列之一， 2007視盟藝術家博覽會－3C之祭－台灣多
媒體藝術展，華山文化園區，10/26-11/4, 2007.
參展藝術家，林豪鏘，幸福滿滿的聲音，幸福晚餐系列之一，
錄像裝置，Boom！快速與凝結新媒體的交互作用──臺澳新
媒體藝術展，關渡美術館，6/5-7/8, 2007.
2012/12/30 共 392 (123) 頁 129
130. 評審主席，林豪鏘， 2008台北數位藝術獎 (網路藝術組
召集人)，當代美術館，9/12-11/9, 2008.
參展藝術家，林豪鏘，幸福晚餐系列，視覺藝術展演特
區，11/27, 2007.
影評人，Nollywood 行為藝術開展首映會，台南藝術特
區，11/17, 2007.
評圖人，林豪鏘等人，愛藝術特展，造形藝術展，國立
台南藝術大學，9/27, 2007.
策展人，Eleanor Gates Stuart，羊文漪、林珮淳、林
豪鏘、袁廣鳴、陳志誠， 2007 國際新媒體藝術節，
5/29-6/12，國立台灣藝術大學，6/5-7/8, 2007.
參展藝術家，林豪鏘，旋轉南台灣：一種溫度，多重向
度，媒體無限──臺澳新媒體藝術論壇，5/28, 2007.
參展藝術家，林豪鏘等人，2006年ANU台澳新媒體藝術
工作坊，New Media Arts Center, Australia National
University, 11/28-12/5, 2006.
參展藝術家，林豪鏘、陳信源、楊岱璋，蒙娜麗莎的笑，
數位互動裝置藝術，工研院南分院，Oct., 2006.
參展藝術家，林豪鏘、唐文彥、楊岱璋，四季，數位互
動裝置藝術，工研院南分院，Oct., 2006.
2012/12/30 共 392 (123) 頁 130
132. 在福州榮獲
Intel 盃
創新大賽
之
創新大獎
2012/12/30 共 392 (123) 頁
共 342(169) 頁 132
134. Affective Computing 始祖
MIT 的 Rosalind Picard 教授
裝在鍵盤、滑鼠或穿戴在身上的生理感應器
取得心跳、汗溼、皮膚溫度等生理訊號
經由數位訊號處理技術
看似雜亂無章的生理訊號
擷取關鍵性參數
融合心理學
建構一套創新的統計分析方法
2012/12/30 共 392 (123) 頁 134
135. Affective
Computing
Rosalind W. Picard
MIT Press, 2000
2012/12/30 共 392 (123) 頁 135
137. 系統架構圖
情感辨識
emguCV臉部情緒辨
偵測臉部
識
輸入文字 語意情緒辨識
使用者
通知回饋 助教代理人
教學策略模組
顯示課程
內容
課程模組
使用者介面 課程策略
2012/12/30 共 392 (123) 頁 137
140. OMCSNet
OMCSNet
Semantic Network
Inference Toolkit
written in Python/Java.
Open Mind Common Sense corpus
Currently contains over 280,000 separate
pieces of common sense information
OMCSNet-WordNet project
WordNet synonym sets
OMCSNet concepts
semantic linkage data from WordNet.
2012/12/30 共 392 (123) 頁 140
141. [Accident] to [Sad]
./omcsnet --path accident sad > accidentTOsad.txt
13 Path(s) from [accident] to [sad] found!
Path 1:
accident (CapableOf) ==> kill people
kill people (SubeventOf) ==> death
death (PropertyOf) ==> sad
Path 7:
accident (Do) ==> kill people
kill people (SubeventOf) ==> death
death (OftenNear) ==> cry
cry (PropertyOf) ==> sad
2012/12/30 共 392 (123) 頁 141
142. Computation
accident (CapableOf) ==> kill people
kill people (SubeventOf) ==> death
death (PropertyOf) ==> sad
accident (CapableOf) ==> kill people
kill people (SubeventOf) ==> death
death (OftenNear) ==> person
person (PropertyOf) ==> angry
"accident" emotions:
happy: 0.642857,
sad: 0.714286,
angry: 0.642857,
2012/12/30 共 392 (123) 頁 142
143. Linear Clues
+
Structural Info
Lexical Structural
2012/12/30 共 392 (123) 頁 143
144. Motivation
The emotion informatic TWISTS
because of the grammatical structure.
For example:
[S 我很感激 [NP [S’ 他帶給我的一切痛苦]]]
[S 對於 [NP 他幸福的日子] 我很嫉妒]
[S 我 [VP 輸了這場比賽] 但是 [VP 很開心]]
[S [NP [S’ 你給我的甜蜜回憶]] 帶給我傷懷]
Clues:
Agents
Structures
Connectives
etc.
Heuristics? Rule-based?
2012/12/30 共 392 (123) 頁 144
145. 產業應用
SONY
Aibo
電子寵物狗
身上有壓力感測器
感測主人是撫摸或責打
以便更換不同的動作來取悅主人
NCR
自動櫃員機
汗溼、溫度、心跳
感測使用者的喜好、疲勞、緊張情緒
SONY
相機的微笑快門
2012/12/30 共 392 (123) 頁 145
146. 壓力滑鼠 & 情緒滑鼠 (MIT)
壓力滑鼠 (Pressure Mouse)
具有八個感測器
可藉由握住滑鼠的力道
分析使用者當前的情緒
情緒滑鼠 (Emotion mouse)
感測生理資訊：
心跳頻率、手部的溫度、皮膚的導電性、
溫度、流汗情況、血壓
感測使用者行為：
滑鼠的移動、點按鍵的頻率、還有手指的
姿勢資訊
瞭解使用者在使用電腦的時候是快樂、
悲傷、恐懼、高興、憤怒等等情緒
2012/12/30 共 392 (123) 頁 146
151. 創新在於…
屬於自己的 機制控制作
集體創作
畫筆(球) 畫的方向
喜歡音樂但
系統組織和 人人都能成
沒有樂理基
弦機制 為演奏者
礎
2012/12/30 共 392 (123) 頁 151
152. 新媒體藝術的在台灣發展
1979：澳洲蓋瑞．萊文倍格
來台舉辦雷射藝術公演台灣第一個科技藝術專展
席幕蓉、楊英風雷射藝術
台灣科技藝術與數位藝術真正開始風起雲湧，
大約是在1990年左右
學成歸國的台灣媒體藝術家
顧世勇、袁廣鳴、王俊傑、
黃文浩、莊普、陳志誠等
大專院校
成立科技藝術相關系所培植人才逐漸開花結果
台灣邁入新媒體藝術時代
大約尚不到四分之一世紀
2012/12/30 共 392 (123) 頁 152
153. 當代藝術．科技藝術
藝術觀點：跨媒材．新媒體
傳統藝術：藝術本質價值 (出世)
當代藝術：走入生活、關注生活、反應生活 (入世)
傳統藝術：實體美學．對象審美
當代藝術：無終點美學．觀念價值
當代藝術 不可避免觸及科技 科技藝術
新的命題．新的介面 增加藝術可能性
Not 工具理性 感性知識、感情邏輯
2012/12/30 共 392 (123) 頁 153
166. 搭配強音的劃腳與顆粒四散的影像，
呈現擊碎欲掙脫的意念。
隨後以坐滾由高姿轉換至低姿，
延伸的手觸影像中的環，
並緩緩下滑表露內心的掙扎與拉扯。
此段以較強烈的動作質感及肢體語彙，
表述強烈的情感。
隨著樂曲的漸收，
最後選擇背向觀眾
以低於視覺影像的水平做結束
隱含受壓制的情緒意念。
2012/12/30 共 392 (123) 頁 166
169. The Process og Death Makeing of /
死亡的過程 製作花絮
2012/12/30 共 392 (123) 頁 169
171. 互動影像示範
Processing
Arduino
177. 人比花嬌
感謝 115 位觀眾，熱情參與鏘鏘的「人
比花嬌」作品。這是件網路藝術行動創
作。作品中展現的，是投射出品牌意識
與個人形象連結在社群行為上經營出的
反差效果，一種個人當下狀態的停格凝
視。
2012/12/30 共 392 (123) 頁 177
180. 案例介紹
軟體協會記者發表
http://www.youtube.com/watch?v=B-w6Lfl-
sxc&feature=mfu_in_order&list=UL 頁
2012/12/30 共 392 (123) 180
181. 案例介紹
澳門 新濠天地 水舞間
http://www.youtube.com/watch?v=G5M47Nii3TM
2012/12/30 共 392 (123) 頁 181
183. 原理
素材
一個近乎看不見的幕
蚊帳
恩….黑心熱點
玻璃幕
水煙機
io2technology
水幕
….想的到的都可以啦
投影機
需備有T型校正
2012/12/30 共 392 (123) 頁 183
188. [歲月系列，之一]
存在於身體與歲月軌道之間
作者：林豪鏘．李政宗
北戴河的人行步道上取材製作完成
http://web.tnnua.edu.tw/~koong/BodyTimeRail.mov
2012/12/30 共 392 (123) 頁 188
189. [歲月系列，之一] 存在於身體與歲月軌道之間
遠在他鄉的我
身體錯置於時間與空間交錯形成的虛擬空間裏
透過鏡頭、透過數位媒體
無意中因而去身體化(Disembodied) 的我，
超越了當下我的身體而看到自己的存在
影子踏在階道上
卻也臥在歲月的軌道上
這正是存在於我的身體與歲月軌道
之間的溝通關係
2012/12/30 共 392 (123) 頁 189
191. [歲月系列, 之二] 年輪
作者：林豪鏘．李政宗
http://web.tnnua.edu.tw/~koong/TreeRing.mov
2012/12/30 共 392 (123) 頁 191
196. 「不跑，就回不了家」
總是環伺在雜遝的腳步聲中，
引領企盼著逐日成長，毅然振翼高飛。
而在終究進入異鄉國度後，卻開始沈浸於歧義之美，
思索如何回家的多層次或然。
嘗試用跑步的方式，測量諸多兩地之間的距離
讓自己身無寸文，從異地跑回家
以破釜沈舟的心態埋首拼命跑
品味這種「不跑，就回不了家」的一點點靈光
此般跑步模式
形成了一種體現事物本質細節的認知途徑
穿梭在街坊小道，
計算週遭看似熟悉卻又陌生的景緻
所佔的篇幅規模
2012/12/30 共 392 (123) 頁 196
197. 藝術．技術．設計
時尚
「流行」是被教育出來的「共識」
「品味」是限制創意的「習慣」
文化創意產業
產值
201. 數位藝術作品賞析
東和五金 (蘇育賢)
閱讀與可辨識 (陳信源)
漫 (曾鈺涓 & 李家祥)
那光譜如同小小點 (駱麗真 & 張耘之)
幸福晚餐系列 (林豪鏘)
歲月系列 (林豪鏘)
Dong-He Hardware (Su,Yu-Xian
Seeing and Recognized (Chen Hsin-yuan)
Flow (Tseng, Yu-Chuan & Lee, Chia-Hsiang)
Spectrum, the Sparkling Dots (Sappoho & Monbaza)
Felicitous Dinner (Lin, Hao-Chiang)
2012/12/30 共 392 (123) 頁 201
203. 蘇育賢 Su,Yu-Xian
1982年出生於台灣
台南藝術大學造形藝術研究所
1982 born in Taiwan
Tainan National University of The
Arts, Graduate Institute of Plastic
Arts
2012/12/30 共 392 (123) 頁 203
206. 東和五金
數位輸出 Digital print
私密是感性身體們彼此間的溝通基地，
第一個層次：以私密作為基本策略來遭遇現實，
讓知覺(sensation)本身作為溝通的工具。
第二個層面：透過質感、姿態以及氣氛上的掌
握讓慾望無法理所當然指涉現實，作品本身不
與肉身「互為主體」(inter-subject)。
向作品投射過去的慾望並不回到身體作用，而
是在一個想像的他處終結。
作者在「平滑」出新的「崇高」
2012/12/30 共 392 (123) 頁 206
207. 陳信源 Chen, Hsin-yuan
1982年出生於台北市
國立台南藝術大學造形藝術所
1982 was born in Taipei
Tainan National University of The
Arts, Graduate Institute of Plastic
Arts
2012/12/30 共 392 (123) 頁 207
213. 曾鈺涓．李家祥
Tseng, Yu-Chuan & Lee, Chia-Hsiang
曾鈺涓：
2004.5~ 國立交通大學應用藝術研究所博士候選人
1992-1994, 紐約大學New York University ，Studio Arts，藝術碩士
M.A.
李家祥：
2006, 國立台北科技大學 機電科技研究所 博士班學生
Tseng, Yu-Chuan：
2004.5~ National Chiao Tung University, Institute of Applied Arts Ph.D.
candidate
1992-1994, New York University, Master of Arts in Studio Art
Lee, Chia-Hsiang：
2006 Graduate Institute of Mechanical and Electrical Engineering ,
National Taipei University of Technology, Ph.D. program
2012/12/30 共 392 (123) 頁 213
216. 漫 (Flow)
Communication Art
探討在訊息充斥的數位環境中，人類面對壯碩無盡的訊息洪流，
無意識間接收訊息，並有意識的對訊息的產生之焦慮感狀態。
網路上系統自動抓取之即時新聞影像，在前方螢幕中層疊形成幻
影飛逝，新聞訊息轉換之語音從四方傳出。
現場參與者之影像被攝並再現於螢幕中之虛擬世界。以手電筒為
搜尋概念之隱喻。當光線照射影像時，影像被放大並清晰顯示，
新聞訊息則被清晰唸出。
然而當模糊影像不斷飛入，影像不斷的被放大與清晰，文字訊息
也不斷的被唸出，形成多層次的影像圖層與聲音呈現，觀者仍然
無法清楚辨識新聞訊息的內容，無法掌握訊息的意義。此混雜的
訊息閱讀過程，所呈現的感知是模糊與不可知的混雜之不確定感。
此狀態是一種無法以現象知覺解釋的感知現象，對於不可知的那
一端，此端存在的我，在沒有真實顯現的視覺表象中，相信不顯
現的虛擬存在。此透過科技媒體所產生的觀看，訊息與符碼在訊
息的轉譯中，成為一種假象的存在。
觀看者在瀏覽過程中，透過訊息的碎片，想像整體的存在，並在
絢爛圖像與聲音交互刺激中，擁有自由的快感，遨遊於虛幻時空
中的迷幻異想。
2012/12/30 共 392 (123) 頁 216
218. 先看兩支饒富意涵的
數位音像藝術作品 (得獎作品)
錄像藝術 (Video Arts)
林育聖：軌跡
Boom！台澳新媒體展．快速與凝結
新媒體的交互作用，關渡美術館
牛俊強：栩栩
第二屆台北數位藝術獎：玩開Play，
台北西門町紅樓
沈浸到一個
不同的氛圍中
2012/12/30 共 392 (123) 頁 218
220. 軌跡
Video Art
使用拼格的方式來製造「動態」影像。
擷取了許多不同時刻所拍攝下的籃球飛行路徑，拼合
成為一條球的飛行路徑。
由於不同時刻攝影機拍攝角度些微的偏差，以及拍攝
當時的天氣、服裝等視覺條件皆有所不同，拼合出來
的結果除了一條順暢的飛行軌跡之外，快速變換的畫
面是抖動、模糊的。
除了是自己對於時間、空間的某種想像與回答之外；
也企圖表達出某一種特殊經驗─當經歷大量、反覆的同
一動作之後，從外在感官遁入內在感官的知覺反轉；
敏銳的內在時間感(比物理時間慢的多)、前後文的斷裂
(腦中是許多畫面的重疊，沒有先後次序)等。
2012/12/30 共 392 (123) 頁 220
221. 某一種「暈眩」感是這件作品最想傳達
出來的部分。
它不是一個純粹觀念性、思辨性的作品；
它希望激起觀者強烈的身體感。
一種從現實世界脫逸，但卻沒有方向、
沒有目的，甚至在來不及思考的當下再
度被拋擲回現實世界的種種先於意識的
感官活動。
希望透過這樣的方式來挑戰感性活動，
而這或許也正是作者一直所追求的，藝
術真正令他著迷的部分。
2012/12/30 共 392 (123) 頁 221
222. 牛俊強：栩栩
牛俊強：栩栩
第二屆台北數位藝術獎：玩開Play
VTS_04_1.VOB
00:08:22
數位藝術：
時間的重疊．時間的壓縮
空間的平移
時間在空間裏的痕跡
2012/12/30 共 392 (123) 頁 222
223. 視覺詩．錄像詩．數位詩
(錄像 + 詩字幕，無口白)
每個人身體裡都有顆定時炸彈
http://www.youtube.com/watch?v=pmG3NqmQfGM
neilwang99
(錄像 > 詩，有口白)
關於孤獨
http://www.youtube.com/watch?v=XbWkgTO1b0k
邱澔瑀 詩的原創者
呂學誠 詩的構成者
徐唯程 廖澤容 詩的旋律創作者
王尹宣 詩的獨白者
(動畫 + 詩，文字是錄像成份，無口白)
下次重逢 會在甚麼時候？
http://www.youtube.com/watch?v=dqT0RM4yqaI
neilwang99
http://www.wretch.cc/blog/neilwang99
2012/12/30 共 392 (123) 頁 223
224. 專家導覽：
林豪鏘老師談「漂流網」&
「如果你靠近我一點」
2012/12/30 共 392 (123) 頁 224
233. 擴增實境的精神
將虛擬物件投射在真實環境中
辦公環境
手術實習
vs. 虛擬實境
無中生有
身歷其境
2012/12/30 共 392 (123) 頁 233
234. AR: Augmented Reality
虛擬實境(Virtual Reality)：
企圖取代真實世界
擴增實境(Augmented Reality)：
虛擬實境的延伸，
經由電腦產生的影像或物件
融入進真實的環境
混合實境(Mixed Reality)
2012/12/30 共 392 (123) 頁 234
235. Augmented Reality
Reality and Virtuality (RV) Continuum.
2012/12/30 共 392 (123) 頁 235
244. Display Method
視覺透視擴增實境(See-Trough AR)：使用者能
透過顯示裝置直接看到周圍的環境，同時顯示器
亦同時呈現虛擬圖像於顯示器中，所以視覺透視
的方式能達到最大的擴增環境的效果。
顯示器擴增實境(Monitor Based AR)：電腦將攝
影所攝得的畫面與電腦所產生的虛擬圖像結合，
合併後的畫面再呈現於頭戴式顯示器(Head
Mounted Display, HMD)或電腦螢幕中。
Milgram et al. (1944)
2012/12/30 共 392 (123) 頁 244
247. Marker Design
Marker size
Marker pattern
Marker material
Webcam resolution:
CCD
CMOS
2012/12/30 共 392 (123) 頁 247
248. Marker Design
Tracking range for different sized patterns
註：1 inches = 2.54 cm
2012/12/30 共 392 (123) 頁 248
251. Marker Design
http://flash.tarotaro.org/blog/2009/07/12/mgo2/
2012/12/30 共 392 (123) 頁 251
252. AR Authoring Tool
Tools
開放式工具 ARToolkit (Augmented Reality Toolkit)
OSGARToolkit (Open Scene Graph Augmented Reality Toolkit)
ARToolkitPlus (Augmented Reality Toolkit Plus)
MRToolkit (Mixed Reality Toolkit)
Matlab ARToolkit (Matlab Augmented Reality Toolkit)
JARToolkit (Java Augmented Reality Toolkit)
套裝外掛軟 MIDAS (Media Interaction Design Authoring System)
體工具 DART (Designer’s Augmented Reality Toolkit)
ComposAR (Composer Augmented Reality)
Build AR (Build Augmented Reality)
Black Magic
2012/12/30 共 392 (123) 頁 252
253. AR Authoring Tool
FLARToolKit (Flash ARToolKit)
基於ActionScript 3的ARToolKit
解快C/Java不易製作UI的問題
讓多媒體人員或設計師更易上手
FLARToolKit + Papervision3D
= AR on the web
使用環境
Flash CS3以上
AMIRE
FLARToolKit Virtoolkits
Papervision3D Processing
Webcam Max/MSP
Marker
2012/12/30 共 392 (123) 頁 253
254. AR Authoring Tool
ARToolKit
http://www.hitlabnz.org/
http://www.hitl.washington.edu/artoolkit/
2012/12/30 共 392 (123) 頁 254
257. BlackMagic Book
http://www.hitlabnz.org/wiki/BlackMagic_Book
2012/12/30 共 392 (123) 頁 257
258. BuildAR
http://www.hitlabnz.org/wiki/BuildAR
2012/12/30 共 392 (123) 頁 258
259. 四種 Markerless AR 的方法
Face Detection
圖卡 (資訊隱藏)
光學
RFID 沈浸感
2012/12/30 共 392 (123) 頁 259
260. 用 OpenCV 做 Face Detection, 然後找到頭髮的位置。
http://www.youtube.com/watch?v=hNBeEpKtGlo&feature=player_embedded
2012/12/30 共 392 (123) 頁 260
264. The Optical Tracking System
ELTEC's PCEye2 frame-grabber
TM-9701 PULNiX.2
Head-mounted display (HMD)
2012/12/30 共 392 (123) 頁 264
279. Taehee Lee, Tobial Hollerer
IEEE Virtual Reality 2008
8-12 March, Reno, Nevada, USA
2012/12/30 共 392 (123) 頁 279
280. Handy AR
6個自由角度的攝影機位置，
以手掌取代紙卡Marker。
• 5個固定位置攝影機追蹤手指，
提供預估演算法所需的點。
• (一個使用者只需要精確測量一次)
• 1個位置預估攝影機
用來呈現虛擬物件在手掌上，
以及更進一步的獲得3D場景與
攝影機追蹤。
2010/10/19 Digital Arts and Interactive Design Lab 280
2012/12/30 共 392 (123) 頁 280
282. Initializing
a Coordinate System
當手掌移開平面，手
掌周圍的特徵會被偵
測，用來建立一個桌
面AR環境的公共座標
系統。
2012/12/30 共 392 (123) 頁 282
283. (慣性) 陀羅儀
加速規
三軸加速器
數位羅盤
(慣性) 陀羅儀
三軸加速器 + 三角度
DOF = 6
Degree of Freedom
產品
Wiimote
Emotion Sensor
Camera 動
PS Move
圖卡動
2012/12/30 共 392 (123) 頁 283
285. Augmented reality and
photogrammetry: A synergy to
visualize physical and
virtual city environments
Cristina Portalés , José Luis Lerma, Santiago Navarro
ISPRS (2010)
2012/12/30 共 392 (123) 頁 285
292. AR technology can save more than 50% of the time needed to
build up the 3D model
2012/12/30 共 392 (123) 頁 292
293. FingARtips - Gesture Based
Direct Manipulation in
Augmented Reality
FingArtips：
以手勢為基礎在擴增實境中的直接操作
Volkert Buchmann, Mark Billinghurst, Stephen Violich, Andy Cockburn
GRAPHITE '04 Proceedings of the 2nd international conference on Computer
graphics and interactive techniques in Australasia and South East Asia
2012/12/30 共 392 (123) 頁 293
294. Introduction
在最原始的AR中，互動設計(操作、複製、註解、刪
除)幾乎沒被提到過。
在Hand-based AR中，互動區域可以分為兩種：
觸手可及的近端物件。
遠端無法直接操作的物件。
FingARtips是著重在以自然手勢操作近端物件。
手勢互動AR系統最大的兩個罩門：
1. 手部不正確的遮蔽
→ 造成造成虛擬物件遮蔽實體物件。
2. 缺乏觸覺回饋
2012/12/30 共 392 (123) 頁 294
294
295. Related Work
Gordon et al. 使用密集立體距離裝置讓使用者能以手
指或是筆在AR中當作指標裝置。[Gordon et al., 2002]
Walairacht et al. 在AR系統中以力量回饋裝置來產生
互動。[Walairacht et al., 2002]
Dorfmuller-Ulhaas & Schmalstieg 使用立體視覺系
統來偵測一個被標記的手套。
[Dorfmuller-Ulhaas & Schmalstieg, 2001]
DiZio & Lackner 使用皮膚觸覺來產生互動。
[DiZio & Lackner, 2002]
2012/12/30 共 392 (123) 頁 295
296. FingARtips - The Urban Planning
Workspace
The Uran Planning Workspace：探索FingARtips的可能性。
主要測試四種手勢：抓取(Grabbing)、指示(Pointing)、航行
(Navigating)、普通手勢(Command gestures)。
系統只使用單一手套的輸入方式。
2012/12/30 共 392 (123) 頁 296
297. FingARtips - The Urban Planning
Workspace
Grabbing：用來建立、移除、移動、旋轉、放大建築。
Pointing：用來建立以及操作虛擬街道。
Pointing Grabbing
2012/12/30 共 392 (123) 頁 297
298. FingARtips - The Urban Planning
Workspace
Pressing：用來與虛擬按鈕互動。
Navigation：搭配AR / immersive VR場景的切換，讓
使用者可以自由地在場景上移動。
Pressing Navigation
2012/12/30 共 392 (123) 頁 298
299. FingARtips - The Urban Design Setup
場景：115x60(cm2)，以24張10x10的Marker覆蓋。
(AR產生的場景為120x70)
手套上有三個2x2的Marker以及蜂鳴器分別貼在拇指及
食指的指尖、虎口上。
使用ARToolKits做多重Marker偵測。
使用HMD。
2012/12/30 共 392 (123) 頁 299
300. FingARtips - The Urban Design Setup
World Coordinate Tracking(世界座標偵測)
藉由同時偵測Marker位置以及使用者視角，避免當Marker無
法完整偵測(過暗、被遮蔽)而造成的錯誤。
Finger Tracking(手指偵測)
ARToolKit有偵測marker方向及距離的問題
→偵測使用者的視角以及手指相對於使用者
視角的位置。
Hand Tracking(手部偵測)
Gordon et al. 建議應該要讓整個手掌
出現在場景中。[Gordon et al., 2002]
但讓手掌出現在場景中會導致物件遮蔽
順序的問題浮現。
解決方法：在虎口放置一個Marker。
2012/12/30 共 392 (123) 頁 300
301. FingARTips - The Hand Model
以手指上的關節為基準點，描繪出手部形狀。
2012/12/30 共 392 (123) 頁 301
302. FingARTips – Haptic Feedback
觸覺回饋能提高使用者在操作時的信心。
使用蜂鳴器產生400Hz的震動，提供觸覺回饋。
蜂鳴器不需要提供「精確」的震動回饋，只須要讓使用者能感覺
到有接觸東西即可。
2012/12/30 共 392 (123) 頁 302
303. Mobile AR
Apple
iPhone
iPad
Google – G1
2012/12/30 共 392 (123) 頁 303
310. 運用擴增實境於英語字彙學習
310 Digital Art and Interactive Design Lab.
2012/12/30 共 392 (123) 頁 310
311. 發展一套新的互動教學媒體
能讓學童以互動的方式
且透過數位化媒體教材
在家中進行學習
擴增實境英語字彙學習系統
AREVLS
Augmented Reality English Vocabulary
Learning System
2012/12/30 共 392 (123) 頁 311
312. Dü nser與Hornecker (2007)研究觀察學童閱讀擴增實
境課本的學習狀況，探討六至七歲的學童是如何來操
作新奇互動教學媒體。
2012/12/30 共 392 (123) 頁 312
313. Kimer et al. (2005)開發一套英文字母拼字遊
戲，其概念為設計許多擴增實境英文字母圖卡，
在英文字母之圖卡中，必需拼湊出正確的英文
單字。
2012/12/30 共 392 (123) 頁 313
314. 擴增實境英語字彙學習系統
擴增實境英語字彙學習系統顯示流程圖
2012/12/30 共 392 (123) 頁 314
315. 擴增實境英語字彙學習系統
系統開發：
系統建置─ARToolKit
3D物件─SketchUp + 3D Warehouse
系統環境：
使用Pentium IV 3.4GHz CPU
網路攝影機─Logitech QuickCam Pro 4000
解析度─640×480
每秒鐘擷取frame─15
網路攝影機至英語字彙圖卡距離─約60公分
擴增實境圖卡長寬─4.55公分。
2012/12/30 共 392 (123) 頁 315
317. 英語字彙魔法書互動機制
以英語字彙魔法書 Unit 1 字母 C、D 為例
2012/12/30 共 392 (123) 頁 317
318. 英語字彙魔法書互動機制
英語字彙魔法書互動按鈕─「自然發音」與「單字發音」
2012/12/30 共 392 (123) 頁 318
321. Hsieh與Lee(2008)將擴增實境圖卡以排列組合
的概念，降低圖卡設計的複雜度，利用擴增實
境技術開發英語字彙學習輔助系統，提供新的
數位媒體給予學童不同的學習刺激。
2012/12/30 共 392 (123) 頁 321
323. 臉部情緒辨識查表演算法
儲存無表情特徵點資料non_feature[10][2]；
計算無表情D1~D6值；
儲存每一張frame的特徵點資料feature[10][2]；
計算當前frame的D1~D6值；
if( D3 ↑ )
{
if( D6 ↓) → Happy；
else → Disgust；
}
else if( D1↑ )
{
if( D2 ↑) → Surprise ；
else → Anger；
}
else if( D3 ↓ & D4 ↓ )
{
if( D5 ↑ ) → Fear；
else → Sadness；
2012/12/30 } 共 392 (123) 頁 323
325. 情緒合成
情緒門檻
情緒超過門檻值才會觸發
情緒飽合
根據情緒的訊號特性，
必須在其達到飽和時，
就停止情緒量的增加
情緒遞減
我們也會設定情緒的自動遞減機制，
讓該情緒在若無新刺激的情況下，
情緒量會逐步遞減
2012/12/30 共 392 (123) 頁 325
326. Affective Computing架構圖
(MIT Media Lab of Affective Computing Group)
Context-Awareness
2012/12/30 共 392 (123) 頁 326
327. 透過眼球照射在視網
膜上的安全雷射光
藉由光線高速動作造
成的殘像效果
達成投影
RID圖像可與週遭視
野重疊顯示
裝在眼鏡上使用時，
旁人就很難窺視其中
的內容
2012/12/30 共 392 (123) 頁 327
328. IBM (Ark 等人, 1999)：
以滑鼠獲取使用者的情緒資訊
使用者的操作電腦時的生理量測值
皮膚溫度、心跳率、流汗情況、血壓
獲取個人性格模式
建立具有適應能力的系統
Microsoft
指力感測器的鍵盤
Samsung
感性辨識設備
主攻電視遊樂器市場
Kodak
結合影像與腦波、心電、肌電等生理感測器的設備
受測者觀察特定圖形
分析其生理反應
緩解其心理壓力
真實情緒的遠端溝通
2012/12/30 共 392 (123) 頁 328
329. Picard的團隊：面部表情模式系統
AboutFace
電壓感測
眉毛的運動
使用者困惑 or 感興趣的狀態
照相錄影
偵測臉部變化及表情
訂立個人表情模式資料
Klaus R. Scherer：Emotion Group
理論發展 & 實證研究
情緒的評估程序
聲音 & 臉部情緒的表達
對生理反應的評估
2012/12/30 共 392 (123) 頁 329
330. 動覺生物-黃致傑
2008 台北數位藝術獎
－互動藝術類
2012/12/30 共 392 (123) 頁 330
332. IBM公司的「藍眼計劃」
(Blue Eyes)
使電腦知道人想做什麼
當人的眼瞄向電視時
知道人想打開電視機
發出指令打開電視機
提醒收到 mail
搖搖頭
不打開 mail
眼動儀
2012/12/30 共 392 (123) 頁 332
336. 原始動機
Affective Computing + Interactive Arts
和其他相關研究的動機不同
互動藝術
目前主流互動策略：
觀眾位置
觀眾肢體動作
觀眾身體形狀
觀眾聲響
加上情緒因素
互動更具深度
當代藝術：探討個人的當下狀態
2012/12/30 共 392 (123) 頁 336
337. WordNet
推論還不夠全面性
→ 利用WordNet同義字功能
Awesome
amazing, awe-inspiring,
aweful, awing
Synonyms set → OMCSNet
2012/12/30 共 392 (123) 頁 337
338. Partial Parsing
Sometimes we can skip
inner sub-sentence
if the adverb/adjective
strongly suggest the emotion in
this sentence.
Dominating Term
Ex: I delightedly told her that I live in the
garbage pit ever since.
我很欣喜地告訴他我從那（此）以後
住在垃圾場裡。
2012/12/30 共 392 (123) 頁 338
339. Emotion Calculus
Based on OMCSnet
Chinese Sentence
Translator
Tagger (or Parser)
Keyword Filter (v, n, adv, adj)
OMCSnet
Computation
Emotions
2012/12/30 共 392 (123) 頁 339
340. DEASM
建立主動形狀模型(ASM)
IMM Face Database
40(人)*6種角度
= 240張人臉資料
Tim Cootes：am_tools
為每張人臉圖片作68個
特徵點標定
2012/12/30 共 392 (123) 頁 340
341. 及時特徵點擷取演算法
Start webcam
While(1)
{
Image = read_from_camera; // 從webcam讀進
frames
Detect face; //使用 Viola_jones_haarlike detector偵
測臉部
Initial ize shape from detected box; //shape初始化
Do image alignment; //模型與frame匹配
Show image;
For(int k = 0; k<shape.Npoints(); k++)
//如果k值 =28,30,16,32,48,54,51,57
// 20,36,儲存情緒特徵標定點
{
If(k == 28, 30, 16, 32, 48, 54, 51, 57, 20, 36)
Feature[ ][x]=shape[k].x;
Feature[ ][y]=shape[k].y;
}
2012/12/30 } 共 392 (123) 頁 341
342. Context-Awareness (情境感知)
藉由環境中的Sensor
獲得Context
Data
程式推論：所隱含代表的情境為何
提供適切的介面或服務 •Ubiquitous
•Pervasive
情緒 vs. 情境 •Context-Aware
•Affective
許多資訊單靠外在Sensor無法精準獲得
Wearable Computing
Bio-Feedback Devices
取得人體富涵並且外部難以取得的訊息
2012/12/30 共 392 (123) 頁 342
343. 穿戴型電腦 (Wearable Computer)
某些工作性質
硬碟
Microdrive
軟性開關技術 (Soft Switch Technology)
這特殊的聚合物材質平時是絕緣體，手指一
碰觸之後，瞬間就具導電特性
在衣服上做鍵盤，在枕頭上、窗簾上暗藏電
視搖控器或電燈開關
手機、MP3、耳機，手錶，皮帶
2012/12/30 共 392 (123) 頁 343
345. RID 視網膜影像投射顯示器
（Retinal Imaging Display）
2008-4-15
日本Brother工業 可懸掛在眼鏡框架上使用
重量25g 2010年投入市場
2012/12/30 共 392 (123) 頁 345
346. 設定檔定義
定義：
N：音域，即最低音到最高音的音階數
R ：各種音符( )的出現比例
M：適合該情緒的調性
V ：音量大小，其中 S 是斷奏
O：和弦的使用
P ：音色，即演奏的樂器類型
2012/12/30 共 392 (123) 頁 346
350. 作者已死
時間的重疊
數位藝術之互動策略
林珮淳、范銀霞 (2004) ：
『互動』元素的介入
作者可能會變成觀眾、觀眾也可能反而變成作者、
作者和觀眾都可能變成作品的一部份。
『互動』更證明了觀眾自己在藝術中的
『存在』與『定位』
可寫的文本
互文性
2012/12/30 共 392 (123) 頁 350
352. 音訊偵測
音量
Peakamp~
音高
Pitch~
2012/12/30 共 392 (123) 頁 352352
355. 數位藝術的範疇
科技藝術
數位藝術
網路藝術
互動藝術
多媒體藝術
新媒體藝術
2012/12/30 共 392 (123) 頁 355
356. 接受美學
接受美學
驗證作品是否有達到預期要傳達的價值
詮釋學
冷媒體：
科技藝術是一種冷媒體，
必須經由觀者的介入與互動，
才能達到飽合。
2012/12/30 共 392 (123) 頁 356
