摘要 本專題「旅遊觀光語音導覽機器人」希望只要透過簡單的說話詢問，就能讓旅客快速得到即時的回答，同時螢幕上也能更進一步用圖文顯示答案資訊。例如，向機器人說「漁人碼頭怎麼走? 」，會在螢幕顯示地圖，標示地點位置，並回應地點名稱、預估距離。向機器人說「哪裡有賣阿給?」，會在螢幕顯示地圖，並標示各吃的地標，並回應地點名稱、預估距離。向機器人說「最近的捷運站在哪?」，會在螢幕顯示地圖，並標示地點位置，並回應地點名稱、預估距離。 我們實現的方式是以 Raspberry作為運算核心，透過麥克風收音，將音訊轉化為文字 (Voice to Text)，再藉由中文自然語言處理(NLP) ，包含Jieba中文斷詞以及刪除停用詞等處理來提高文字的識別率，再以詞向量方式將句子轉成向量(word2vector)。最後以兩兩間向量夾角的餘弦值，決定什麼樣的問題，應該要播報那一組答案(Text to Speech)。 專題成果展 http://bit.ly/37fgDiK AIoT就業班 http://bit.ly/36eBRvM

1. 語音旅遊導覽系統
成員: 林O翰、林O鋒、潘O駿、何O億

2. 大綱
 專題動機
 專題目的
 專題的可行性
 產品如何實現
 產品流程說明
 NLP語音辨識
(1)語音旅遊導覽系統架構
(2)語音旅遊導覽系統處理流程
(3)語料庫介紹
(4)中文自然語言處理流程
(5)Q&A 詞分量判別示意圖
1

3. 專題動機
眼花撩亂！
觀光客反映導覽手冊版本太多！
2

4. 專題目的
「語音旅遊導覽系統」是希望能利用語音辨
識與觀光客互動，利用螢幕顯示各種易於
了解的訊息，且快速了解當地的資訊 。
3

5. 專題目標
遊客
Internet
語音
4

6. 語音旅遊導覽系統的好處
• 直接&效率
語音直接詢問，資訊快速呈現，方便省時!
• 互動性
提升遊客體驗，建立品牌形象!
• 人力成本
不怕找不到人，導覽說明也無須預約!
5

7. 深入探討在台灣的可行性
台灣就業結構來說，服務業約占6成 ，想必就需
要大量的客服人員，而Q&A就能處理大部分的
問題，勢必在未來也有良好的商機。我們就是把
NLP技術和觀光做結合，產生出新的商業模式。
6

8. 產品要如何實現?
功能需求 對應套件
1 偵測人臉解鎖 Python OpenCV
2 UI介面 Python Tkinter
3 Speech to Text google SpeechRecognition
4 Word Segmentation Jieba
5 Word Vector Word2Vec
6 Test to Speech google gTTS
7 QR code Python qrcode
7

9. 實體產品流程(人臉解鎖)
7

10. 實體產品流程(UI介面)
我想要吃阿給
8

11. 語音旅遊導覽系統架構
Question Answer
請問淡水阿給在哪裡?
好吃的阿給在甚麼地方?
請參考我們的QRcode
淡水阿給的美食資訊
9

12. Speech to text
Question Answering
Word Vector
Word
Segmentation
Corpus
語音旅遊導覽系統流程
Voice to Text
中文自然語言處理
10

13. 語料庫介紹
語料庫就是存放關鍵詞向量的資料庫
每個單詞設定為70維度11

14. 中文自然語言處理流程
Question : 好吃的阿給在甚麼地方?
Jieba [‘好吃’, ‘阿給’]
0.06 -0.04 0.02 -0.06 -0.05 -0.05 -0.04 0.05 ……好吃
阿給 0.04 -0.02 0.06 -0.06 -0.05 -0.03 -0.04 0.03 ……
0.05 -0.03 0.04 -0.06 -0.05 -0.04 -0.04 0.04 ……好吃+阿給
Word2Vec
Answer : 淡水阿給的美食資訊，請參考我們的QRcode
淡水有很多好玩的地方…..
淡水住宿的地方資訊……
淡水阿給的美食資訊......
0.08 0.02 0.03 -0.07 -0.07 -0.04 …….
0.04 -0.03 0.04 -0.05 -0.05 -0.03 ……
0.09 0.05 0.06 -0.01 -0.01 -0.01 ……
…
…
12

15. Q&A 詞分量判別示意圖
Question
Question
Ans2
Ans1
Ans3
餘弦相似性
13

16. Thank you for listening ！