Người Ảo

Lê Quốc AnhNgười Ảo
Người Ảo
Trình bày bởi Lê Quốc Anh

Lê Quốc Anh và các đồng nghiệp
1. Giới thiệu chung về người ảo
2. Giới thiệu kiến trúc GRETA
3. Nghiên cứu trường hợp cụ thể: Tạo cử chỉ
4. Tìm kiếm cơ hội hợp tác tạo sản phẩm Việt
page 2 Người ảo thông minh
Nội dung trình bày

Giới thiệu chung

Lê Quốc Anh và các đồng nghiệppage 4 Người ảo thông minh
Hoàn cảnh ra đời
 Ban đầu chúng ta nghĩ máy tính là cái bảng tính chỉ với các con số. Sau
khi nhập thêm các chữ cái, chúng ta nghĩ nó là máy gõ chữ. Rồi khi đồ
họa máy tính phát triển, chúng ta xem nó như cái ti vi... [Douglas Adams,
2001]
 Và bây giờ, với sự phát triển của các phần mềm thông minh, chúng ta
giao tiếp với máy tính như thể chúng thực sự là con người [Nass et al.,
1997]
 Thế là người ta tìm cách biến nó thành người bằng cách trang bị cho nó
giao diện giao tiếp giống với con người thông qua giọng nói, khuôn mặt,
cử chỉ,…[Cassell et al. 2000] thay vì sử dụng bàn phím, con chuột hay
dòng chữ vô cảm [PcWorld, 2008]

Định nghĩa
 Các tên gọi khác nhau
• IVA (Intelligent Virtual Agent), ACA (Agent Conversationnel Animé), ECA
(Embodied Conversational Agent), ACE (Agent Conversationnel Incarné),
Virtual Human, Digital Clone
• Tiếng Việt: Tác nhân,Tác tử thông minh
• Chúng tôi tạm gọi là Người Ảo theo cách dịch Virtual Human và đã được
sử dụng trên PC World Việt Nam [Số ra 26/06/2008]
 Người Ảo là một nhân vật có hình dáng, hành động tương tự con người
 Hoạt động trong môi trường ảo (máy chiếu, máy tính) hoặc môi trường
thật (người máy)
 Khác với nhận vật đóng thế (avatar), Người Ảo có trí thông minh và tự
chủ trong hành động
 Có thể giao tiếp với con người thông qua lời nói và cử chỉ (tay chân mặt
mũi, …)
EMBR
Greta
MAX

Người Ảo: Đặc điểm chung
 Patrick Olivier (2008, Newcastle, UK),:
• Có 2 loại người ảo:
- một loại vật lý (như robot)
- một loại thể hiện bằng hình ảnh 3 chiều trên máy tính.
• 4 đặc điểm căn bản của con người:
- khả năng giao tiếp;
- cảm nhận, cảm thụ thế giới;
- suy nghĩ, tư duy;
- hành động.
 Russell và Norvig (1995, Berkeley, USA)
• Cấu tạo một Người Ảo nói chung như hình bên sẽ gồm:
- khả năng cảm thụ thông qua tai, mắt và các cơ quan cảm nhận khác
- khả năng hành động bằng tay, chân, miệng và các phần khác của cơ thể
• Người ảo vật lý (robot) có thể được trang bị camera hoặc tia hồng ngoại để
thu nhận thông tin và các cơ vận động khác nhau để hành động
Robot Kismet, MIT

Ví dụ minh họa (Nguồn PC World VietNam)

Tiềm năng ứng dụng
 Đào tạo, giáo dục với giáo
viên ảo
 Hỗ trợ trực tuyến, giải đáp
thắc mắc
 Bạn đồng hành liên thông
từ điện thoại, ti vi đến máy
tính
 Giải trí, trò chơi hóa thân
giao tiếp với người ảo trong
môi trương ảo
 Thương mại điện tử trong
vai người bán hàng ảo hoặc
tư vấn viên ảo

Một số dự án Người Ảo tiêu biểu
Nhân viên ảo tại Newark Liberty

Một số dự án Người Ảo tiêu biểu
Gratch et al. at USC, Mỹ
Wachsmuth et al. at
Bielefeld, Đức
LIMSI, Pháp
Telecom, Pháp

Phòng thí nghiệm tại LIMSI, Pháp

Mind
Emotion
Language
Planning
Behavior
Generation
SmartBody
Body
Intentions
& Emotion
Interaction
Animation
Schedule
Behavior Library
Behavior
Markup
Mã hóa: Thực hiện
hành vi nào?
Cử chỉ? Tư thế?
Mặt mũi?
Mã hóa: Thực hiện
hành vi nào?
Cử chỉ? Tư thế?
Mặt mũi?
Thực hiện: Làm thế
Nào để biểu diễn?
Lập lịch thế nào &
phối hợp chúng?
Thực hiện: Làm thế
Nào để biểu diễn?
Lập lịch thế nào &
phối hợp chúng?
Phòng thí nghiệm tại USC, Mỹ

Phòng thí nghiệm tại Bielefeld, Đức

Giới thiệu GRETA
 Khả năng hành động biểu cảm theo
• Tính cách riêng định nghĩa trước
• Hoàn cảnh và đối tượng giao tiếp
• Chức năng giao tiếp
 Đặc điểm hệ thống:
• Xử lý thời gian thực
• Mô đun hóa với các tầng xử lý khác nhau
 Giao tiếp đa phương tiện (mặt, cử chỉ,…)
 Có thể điều khiển cả người ảo máy tính và người
ảo vật lý (robot)

Kiến trúc chuẩn tạo hành vi của Người Ảo
FML Thiết lập
hành vi
Thực hiện
hành vi
Thiết lập
mục đích
BML
Phản hồi ngược Phản hồi ngược
1. Tính cách cá nhân
2. Thư mục hành vi
1. Hệ chuẩn SAIBA được xây dựng bởi cộng đồng quốc tế [Kopp, 2006]
2. Gồm 3 giai đoạn xử lý thông tin riêng biệt, không phụ thuộc vào một
mô hình người ảo cụ thể nào (ví dụ phần mô hình đồ họa hay một mô
hình người máy vật lý). Điều khiển bởi 2 ngôn ngữ miêu tả kịch bản.

FML – Ngôn ngữ mô tả ý định, mục đích
 Mô tả nội dung những ý định, mục đích hay cảm
xúc mà người ảo muốn truyền đạt khi đang giao
tiếp
 Mức độ thể hiện nội dung sẽ được tham chiếu đến
• Tính cách cá nhân
• Các yếu tố xã hội, quan hệ
• Cảm xúc, trạng thái tâm lý hiện tại
 Quy định cho bộ phận tổng hợp tiếng nói như
mức độ biểu cảm, ràng buộc thời gian,…

BML – Ngôn ngữ mô tả hành vi
 Mô tả các hành vi cụ thể mà người ảo sẽ thực hiện
để đạt được mục đích đã cho
• Hành động nào sẽ xuất hiện (mặt mũi hay cử chỉ?)
Đồng bộ hóa các hành động (từ lời nói đến khuôn
mặt và cử chỉ,…)
• Hành động thế nào (mặt cười hay khóc, cử chỉ giơ
tay lên hay xuống,…)
 Các mô tả ở mức chung chung, không phụ thuộc
vào mô hình người ảo nào sẽ thực hiện
 Có nhiều mức mô tả khác nhau để có thể mở rộng
để điều khiển nhiều mô hình người ảo khác nhau

Behavior Realizer
(Common Module)
Intent Lexicon Behavior Lexicon
Behavior Planner
(Common Module)
FAP-BAP
Values
Joint
Values
ActiveMQ
Messaging Central System
FML-
APML
BML BML Keyframes
Animation Realizer
(Specific Module)
Animation Realizer
(Specific Module)
Keyframes Keyframes
Greta
Animation Lexicon
Nao
Animation Lexicon
Input Data (text,
audio, video, etc)
Intent Planner
(Common Module)
FML-
APML
Baselines for Nao
Baselines for Greta
Repositories for Nao
Repositories for Greta
FAP-BAP
Player
Nao Built-in
Proprietary
Procedures
Kiến trúc hiện tại trong hệ thống GRETA
(Le Quoc Anh et al., ICMI 2012)

Ví dụ trong ứng dụng kể chuyện
Văn b n (n i dung chuy n)ả ộ ệ
Phân tích c u trúc, ngấ ữ
nghĩa , n i dungộ
Mô t FMLả
Tính toán hành vi
Miêu t hành viả
BML
Mô t hành vi BMLảTi ng nóiế
Th vi n hànhư ệ
vi m u cho Naoẫ
và Greta
Phân tích v n đi u ph cầ ệ ụ
v t o gi ng nóiụ ạ ọ
T ng h p ti ng nóiổ ợ ế
Tính toán c m xúc, ýả
đ nh, m c đích giao ti pị ụ ế
Trích D án GVLEX [Rodolphe, 2010]ự

Thách thức đa ngành
Nhận dạng
khuôn mặt
Tâm lý
học
Xã hội
học
Nhận dạng
tiếng nói
Nhận dạng
cử chỉ
Tạo cảm
xúc
Tạo tiếng nói
biểu cảm
Tạo cử
chỉ
Tạo khuôn
mặt
Tạo cá tính
riêng
Hệ thống ra quyết định và
thực hiện hành vi người
Hệ thống tính toán cảm
xúc (Affective Computing)

Các dự án đang tiến hành tại ParisTech
 Mô phỏng biểu cảm khuôn mặt (facial emotions)
 Mô phỏng tư thế con người (pose, torso)
 Mô phỏng cử chỉ biểu cảm con người (gestures)
 Mô phỏng chuyển động đầu (head)
 Mô phỏng chuyển động mắt (eyes, gaze)
 Mô phỏng chuyển động mí mắt (eyebrow)
 Mô phỏng tương tác nhiều người (multiagents)
 Mô phỏng miệng cười (smile, laugh)
 Mô phỏng phản hồi trong giao tiếp (backchanels)

Mô phỏng cử chỉ người
 Định nghĩa cử chỉ: Là tất cả các chuyển động của
bàn tay, cánh tay thường đi cùng lời nói để hỗ trợ,
bổ sung cho việc truyền đạt nội dung
 Phân loại cử chỉ (McNeill, Kendon, Krauss,…):
• Nhóm chỉ định: để chỉ tay đến một đối tượng được nói đến
• Nhóm hình tượng: miêu tả đối tượng cụ thể
• Nhóm ẩn dụ: miêu tả đối tượng trìu tượng
• Nhóm hòa nhịp: đưa tay lên xuống hòa nhịp lời nói
• Nhóm tự thích nghi: Gãi tai, gãi đầu
• Nhóm quy ước, biểu tượng: Chữ V chiến thắng

Các nhóm cử chỉ (minh họa từ LEA, LIMSI)

Tạo mẫu cử chỉ cho thư viện
 Một hành động cử chỉ chuyển động qua nhiều điểm mốc trong
không gian. Mỗi cột mốc đuợc mô tả bằng 1 tập tham số (vị trí cổ
tay, hướng lòng bàn tay, hướng ngón tay, hình dạng bàn tay,…)
[McNeill, 1992]
 Trong thư mục mẫu các cử chỉ, chỉ cột mốc quan trọng được mã
hóa (stroke points), các cột mốc khác cùng con đường chuyển
động được tính tự động thời gian thực [Le Quoc Anh et al., 2011]
 Các mẫu được mô tả dạng trừu tượng, không liên quan đến cơ chế
thực hiện cụ thể nào

Ăn khớp cử chỉ và lời nói
Ảnh lấy từ trang site của SAIBA
1. Gồm 7 cột mốc chính (bắt đầu cử động, sẵn sàng, bắt đầu thể
hiện, thể hiện rõ nhất, kết thúc thể hiện, tạm nghỉ và kết thúc)
2. Chia thành nhiều giai đoạn, trong đó giai đoạn thể hiện là quan
trọng nhất vì nó truyền đạt thông tin cho toàn bộ cử chỉ
3. Theo McNeill (1992), Kendon (2005) cột mốc stroke phải được
thực hiện cùng lúc với lời nói mà nó muốn nhấn mạnh

Tạo biểu cảm cho cử chỉ
 Từ cùng một cử chỉ mẫu trong thư viện,
người ảo sẽ thực hiện nó theo nhiều cách
khác nhau [Mancini, 2006] phụ thuộc vào:
• Tính cách cá nhân: nhẹ nhàng, mạnh bạo,
chậm,...
• Cảm xúc hiện tại: đang tức giận,…
• Hoàn cảnh xã hội: nói chuyện với người lạ,
quen, đang có chuyện gấp..
 Mô hình hóa qua 1 tập tham số biểu cảm
[Wallbott, 1997]
• Không gian (SPC)
• Thời gian (TMP)
• Tần suất (REP)
• Năng lượng (PWR)
• Độ mượt (FLD)

Ví dụ minh họa (tạo cử chỉ cho người ảo)
FML
BML
KEYFRAMES
Thư viện mẫu
Chọn mẫu cử
chỉ từ thư viện
Lập lịch
chuyển động
Đồng bộ hóa với
tiếng nói
Tính toán biểu
cảm cho cử chỉ

Thử nghiệm và đánh giá
 Rô bốt Nao (Aldebaran, Pháp) thực hiện các cử chỉ
trong khi đang kể một truyện ngắn «3 chú nhạn
đêm » với hệ thống tổng hợp tiếng nói Acapela
 63 người Pháp tham gia đánh giá
 Kết quả [Le Quoc Anh et al., HRI 2013]:
• 76% đánh giá cử chỉ ăn khớp lời nói
• 70% đánh giá cử chỉ có biểu cảm
Đánh giá
H th ngệ ố
GRETA
Điều khiển

Một lần phát triển, nhiều ứng dụng
Dữ liệu
hành vi,
cảm xúc
cá nhân
Dữ liệu
hành vi,
cảm xúc
cá nhân
Bộ điều
khiển
chung
duy nhất
InternetInternet

Hướng phát triển tương lai và tìm kiếm sự hợp tác
 Tích hợp hệ thống tổng hợp tiếng nói Việt ví dụ
• Nhóm của TS Vũ Hải Quân tại AILAB, HCM???
 Xây dựng mô hình đồ họa 3D nhân vật thuần Việt
• Hình dáng, tính cách, hành vi Việt
• TS Bùi Thế Duy, HMI, ĐHCN, Hanoi ??
 Xử lý văn bản tiếng Việt
• TS Lê Hồng Phương, TS Phan Xuân Hiếu (FPT)??
 Nhận dạng hình ảnh và điều khiển bằng cử chỉ
• TS Trần Nguyên Ngọc (FPT)??
 Tích hợp vào rô bốt
• Nao (TS Trần Thế Trung, FPT)
• mRobot (Hồ Vĩnh Hoàng, TOSY)

LỜI CẢM ƠN

Người Ảo

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a Người Ảo

Semelhante a Người Ảo (20)

Mais de Lê Anh

Mais de Lê Anh (14)

Người Ảo

Notas do Editor