Semantyczna teoria informacji 1

Teoria informacji semantycznej Bar-Hillela i Carnapa (BHC)

Filozoﬁa Informacji, Wykład III - Semantyczna
teoria informacji (cz. 1)
Artur Machlarz

17 stycznia 2014

Artur Machlarz

Filozoﬁa Informacji, Wykład III - Semantyczna teoria informacji (cz. 1)


Plan wykładu

1

Teoria BHC - Źr[Pleaseinsertintopreamble]dła i informacje wstępne
Warunki wstępne
In - informacja semantyczna
CONT jako miara treści

Artur Machlarz



Teoria BHC - Źródła i informacje wstępne
Warunki wstępne

Teoria Shannona (MTC)

Teria BHC i teoria Shannona (MTC) różnią się w kilku istotnych
punktach. Jednak u swoich podstaw mają wspólny rachunek: rachunek
prawdopodobieństwa. Zależności między informacją i stopniem
prawdopodobieństwa również są analogicznie określone.

Artur Machlarz



Warunki wstępne

Teoria Shannona (MTC)
Różnice między MTC i BHC:
W BHC pojawia się próba uchwycenia istotniejszego sensu wartości
informacji - wartości, która będzie miała związek tym, co znaczące
wypowiedzi mogą nieść dla tych, którzy je rozumieją. W MTC taki
problem się nie pojawia.
W MTC i BHC pojawiają się radykalnie odmienne sposoby
deﬁniowania pojęcia prawdopodobieństwa. W MTC oznacza ono
częstotliwość występowania jakiegoś stanu, w teorii BHC
interpretacja tego pojęcia jest oparta na logicznej m-funkcji
właściwej.
W MTC fundamentalnym problemem było określenie przeciętnej
informatywności dla danego systemu. W BHC wartość informacyjna
jest określona dla poszczególnych prostych lub złożonych zdań
systemu.

Artur Machlarz



Warunki wstępne

Donald MacKay (1948, 1969)

Wg MacKaya pełna teoria informacji powinna obejmować zarówno teorię
komunikacji Shannona jak i teorię informacji naukowej. Ta ostatnia
powinna zajmować się problemami związanymi z tworzeniem reprezentacji
lub ich układem w perspektywie obserwatora.
Zaproponowana przez Mackaya jakościowa teoria informacji jest związana
z pojęciem wiedzy: pojawia się w niej odbiorca z krwi i kości, którego
stan wiedzy rośnie w stopniu zależnym od otrzymanej informacji. Teoria
informacji musi wg Mackaya opisywać fakt, że odbiorca, po otrzymaniu
informacji wie coś, czego nie wiedział wcześniej.
(D. Mackay, Measuring Information, w: D. Mackay, Information,
Mechanism and Meaning, MIT 1969, s. 10).

Artur Machlarz



Warunki wstępne

Jean Ville

Jean Ville, którego również wymieniają Bar-Hillel i Carnap wśród
protoplastów teorii informacji semantycznej jest doceniany jako
matematyk znany przede wszystkim z osiągnięć na gruncie teorii gier.
Jean Ville sformułował deﬁnicję wartości informacyjnej jako miarę
wzrostu wiedzy osiągniętego po otrzymaniu informacji. Informacja będzie
tym większa im mniejsze będzie prawdopodobieństwo danego wydarzenia:
I = Plog P + Qlog Q
p
q
P, Q: faktyczne prawdopodobieństwo zdarzenia;
p, q: przekonanie o prawdopodobieństwie zdarzenia przed
otrzymaniem informacji.

Artur Machlarz



Warunki wstępne

Jean Ville

Ostatecznie Ville deﬁniuje bezwzględną wartość informacji o określonym
zdarzeniu w niniejszy sposób:
1
I = log p

Wartość I jest tym większa im mniejsza jest wartość p. (NOTICE sur les
travaux scientiﬁques de M. Jean VILLE Journal electronique d’Histoire
des Probabilites et de la Statistique/ Electronic Journal for History of
Probability and Statistics. Vol.5, n.1. Juin/June 2009, s. 9. Notatki
pochodzą z roku 1955.)

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel

Rysunek: Yehoshua Bar-Hillel - matematyk, logik, ﬁlozof. Wieloletni pracownik
MIT. Jeden z pionierów badań nad mechanicznym przekładem i systemami
informacyjno wyszukiwawczymi.

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel - Information Retrieval

Bar-Hillel jest nie tylko autorem klasycznej teorii informacji semantycznej,
logikiem i matematykiem, ale także teoretykiem i praktykiem w dziedzinie
Information Retrieval. Był bardzo sceptyczny w stosunku do prób
konstruowania mechanicznych systemów ekstrakcji informacji z
dokumentów. Uważał, że w połowie XX wieku niedostatecznie precyzyjnie
odróżnia się dwa odmienne typy sytuacji poszukiwania informacji:
poszukiwanie dokumentów,
poszukiwanie maksymalnie dokładnej odpowiedzi na określone
pytanie.

Artur Machlarz



Warunki wstępne


O ile widział sens tworzenia systemów do automatycznego
przygotowywania list dokumentów spełniających określone warunki (idea
pochodząca od Perry’ego i Moersa z 1952 roku) to nie widział szans
powodzenia na stworzenie systemu dostarczającego odpowiedzi na
pytania odnoszące się do treści tych dokumentów. Jego zdaniem, zamiast
o Information Retrieval powinno się mówić co najwyżej o Documents
Retrieval (lub Literature Search). Bar-Hillel nie widział bowiem
możliwości stworzenia systemu, który w satysfakcjonujący sposób
zastąpiłby samodzielne opracowanie dokumentu: procedury oceny
argumentacji, stosowanych metod, wiarygodności itp.

Artur Machlarz



Warunki wstępne


Wg Bar-Hillela systemy IR mogą jednak (a nawet muszą) w pewnym
zakresie istnieć, jako wsparcie dla systemów Documents Retrieval. Oba
systemy wymagają jednak innego typu przetwarzania dokumentów:
Dla systemów IR zbiór zdań musi być skorelowany z opisywanym
dokumentem. Zdania mają wyczerpywać informacyjną zawartość
dokumentu. Zbiór zdań ma być swego rodzaju abstraktem w formie
metaopisu.
Dla systemów LS potrzebny jest zbiór indeksów terminów
wskazujących w pewien sposób zawartość informacyjną dokumentu.
Indeksy pozwalają rozstrzygnąć, czy dokument należy do określonej
tematyki, czy nie.

Artur Machlarz



Warunki wstępne

Przykład trudności natury logicznej dla problemów Information Retrieval:
Interesuje nas historia kamieniczek ormiańskich na Rynku Wielkim w
Zamościu:

Rysunek: Kamieniczki ormiańskie na Rynku Wielkim w Zamościu

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel - Information Retrieval - przykład
Interesuje nas temat historii kamieniczek ormiańskich na Rynku Wielkim
w Zamościu:
Mamy parę dokumentów na dokładnie ten sam temat (dobrze znają
je wszyscy, którzy są nim zainteresowani...),
Interesują nas także dokumenty dotyczące Ormian na
Lubelszczyźnie, w Polsce, w Europie Wschodniej.
Wartościowe mogą być dokumenty dotyczące architektury Zamościa,
Zamojszczyzny, Lubelszczyzny, wschodniej Polski itp.
Interesują nas opracowania poświęcone architekturze renesansowej w
Europie Wschodniej.
Mogą być dla nas interesujące opracowania dotyczące migracji
ludności w XVII wieku, prace nt. Jana Zamojskiego itd.

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel - Information Retrieval - przykład

Interesujące dla nas mogą być te dokumenty, które nie dotyczą dokładnie
poszukiwanego tematu. Zastąpienie w indeksach pojęć szczegółowych
ogólniejszymi nie zawsze może być dla nas korzystne, bo pojęcie
ogólniejsze nie we wszystkich kontekstach będzie dla nas ekwiwalentne.
Ilość różnego rodzaju podstawień też może być olbrzymia i nie da się z
góry przewidzieć ich przydatności. Information Retrieval napotyka zatem
według Bar-Hillela nieprzekraczalne trudności, jeśli - co byłoby konieczne
- miałoby być oparte na analizie znaczeniowej.

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel - przekład maszynowy
Bar-Hillel pracował także nad prblemem przekładu mechanicznego.
Uważał, że jest to dobry test dla prób formalizacji języków naturalnych
pokazujący jednocześnie ograniczenia takich prób. Wg Bar-Hillela
ograniczenia wynikają przede wszystkim z tego, że:
nie da się wszystkich wyrażeń języków naturalnych rozłożyć na
kolejno następujące po sobie elementy konstytutywne zgodnie ze
skończonym zbiorem reguł. Języki naturalne nie reprezentują wg
Bar-Hilella wolnej od kontekstu gramatyki frazowej.
Nie jest też możliwe wg Bar-Hillela stworzenie aproksymacyjnych
samokorygujących mechanizmów odkrywania tych gramatyk na
podstawie próbek,
Wg Bar-Hillela systemy MT powinny też być zdolne do
przetwarzania znaczeń, co wydawało mu się wątpliwe do osiągnięcia.

Artur Machlarz



Warunki wstępne

Yehoshua Bar-Hillel - przekład maszynowy

Według Siergieja Nirenburga sceptycyzm Bar-Hillela był nieco przesadny,
aczkolwiek nie da się przecenić jego osiągnięć dla MT. W latach 90-tych
systemy MT były oparte na logicznym systemie leżącym u podstaw
znaczeń. Logiczne systemy są interpretowane za pomocą ontologii modeli wiedzy.
Uwagi Nirenburga o Bar-Hillelu w: S. Nirenburg, Bar Hillel and Machine
Translation: Then and Now, BISFAI’95: Proceedings [of] The Fourth
Bar-Ilan Symposium on Foundations of Artiﬁcial Intelligence, ed. Moshe
Koppel and Eli Shamir, June 20-22, 1995, Ramat Gat and Jerusalem,
Israel (Menlo Park, CA: AAAI Press, 1996), ss. 300-306.

Artur Machlarz



Warunki wstępne

Teoria BHC

Teoria BHC - wyłożona w An Outline of a Theory of Semantic
Information (1952)

Artur Machlarz



Warunki wstępne

Uwagi ogólne o teorii BHC

Uwagi ogólne o teorii BHC:
Uważa się ją powszechnie za pierwszą teorię informacji semantycznej
(zyskała już nawet miano klasycznej).
Według Bar-Hillela ma ona charakter rudymentów właściwej teorii
informacji semantycznej. W 1969 roku ubolewał jednak nad tym, że
z obiecujących początków tak niewiele wynikło.
Celem Bar-Hillela i Carnapa było stworzenie prawdziwie
pragmatycznej teorii informacji. Jednak jeszcze nie w 1952 roku.
Później niestety prób stworzenia takiej teorii Bar-Hillel nie
podejmował.

Artur Machlarz



Warunki wstępne

Uwagi ogólne o teorii BHC - podstawowe rozróżnienia

Teoria BHC składa się z dwóch części:
1

eksplikacji sensu pojęcia treści dostarczanej przez informację oraz

2

deﬁnicji miary informacji dostarczanej przez określony nośnik
informacji (czyli w teorii BHC przez zdanie).

Właściwą część teorii BHC stanowi część druga.

Artur Machlarz



Warunki wstępne

Semantyka

W teorii BHC wszelkie zagadnienia związane z postaciami odbiorcy i
nadawcy zostały przeniesione do (nieistniejącej) pragmatyki. Wniosek:
Semantykę należy w tej teorii rozumieć inaczej, niż proponuje
Weaver (1949): problem aproksymacji interpretacji treści u odbiorcy
i intencji nadawcy nie należy do zadań teorii BHC.

Artur Machlarz



Warunki wstępne

Semantyka

W teorii BHC wszelkie zagadnienia związane z postaciami odbiorcy i
nadawcy zostały przeniesione do (nieistniejącej) pragmatyki. Wniosek:
Semantykę należy w tej teorii rozumieć inaczej, niż proponuje
Weaver (1949): problem aproksymacji interpretacji treści u odbiorcy
i intencji nadawcy nie należy do zadań teorii BHC.
Aspekt semantyczny informacji to tyle, co treść niesiona przez
zdanie, która to treść jest wyznaczona przez inne zdania określonego
systemu językowego.

Artur Machlarz



Warunki wstępne

Semantyka a pragmatyka

Różnica między semantyką i pragmatyką:
Wg BHC obiektywna zawartość informacyjna praw logicznych i praw
matematycznych oraz zasad geometrii jest zerowa. Subiektywnie
może być znacząca (tzn. gdy osoba A nie zna tych praw i zasad), ze
względu na aspekt wiedzotwórczy.
Ta sama uwaga dotyczy wszelkiego rodzaju zdań empirycznych: jeśli
uzależni się wartość informacyjną zdania od czynnika subiektywnego,
to nie da się wg Bar-Hillela i Carnapa podać obiektywnej wartości
informacyjnej takiego zdania.
Czynnik subiektywny zatem w teorii BHC jest irrelewantny - nie
bierzemy go pod uwagę.

Artur Machlarz



Warunki wstępne

Wstępne założenia

Wstępne założenia teorii BHC:
Wartość informacyjną przypisuje się zdaniom (a nie symbolom,
dźwiękom, zdarzeniom itp.).
Nie interesuje nas realny odbiorca ani intencje nadawcy.
Ograniczamy się wstępnie do zamkniętego systemu, aczkolwiek,
zdaniem Bar-Hillela i Carnapa, rozszerzenie go na nieskończony nie
powinno przysporzyć żadnych trudności (przykład próby rozszerzenia
i związane z tym trudności na Wykładzie 5 - teoria Jaakko Hintikki).

Artur Machlarz



Warunki wstępne

Język - uwagi ogólne

Teoria BHC jest budowana w odniesieniu do pewnego prostego systemu
językowego. Wg BHC jest to język, który jest jednak na tyle bogaty, że
może być podstawą rekonstrukcji wszystkich możliwych języków
naukowych. Jest on formalizowany w ramach rachunku predykatów.
Wszystkie niżej deﬁniowane pojęcia są zrelatywizowane do określonego
języka.

Artur Machlarz



Warunki wstępne

Język Lπ - elementy składowe
n
Lπ zawiera:
n
n - ilość różnych stałych indywiduowych (oznaczających n-ilość
różnych indywiduów, takich jak rzeczy, zdarzenia itp.)
π - ilość jednoargumentowych predykatów oznaczających proste
własności indywiduów
stałe logiczne: spójniki zdaniowe:
negacja ∼
dysjunkcja ∨
koniunkcja .
implikacja ⊃
równoważność ↔

Wartości n i π są skończone.

Artur Machlarz



Warunki wstępne

Język Lπ - deﬁnicje spójników
n

i L-implikuje j = D f i ⊃ j
i jest L-równoważne j = D f i ↔ j
i jest L-alternatywne j = D f i ∨ j
i jest L-ekskluzywne j = D f i.j

Artur Machlarz



Warunki wstępne

Język Lπ - składnia
n
Składnia przykładowego języka L2 :
2
zdania atomowe (basic sentences) - np. Da, Zb itp.
Q-predykatory - koniunkcja predykatów, w których każdy prosty
predykat występuje zanegowany lub nie: np. Q = D.Z itd. Dla
języka składającego się z dwóch predykatów liczba Q-predykatorów
(k) będzie równa

Artur Machlarz



Warunki wstępne

n
2
(k) będzie równa 4.

Artur Machlarz



Warunki wstępne

n
2
(k) będzie równa 4.
Własność deﬁniowana przez Q-predykatory nazywana jest
Q-własnością.
Q-zdanie: pełne zdanie Q-predykatorowe.
Opis stanu: koniunkcja n-ilości Q-zdań, po jednym dla każdej stałej
indywiduowej.

Artur Machlarz



Warunki wstępne

n

Składnia języka L2 - przykłady (D - dobry, Z - zły, uczynki a i b):
2
Q-predykatory - D. ∼ Z , D.Z , ∼ D.Z , ∼ D. ∼ Z
Q-własność: D.nie − Z .
Q-zdanie: [D. ∼ Z ]a.
Opis stanu: [∼ D.Z ]a.[D. ∼ Z ]b

Artur Machlarz



Warunki wstępne

Język Lπ - opisy stanów
n

Opisy stanów są pełnym opisem możliwych stanów uniwersum dyskursu
konstytuowanego przez nasz język. Interesuje nas ich ilość: w przypadku
naszego systemu L2 będzie ich
2

Artur Machlarz



Warunki wstępne

Język Lπ - opisy stanów
n

Opisy stanów są pełnym opisem możliwych stanów uniwersum dyskursu
konstytuowanego przez nasz język. Interesuje nas ich ilość: w przypadku
naszego systemu L2 będzie ich 16.
2

Artur Machlarz



Warunki wstępne

Opisy stanów - przykład
Konﬁguracje stałych indywiduowych i predykatów można swobodnie
przedstawić w formie przejrzystej tabeli:

Rysunek: Tabela dla L4 . Możemy zrobić analogiczną dla L2
3
2

Artur Machlarz



Warunki wstępne

Warunki wstępne - podsumowanie

Wstępne warunki teorii BHC - podsumowanie:
Założenia wstępne.
Deﬁnicja języka.
Aspekt ilościowy.

Artur Machlarz



Warunki wstępne

In - definicja

Informacja (In) - definicja i podstawowe własności:
In(i) - informacja niesiona przez zdanie i. Implicite definiujemy ją
jako nieokreślony zbiór “czegoś”.
In(i) zawiera In(j) wtw i L-implikuje j. (L-reguła oznacza reguły
logiczno-matematyczne (Carnap)).
In(i) = In(j) wtw i jest L-równoważne j.

Artur Machlarz



Warunki wstępne

In - informacja względna

Informacja względna - deﬁnicja:
In(j/i) = In(i.j) − In(i)
Wyjaśnienie: tak zdeﬁniowana informacja względna określa pewnego
rodzaju nadwyżkę informacyjną pojawiającą się w zdaniu j w kontekście
zdania (lub koniunkcji zdań) i.

Artur Machlarz



Warunki wstępne

In - własności

Kolejne własności In:
L-prawdziwe zdania: są L-implikowane przez dowolne zdanie
L-łałszywe zdania: L-implikują dowolne zdanie.

Artur Machlarz



Warunki wstępne

In - własności

Kolejne własności In:
L-prawdziwe zdania: są L-implikowane przez dowolne zdanie
L-łałszywe zdania: L-implikują dowolne zdanie.
Wnioski:
In(i) = minimalny zbiór In-zbiorów wtw i jest L-prawdziwe
In(i) = maksymalny zbiór In-zbiorów wtw i jest L-prawdziwe

Artur Machlarz



Warunki wstępne

CONT - deﬁnicje i uwagi wstępne
Uwaga: In nie stanowi jeszcze żadnej miary informatywności. Podobnie
jest z CONT: In i CONT są pojęciami, które nie deﬁniują ilości treści ani
informacji.
Sens pojęcia treści zdania (CONT(i)):
Zakres zdania i (R(i)) - zbiór wszystkich opisów stanów (Z), które
L-implikują i.

Artur Machlarz



Warunki wstępne

informacji.
L-implikują i.
Zdanie i mówi zatem, że stan naszego uniwersum wyznaczonego
przez L jest jednym z możliwych stanów, które są opisywane przez Z
w R(i).

Artur Machlarz



Warunki wstępne

informacji.
L-implikują i.
w R(i).
Patrząc z drugiej strony: i mówi, że stan tego uniwersum nie jest
jednym ze stanów opisywanych przez dopełnienie zakresu R(i).

Artur Machlarz



Warunki wstępne

informacji.
L-implikują i.
w R(i).
Element treści: negacja opisu stanu.

Artur Machlarz



Warunki wstępne

informacji.
L-implikują i.
w R(i).
Element treści: negacja opisu stanu.
Treść zdania i (CONT(i)) - klasa elementów treści L-implikowanych
przez i.
Artur Machlarz



Warunki wstępne

CONT - przykład

Jeśli w języku L2 mamy 16 możliwych opisów stanów, to: ile elementów
2
zawiera CONT (Da. ∼ Za. ∼ Db.Zb) ?
ile elementów zawiera CONT (Da) ?

Artur Machlarz



Warunki wstępne

CONT - własności

Bar-Hillel i Carnap uważają, że CONT jest znakomitą funkcją
eksplikującą sens In. Pojęcie informacji niesionej przez zdanie jest
bowiem identyﬁkowane ze zbiorem negacji wszystkich tych opisów
stanów, które są przez określone zdanie wykluczone. Trzymają się tej
samej intuicji, która leży u podstaw oparcia deﬁnicji wartości
informacyjnej na odwrotności wartości prawdopodobieństwa określonego
stanu w danym systemie w teorii Shannona, Nyquista i Hartleya.

Artur Machlarz



Warunki wstępne

Podsumowanie

Co udało się dotąd osiągnąć?

Artur Machlarz



Warunki wstępne

Podsumowanie

Udało się zdefniować precyzyjnie warunki, w ramach
których będą obowiązywały deﬁnicje informacji i treści.
Udało się też podać deﬁnicje informacji i treści zdania
względne do określonego systemu językowego.

Artur Machlarz



Warunki wstępne

Podsumowanie

Co chcemy osiągnąć?

Artur Machlarz



Warunki wstępne

Podsumowanie

Co chcemy osiągnąć?
Chcemy podać deﬁnicję wartości informacyjnej określonych
zdań systemu.

Artur Machlarz



Warunki wstępne

Literatura

Duża część tego wykładu oparta jest na tekstach Bar-Hillela
zamieszczonych w wyborze:
Language and Information. Selected Essays in their Theory and
Application. Massachusetts 1964.

Artur Machlarz



Warunki wstępne

Dziękuję za uwagę i zapraszam do stawiania pytań!
Artur Machlarz
e-mail: artur.machlarz@uni.opole.pl
www: http://www.uni.opole.pl/∼machlarz

Artur Machlarz


Semantyczna teoria informacji 1

Recomendados

Recomendados

Mais conteúdo relacionado

Mais de Artur Machlarz

Mais de Artur Machlarz (18)

Semantyczna teoria informacji 1