1. Taal, Items en Agenten
Zelfconsistente ranking en positionering binnen een
sociaal netwerk
Kees van Overveld
december 2012
We beschrijven een systeem waarin
individuen (agenten) een mening kunnen
communiceren over items, waarbij deze
communicaties indirect ook leiden tot het tot
stand komen van een mening over de
individuen zelf. We beschrijven enkele
toepassingen, met name in het licht van de
route die geschetst is in [1i].
Van absolute naar relatieve oordelen
Als variant op het bekende raadsel ‘hoe lang is een Chinees’ kunnen
we ons de vraag stellen ‘hoe goed is een kunstwerk’. Hierbij mag
‘kunstwerk’ vervangen worden door elk willekeurig ander item
waarover een oordeel mogelijk is: een kookrecept, een geschreven
artikel, een feest, een politieke partij, … We zullen alle
beoordeelbare dingen aanduiden als ‘items’.
Het is tegenwoordig op het Internet een geliefde hobby om
oordelen kenbaar te maken. Steeds meer websites hebben bij
allerlei items reeksen sterretjes staan waarvan er meer of minder
gekleurd zijn: het aantal gekleurde sterretjes is een maat voor het
aantal mensen dat het betreffende item positief gewaardeerd heeft.
Kennelijk is het belangrijk dat we zoveel mogelijk dingen kunnen
beoordelen, en voor al die oordelen geldt: hoe meer sterretjes hoe
beter.
Toch is dit een wat beperkte visie op het beoordelingsproces. Aan
tenminste twee facetten wordt geen recht gedaan. Ten eerste zijn
items op veel meer facetten beoordeelbaar: een kookrecept is
misschien beter naar mate het gerecht lekkerder is, maar ook naar
mate het recept duidelijker is opgeschreven, de ingrediënten
makkelijker verkrijgbaar zijn, en de bereiding eenvoudiger. Daarbij
komt dat verschillendsoortige items misschien verschillendsoortige
aspecten hebben: van een geschreven artikel is het zinloos om te
zeggen hoe lekker het gerecht is. En misschien is zelfs een
individueel recept niet op alle recept-criteria beoordeelbaar.
1

2. Een tweede tekortkoming is dat alle oordelen van alle beoordelaars
als ononderscheidbaar worden beschouwd. Er geldt ultieme
democratie op het Internet: one man, one vote.
Deze tekortkomingen beperken de praktische bruikbaarheid van een
beoordeling voor allerlei toepassingen. Een dergelijke ‘sterretjes’-
beoordeling zegt niet zoveel. Met name is het niet mogelijk om
oordelen van verschillende agenten uit elkaar te houden; individuele
recommendation wordt daarmee onmogelijk.
De tekortkoming waarbij alle oordelen ononderscheidbaar worden
behandeld lijkt het meest fundamenteel. Op het eerste gezicht is er
echter maar één alternatief: het laten varen van het democratische
uitgangspunt. Maar dat druist heftig in tegen de geest van de
sociale interactie op het Internet. Er zijn natuurlijk gezaghebbende
opinies, en recepten van sterrenkoks zijn waarschijnlijk wel beter
(in één of andere zin) dan ingezonden recepten in de kookrubriek,
maar Internetgebruikers zijn niet zo dol op het autoriteitsargument.
In dit document bestuderen we de vraag of het mogelijk is om een
beoordelingssysteem te hebben waarin ieder individu invloed heeft,
maar waarin bij die invloed toch gedifferentieerd wordt naar
individuen: niet iedereen heeft evenveel invloed. Dit lijkt een beetje
op vroege vormen van stemrecht, o.a. in Nederland: er zijn
perioden geweest dat allen sommige sociale lagen mochten
stemmen, of alleen mannen. Het behoeft geen betoog dat het
gebruik van dergelijke absolute, van buitenaf opgelegde criteria,
waaraan het gewicht van een stem ontleend kan worden, in de
huidige tijd onacceptabel is. In plaats daarvan zoeken we naar
criteria of beoordelingsmethoden die geen absolute input van
buitenaf nodig hebben, maar waarbij het beoordelingsproces zelf de
differentiatie tussen beoordelaars veroorzaakt.
We geven hierna eerst kort de informele intuïtie van onze aanpak
(zogenaamde ‘zelfconsistentie’); daarna gaan we iets verder in op
de eisen die we aan een praktisch beoordelingssysteem stellen, en
we geven een voorstel voor een implementeerbare uitwerking.
Zelfconsistentie: ‘wat je zegt dat ben je zelf’.
In een traditioneel beoordelingssysteem kan het geven van een
oordeel aan een item gezien worden als: ‘Item I krijgt een zekere
waarde toebedeeld’, en hoe groter de geaccumuleerde waarde die
aan I toebedeeld wordt, hoe hoger het eindoordeel over I. Wat er
gebeurt is echter, dat een agent A (een individu) een waarde aan I
toebedeelt. Er is dus meer informatie, namelijk de identiteit van A.
De waarde die door A aan I wordt toegekend, zegt immers ook iets
over A zelf.
2

3. Laten we om te beginnen eens de eenvoudige situatie nemen
waarin I en A allebei door één eigenschap beschreven worden. Bij I
is dat ‘waarde, aangeduid als I.wii. Bij de agent is dat
‘deskundigheid1’, A.d. Zowel waarde als deskundigheid stellen we
voor door iets dat op volgorde gezet kan worden, bijvoorbeeld een
getal op een schaal. Geen van beiden zijn ‘waarde’ en
‘deskundigheid’ echter in absolute zin vast te stellen. Ze kunnen
alleen relatief, in afhankelijkheid van elkaar bepaald worden. Ze
kunnen gedefinieerd worden door een tweetal circulaire definities:
• een item heeft meer waarde naarmate meer deskundige
agenten het waarderen
• een agent is deskundiger naarmate hij in zijn waarderingen
meer verschil maakt tussen items met een hoge waarde en
items met een lage waarde.
Merk op dat alleen de onderlinge afhankelijkheid tussen items en
agenten het mogelijk maakt om uitspraken over, hetzij de waarde
van een item, hetzij de deskundigheid van een agent te doen.
Bovendien merken we op dat er een soort symmetrie tussen items
en agenten ontstaat: agenten zijn beter naarmate ze beter
onderscheid kunnen maken tussen items, en items zijn beter
naarmate ze beter onderscheid kunnen maken tussen agenten.
Als we dit direct zouden toepassen op mensen als agenten en
bijvoorbeeld kunstvoorwerpen als items ontstaat een nogal schraal
en simplistisch beeld. Alsof je alle mensen op volgorde van
deskundigheid zou kunnen zetten, en alle kunstvoorwerpen op
volgorde van waarde. Het is duidelijk dat het systeem veel meer
nuance behoeft om recht te doen aan de uiteenlopendheid van
mensen voor wat betreft hun interesses, deskundigheid en
ambities; ook kunstwerken (en items in het algemeen) moeten met
een rijker vocabulaire beschreven worden.
Toch is ons eerste schot voor de boeg hoopvol: uit de twee
circulaire definities volgt namelijk een praktisch te implementeren
werkwijze om, uitgaande van een hoeveelheid beoordelingen die
door agenten aan items toegekend zijn, een volgorde voor items uit
te rekenen en een volgorde van agenten uit te rekenen zodanig dat
aan beide definities voldaan is. Voor de volledigheid geven we dit
algoritme aan het eind van dit artikel (zie appendix).
1
Andere woorden waaraan je in dit verband kunt denken zijn verschillende soorten ‘literacy’ alsmede
sommige van de dimensies uit een persoonlijkheidsprofiel zoals de big five. Deze dimensies zijn
allemaal gekenmerkt door het feit dat het niet aan het individu zelf is om de waarde vast te stellen:
hij/zij moet deze waarde ‘verdienen’ door de mate waarin hij/zij in staat is oordelen te geven over
items die ook door anderen beoordeeld zijn, of door de mate waarin hij/zij overeenstemming vertoont
met andere individuen waarvan al een profiel bekend is. Daarnaast zijn er ook dimensies in een
persoonlijkheidsprofiel waar de agent wel autonoom is; dit zijn bijvoorbeeld ambitieniveaus,
belangstellingssferen, en dergelijke.
3

4. Een praktisch zelfconsistent beoordelingssysteem
We hebben twee uitbreidingen nodig, wil ons voorstel praktisch
bruikbaar zijn. Ten eerste moeten agenten zowel als items door
willekeurige aantallen ‘waardes’ en ‘deskundigheden’ voorgesteld
kunnen worden; ten tweede moet de collectie ‘waardes’ en de
collectie ‘deskundigheden’ instelbaar zijn al naar gelang de
behoefte.
Als er van meerdere waardes of deskundigheden (we zullen deze
samen ‘dimensies’ noemen) sprake is, die in samenhang tussen
agenten en items op zelfconsistente wijze vastgesteld moeten
worden, moeten we in staat zijn om op te schrijven hoe de
uitgedeelde beoordelingen in het systeem verdisconteerd moeten
worden.
Bijvoorbeeld: bij een tentoonstelling zouden we twee waardes en
twee deskundigheden kunnen onderscheiden2: voor een item, de
waardes bijzonderheid en populariteit; voor een agent: de mate
waarin iemand kijk heeft op kunst (d.w.z., het vermogen waarmee
iemand ‘bijzondere’ kunst kan onderscheiden van ‘banale’ kunst),
en de mate waarmee iemand kijk heeft op populariteit (d.w.z., het
vermogen waarmee iemand ‘populaire’ kunst kan onderscheiden
van ‘impopulaire’ kunst). Merk op dat zowel de twee waardes als de
twee deskundigheden tot op zekere hoogte onafhankelijk zijn:
bijzondere kunst hoeft niet populair te zijn, maar hoeft ook niet
impopulair te zijn; analoog voor populaire kunst, en analoog voor
de twee soorten deskundigheden.
In bovenstaand voorbeeld: als een agent uitspreekt dat een bepaald
item populair is, zal dat meer aan de populariteit-waarde van dat
item bijdragen naarmate de agent een grotere deskundigheid heeft
in het onderscheiden van populaire en impopulaire items; als een
agent uitspreekt dat een bepaald item bijzonder is zou dat kunnen
bijdragen aan de populariteit van het item ongeacht de
deskundigheid van de agent in welk opzicht dat ook, maar het zal
meer bijdrage een de bijzonderheid van het kunstwerk naarmate de
agent deskundiger is in het vaststellen van bijzondere kunst.
Laten we dit scherper stellen: noem, voor een item, de twee
dimensies BW en PW (bijzonderheidwaarde en populariteitswaarde)
en de twee dimensies BD en PD (deskundigheid ten aanzien van
bijzonderheid, en deskundigheid ten aanzien van populariteit3).
2
In een eerdere exploratie duidden we die aan met de ‘rode’ en de ‘gele’ muntjes’.
3
Het hoeft in het algemeen zeker niet zo te zijn dat dimensies altijd in paartjes voorkomen, één als
waarde en de andere als deskundigheid. Tegenvoorbeelden zijn sommige dimensies van de big five of
4

5. Stel nu dat agent A aan item I een gunstig oordeel ten aanzien van
bijzonderheid uitreikt, dan zouden bijvoorbeeld de volgende drie
regels van toepassing kunnen zijn4:
I.BW  verhoog5 meer naarmate A.BD groter is
A.BD  verhoog meer naarmate I.BW groter is
I.PW  verhoog ongeacht enige eigenschap van A
Als daarentegen een agent A aan item I een gunstig oordeel ten
aanzien van de populariteit uitreikt, zouden de volgende twee regels
uitgevoerd kunnen worden:
I.PW  verhoog meer naarmate A.PD groter is
A.PD  verhoog meer naarmate I.PW groter is.
Op deze manier wordt het mogelijk om van willekeurige
koppelingen tussen dimensies van items en agenten voor te
schrijven hoe ze moeten leiden tot aanpassingen.
De enige vereiste hiervoor is, dat het systeem waarin agenten en
items beschreven worden flexibel opgezet is, met andere woorden,
dat naar willekeurig van agenten en items willekeurige
eigenschappen (dimensies) geadministreerd kunnen worden. Het
configureren van een evenement, waarin wordt beschreven hoe
voor dat evenement de beoordeling (met als toepassingen daarvan
feedback, ranking en recommendation!) moeten werken, bestaat
dan uit het opstellen van een script met daarin de regels die voor
dit evenement de koppelingen tussen de diverse dimensies regelen;
op de achtergrond draait een gegeneraliseerde versie van het
algoritme uit de appendix om te zorgen dat het door elkaar
uitvoeren van al die regels leidt tot een zelf-consistent stel waarde-
en deskundigheidsdimensies.
Het aspect ‘taal’.
De verschillende dimensies worden aangeduid met woorden die
voor verschillende evenementen verschillend kunnen zijn. Als echter
een aantal woorden gestandaardiseerd wordt (in een zogenaamde
namespace), kan informatie van één evenement naar een volgend
evenement gecommuniceerd worden. In [i] spreken we bijvoorbeeld
van de koppeling tussen de bezoekerservaringen van
sommige literacies die alleen als ‘deskundigheidsdimensie’ optreden, maar niet als imte-waarde.
4
Ook hier gebruiken we weer de zogenaamde punt-notatie: A.B lees je als ‘A z’n B’, het betekent:
‘eigenschap B van object A ‘.
5
‘verhoog’ moet hier niet letterlijk worden opgevat als: ‘maak deze waarde zonder meer groter’. Er
zijn allerlei technische kwesties rondom normering die in acht moeten worden genomen om te
voorkomen dat waardes onvergelijkbaar worden.
5

6. achtereenvolgende evenementen: deze koppeling veronderstelt dat
een deel van de dimensies die bij het eerste evenement een waarde
gekregen hebben, nog betekenis heeft bij het volgende evenement.
Dit is mogelijk door het standaardiseren van (een deel) van de
woorden waarmee dimensies aangeduid worden, en het consistent
houden van de script-regels waarin het gedrag van die dimensies
beschreven is.
‘Woorden’ komen nog op een tweede manier in het
beoordelingsmechanisme voor. Immers, tot dusver gaven we
voorbeelden waarin een beoordeling bestaat uit een ordinale
waarde (een getal op een of andere schaal). Vaak willen we echter
ook beoordelingen toestaan in de vorm van ‘tagging’ (= het
toekennen van woord-associaties aan een item). Tags kunnen
daarbij uit een lijst te kiezen zijn; soms worden ook vrije tags
toegestaan.
Als de betekenis van woorden voldoende vastgelegd is – dat wil
zeggen, als er voldoende formeel gerepresenteerde connotatie van
woorden in het systeem aanwezig is, kunnen ook regels
geformuleerd worden waarin dimensies aangepast worden ten
gevolge van de gebeurtenis dat een agent zich door het invoeren
van een of meer woorden over een item uitlaat. Het is hierbij
belangrijk op te merken dat dit niet kan voor een ‘vrije’ tekst die
nog nooit eerder in het systeem werd ingevoerd: die heeft immers
nog geen vastgelegde connotatie. Toch kan zo’n vrije tekst wel
bewaard worden voor later gebruik, mits de beoordeling waar deze
vrije tekst deel van uitmaakte ook nog andere, wel door het
systeem herkende elementen bevatte (bijvoorbeeld een waardering
op een schaal, of tags uit de collectie al bekende woorden waarmee
de nieuwe tekst verondersteld kan worden min of meer synoniem te
zijn). Op die manier kan een ‘zelflerend’ beoordelingssysteem
opgetuigd worden met een woordenschat die ‘vanzelf’ groter wordt.
Een generiek zelfconsistent ranking- en profileringsysteem
Als agenten en items in een triple store gerepresenteerd zijn is een
voldoende flexibele opslagstructuur aanwezig om bovenstaande
ideeën te realiseren. Een of meerdere namespaces zullen nodig zijn
om de meest algemene sets regels te formuleren. Ook voor de
implementatie van ‘beoordeling door tagging’ is een triple store een
geschikt vertrekpunt. Zowel de connotatie van de aanwezig tags,
als de inbedding van nieuwe tekstfragmenten als ‘tags voor de
toekomst’ kunnen hierop geïmplementeerd worden.
Wij zien dus als drie fundamentele componenten van een generieke
zelfconsistente beoordelingsfunctionaliteit in de eSphere:
6

7. • een triple store waarin agenten, items en de taal waarmee
agenten, items en tags op één uniforme manier opgeslagen
zijn;
• een voorziening om scripts te maken die beschrijven hoe elk
beoordeling-event in enig door eSphere ondersteund
evenement leidt tot het uitvoeren van regels voor het updaten
van dimensies, waarbij die scripts gebruik maken van de
woorden uit de triple store;
• een gegeneraliseerde versie van het algoritme uit de appendix
dat op de achtergrond alle in de scripts beschreven regels
uitvoert en laat leiden tot een zelfconsistente set toewijzingen
aan waardes en deskundigheden van alle items en agenten.
Appendix: een eenvoudig algoritme voor een zelfconsistente
beoordeling van items en agenten; een voorlopige analyse
en enkele experimentele resultaten.
We geven het algoritme voor zelfconsistente ranking voor het eenvoudigste
geval, namelijk met één waardedimensie en één deskundigheidsdimensie. Laat A
de vector van alle kundigheden van agenten zijn: A[i] is de kundigheid van agent
nr. i; laat I de vector van alle waardes van items zijn; I[j] is de waarde van item
nr. j. Zowel kundigheid en waarde is gerepresenteerd door een reëel getal tussen
-1 en 1. Een oordeel, gegeven door agent i aan item j is ook een getal tussen -1
en 1; de beoordelingen worden weergegeven door matrix B: B[i][j] is het
oordeel, gegeven door agent i aan item j. Initieel stellen we alle kundigheden en
scores op een random waarde.
Vervolgens herhalen we, tot convergentie:
• Bereken een schatting voor de waardes: I’[j]=A•B[*,j]/√|A||B[*,j]|.
Toelichting: wij berekenen de arccosinus van de hoek tussen kolom j van
B en de vector A. Dit implementeert de intuïtie dat de waarde van een
item vooral bepaald wordt door wat de meest kundige agenten over dat
item oordelen.
• Bereken een schatting voor de kundigheden: A’[i]=B[i,*] •I/√B[i,*]||I|.
Toelichting: wij berekenen de arccosinus van de hoek tussen rij i van B en
de vector I. Dit implementeert de intuïtie dat de kundigheid vooral bepaald
wordt door de mate waarin de oordelen overeenstemmen met de (tot
dusver beste schattingen van de) waardes.
• Pas de waardes aan: I=αI+(1-α)I’ (hierbij is α een parameter die de
balans tussen de stabiliteit van het algoritme en de snelheid van
convergentie regelt: als α klein is convergeert het snel maar dreigt
oscillerend gedrag; als α groot is treedt een stabiele maar langzamere
convergentie op.
• Pas de kundigheden aan: A=αA+(1-α)A’
Als er convergentie optreedt, geldt I’=I en A’=A. Om te begrijpen wat dit
betekent veronderstellen we eerst dat gedurende het convergentieproces de
normen van A en I nauwelijks veranderen. Inderdaad, |A| ≈ 0.25 * (aantal
agenten); |I| ≈ 0.25 * (aantal items). Neem ook aan dat alle kolommen van B
(ongeveer) dezelfde norm hebben, zeg Bk ≈ |A| (=wet van de grote getallen: bij
voldoende grote aantallen agenten en items zal aan deze aanname beter voldaan
zijn. Merk op: dit komt dankzij de keuze om kennisniveaus en waarden te
normeren tussen -1 en 1: daardoor heeft een ‘goed’ item niet per se een grotere
norm dan een ‘slecht’ item.). Analoog de rijen van B, met norm Br ≈ |I|. Deze
kunnen we dan als constanten opvatten, en de eindtoestand van de iteratie kan
7

8. geschreven worden als I= ATB/√|A|Bk. Voorts is A=BIT/√|I|Br dus I=IBTB/√|A||I|
BrBk. Met andere woorden, I is een eigenvector bij eigenwaarde √|A||I|BrBk ≈
(aantal agenten * aantal items) van matrix BTB. Deze matrix is definitiet positief,
en heeft dus een reëel spectrum; bovendien wordt hiermee ons iteratieproces te
interpreteren als de traditionele manier om een eigenvector (en wel die met de
grootste eigenwaarde) van een matrix te vinden. Er zijn overigens verschillende
alternatieve keuzes te maken wat betreft de normering; ook hoeft het algoritme
niet perse de agenten en items symmetrisch te behandelen. E.e.a. is onderwerp
van latere studie. Met het huidige algoritme zijn al enkele voorlopige numerieke
experimenten verricht (zie ook de toelichting in de excelfile ‘zelfconsistente
beoordeling demo - symm.xls’. Dan blijkt dat convergentie bij volledige matrix B
probleemloos reproduceerbaar is, d.w.z. dat bij verschillende (random)
verdelingen van startwaarden voor kennisniveaus en waarden steeds dezelfde
eindtoestand gevonden wordt; de volgorde van de itemwaarden wordt steeds
volledig gevonden. Voor de volgorde van de kennisniveaus van de agenten geldt
een iets ander gedrag: voor de agenten met de hoogste kennisniveaus is de
reconstructie exact; naarmate de kennisniveaus lager zijn is de spreiding
toenemend groter. Ook kunnen we experimenten doen bij onvolledige respons:
de matrix B kan sparse zijn (d.w.z., slechts een deel van de beoordelingen is
beschikbaar). Het blijkt dan bij bijvoorbeeld 50 items en 200 agenten nog
mogelijk om de juiste volgorde van de itemwaarden te reconstrueren bij niet
meer dan 10% respons – (dat wil zeggen dat de gemiddelde agent over niet
meer dan 5 items een oordeel uitspreekt).
8

9. i
‘Kees van Overveld: ‘white paper cultuurfestivals’, december 2011
ii
We gebruiken hier de zogenaamde punt notatie. ‘a.b’ spreek je ut als ‘a z’n b’, en het betekent: de waarde van
eigenschap b van ‘ding’ a.