3.3 Relevance Feedback Bewertung von Ergebnisdokumenten Auswertung von Bewertungen ISWeb - Information Systems & Semantic Web Steffen Staab staab...

1MB Sizes 0 Downloads 0 Views

Recommend Documents

No documents


3.3 Relevance Feedback

Bewertung von Ergebnisdokumenten Auswertung von Bewertungen

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

1



Vereinfachter IR-Prozess

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

2



Motivation

erstes Ergebnis oft nicht zufriedenstellend Gründe: vage Vorstellung des Nutzers über Suchergebnisse schlechte Anfrageformulierung unbekannte Dokumentenkollektion keine relevanten Dokumente verfügbar

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

3

Reaktion auf nicht zufriedenstellendes Ergebnis
Abbruch Browsing manuelle Abfragemodifikation Relevance Feedback

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

4

web>



Vorteile Relevance Feedback

Anwender braucht keine Anfragemodifikation furchzuführen → muss Systeminterna nicht kennen Anwender bewertet nur Ergebnisse Annähern an Ergebnis iterativ oft einfacher als mit einer einzigen Anfrage Relevanzwerte vom Nutzer zum System → Relevance Feedback

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

5



Beispiel Relevance Feedback

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

6

Bewertung von Ergebnisdokumenten



zu berücksichtigende Aspekte: Anzahl der zu bewertenden Dokumente soviel wie möglich versus Aufwand: <=10 reduzierte Darstellung der Ergebnisdokumente z.B. Thumbnails, Zusammenfassungen

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

7

Bewertung von Ergebnisdokumenten (2)

Art der Bewertung  relevant und keine Bewertung  relevant, irrelevant und keine Bewertung  gestufte Relevanzwerte

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

8



Bewertung von Ergebnisdokumenten (3)



Bewertungsgranulat: Dokument oder Dokumenteneigenschaften  bzgl. mehreren Anfrageobjekten (Suchtermen) einer zusammengesetzten Anfrage, z.B. „Korsika and Strand“  bzgl. verschiedener Eigenschaftswerte z.B.: Bildersuche anhand Form und Größe, aber getrennte Bewertung

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

9

Beispiel gestufte Relevanzwerte

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

10



Pseudorelevanz



automatische Bewertung, also Entlastung des Nutzers erste relevante Dokumente gelten automatisch als relevant → Anfragemodifikation schlechtere Ergebnisse als bei manueller Relevanzbewertung oft bessere Ergebnisse als ohne Anfrage-Iteration

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

11



Auswertung von Bewertungen

Finden eines besseren Ergebnisses Anfragemodifikation:  Modifikation von Nutzerprofilen z.B. Text-Retrieval: Profil enthält nutzerspezifische Suchterme (etwa „Ferienwohnung“ für Reisebüro)  Modifikation der Dokumentenbeschreibungen z.B. Modifikation des Indexvokabulars → erfordert hohen Aufwand  Modifikation des Suchalgorithmus z.B. andere Distanzfunktion  Modifikation von Anfragetermgewichten in zusammengesetzten, gewichteten Anfragen ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

12

Anfragemodifikation im Vektorraummodell: Rocchio

Verschiebung des Anfragevektors  in Richtung der als relevant bewerteten Dokumente  weg von als irrelevant bewerteten Dokumenten Anfrage: qalt relevant (irrelevant) bewertete Dokumente: Dr (Di)

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

13

Anfragemodifikation im Verkorraummodell: Rocchio (2)

α und β wichten Einfluss relevanter und irrelevanter Dokumente

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

14



Beispiel Rocchio

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

15

3.4 Bewertung von Retrieval-Systemen



Einführung Precision, Recall und Fallout Kombinierte Precision- und Recall-Werte Precision- und Recall-Werte abhängig von der Ergebnisgröße

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

16



Einführung

Bewertung (Qualitätsvergleich) verschiedener RetrievalSysteme  quantitative Maße vonnöten

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

17

Ergebnisbewertung bzgl. versch. Formulierungsebenen

inwieweit ist Ergebnis relevant zu • nicht formuliertem Informationsbedarf • Informationsbedarf als natürlichsprachliche Frage • Informationsbedarf als Anfrage

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

18

Ergebnisbewertung bzgl. versch. Formulierungsebenen (2)

Bewertungsunterschiede bzgl.  Informationsbedarf und Frage:  mangelnde Fähigkeit des Nutzers, Informationsbedarf adäquat als Frage zu formulieren (Bewertung des Nutzers)  Frage und Anfrage:  mangelnde Formulierung einer Frage als Anfrage (Bewertung des Nutzers und der Abfragesprache)

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

19



Nützlichkeit und Relevanz

Relevanz: inwieweit befriedigt Ergebnis den Informationsbedarf Nützlichkeit: inwieweit ist das Ergebnis hilfreich

Unabhängigkeit zwischen Nützlichkeit und Relevanz Beispiel: irrelevant aber (vielleicht?) nützlich: Suche nach Urlaubsmöglichkeiten in Korsika liefert Flugmöglichkeiten

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

20



Nützlichkeit und Relevanz (2)

Beispiel: relevant aber nutzlos: Suche nach Urlaubsmöglichkeiten in Korsika liefert veraltete Dokumente zu Ferienwohnungen im Folgenden Konzentration auf Relevanz und Irrelevanz von Ergebnissen bzgl. Anfrage

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

21



Precision, Recall und Fallout

zunächst Ergebnis als Menge zwei verschiedene Fehlentscheidungen 1.false alarms (fa) bezeichnet diejenigen Dokumente, die vom Retrieval-System irrtümlicherweise als relevant zurückgeliefert werden 2.false dismissals (fd) sind Dokumente, die fälschlicherweise vom Retrieval-System als irrelevant eingestuft wurden

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

22

Precision, Recall und Fallout (2)



zwei korrekte Entscheidungen: 1. correct alarms (ca) 2. correct dismissals (cd) fa, fd, ca, cd stehen für entsprechende Dokumentanzahlen bzgl. einer Anfrage

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

23



fa, fd, ca, cd

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

24

fa, fd, ca, cd im Euler-Venn-Diagramm

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

25



Precision P

Precision: Wieviele (als Verhältnis) Ergebnisdokumente sind tatsächlich relevant?

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

26



Recall R

Recall: Wieviele (als Verhältnis) tatsächlich relevante Dokumente erscheinen im Ergebnis

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

27



Fallout F

Verhältnis falsch gefundener zur Gesamtzahl irrelevanter Dokumente

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

28



Ermittlung von fd und ca

normalerweise nur fa+ca+fd+cd und ca+fa bekannt für fd und ca Nutzerbewertung notwendig ca durch Relevanzbewertung der Ergebnisdokumente fd durch Relevanzbewertung der zurückgehaltenen Dokumente

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

29



Ermittlung von fd und ca (2)

Problem: meist hoher Aufwand aufgrund hoher Dokumentenanzahl, insbesondere für fd Lösungsansatz: Verwendung von kleiner, repräsentativer Testdatenbank

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

30

Durchschnitt über Anfrageserie



Precision, Recall, Fallout definiert bzgl. einer Anfrage besser: mehrere Anfragen und entsprechende Durchschnittswerte

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

31



Beispiel

20 Dokumente, 2 Anfragen, jeweils 10 Ergebnisdokumente

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

32



Precision versus Recall

beide Werte gleich wichtig, da gute Precision auf Kosten Recall: möglichst kleine Ergebnismenge z.B. Ergebnismenge enthält nur ein relevantes Dokument: P = 100% und R → 0 gutes Recall auf Kosten Precision: möglichst große Ergebnismenge z.B. Ergebnismenge enthält alle Dokumente: R = 100% und P → 0

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

33

Abhängigkeit von Dokumentanzahl



Ergebnis als Liste ca, cd, fa, fd, Precision und Recall sind abhängig von Ergebnisgröße r daher ca(r), cd(r), fa(r), fd(r), Pq(r) und Rq(r) bzgl. der r ersten Ergebnisdokumente

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

34

Kombinierte Precision- und Recall-Werte



beim Inkrementieren von r, pro neues Dokument zwei Varianten

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

35



Beispiel

20 Dokumente, 1 Anfrage, 2 Retrieval-Systeme

die selben 20 Dokumente, neue Anfrage, 3. Retrieval-System

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

36

Beispielwerte für Precision und Recall tabellarisch

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

37


ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

38

web>

Abbildung zwischen Precision und Recall



Linie ist Sägezahnlinie → keine Funktion Ziel: Precision als Funktion über Recall Lösung: pro Recall-Wert maximalen Precision-Wert verwenden Optimum: 100%-Linie System besser, je näher zum Optimum

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

39

Precision als Funktion über Recall

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

40





Unterschiedliche Recall-Werte

unterschiedliche Anfragen erzeugen oft unterschiedliche Recall-Werte z.B. Anfrage 1,2 versus 3 Ziel: Vergleich Retrieval-System immer bzgl. 11 StandardRecall-Stufen 11 Standard-Recall-Stufen: 0%, 10%, ..., 100%

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

41

Unterschiedliche Recall-Werte (2)



Lösung: Precision-Werte aus Intervallen berechnen: rjS ist j-te Stufe der 11 Stufen und ri sind ursprüngliche Recall-Stufen

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

42

11 Standard-Recall-Stufen grafisch

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

43



Alternative Precision-Recall-Funktion



ursprüngliche Abbildung ist keine Funktion (Sägezahnlinie) alternative Lösung: pro Recall-Wert den größten Precision-Wert des aktuellen und aller nachfolgenden Recall-Werte übernehmen

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

44

11 Standard-Recall-Stufen grafisch

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

45



Durchschnitt über Standard-Recall-Stufen



Recall-unabhängiger Vergleich Durchschnittswerte zum Vergleich nutzen wenn gewünscht: zusätzlich Durchschnitt über mehrere Anfragen

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

46

Precision-Werte abhängig von Ergebnisgröße

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

47





Harmonisches Mittel

Kombination von Precision und Recall einer Ereignisgröße

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

48

Beispiel harmonisches Mittel

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

49

Beispiel harmonisches Mittel grafisch

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

50





3.5 Nutzerprofile

Retrieval-Szenarien Einfluss von Nutzerprofilen auf den Retrieval-Prozess

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

51



Motivation

bis jetzt keine Unterscheidung von Anwender und Anwendergruppen Verhalten bzw. Suchbedarf verschiedener Nutzer differiert oft Idee: Subjektivität wird als Nutzerprofil modelliert und bei Suche berücksichtigt nur sinnvoll bei häufigem Zugriff von einzelnen Nutzern mit Identifikation

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

52



Beispiel

Bibliothekarin in einer Informatik-Bibliothek kennt Nutzer  Professoren interessiert an spezieller Fachliteratur  Studenten interessiert an Lehrbüchern

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

53

Bestandteile eines Nutzerprofils



etwa eine feste Anfrage vorgegeben vom Nutzer oder aus Suchläufen ermittelt zusätzlich möglich: Bildungsstand: Vorkenntnisse Vertrautheitsgrad mit Interessensgebiet: Anfänger versus Experte

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

54

Bestandteile eines Nutzerprofils (2)



Spachfähigkeit: Deutschkenntnisse Retrieval-Historie: Ergebnisse vorheriger Sitzungen spezielle Präferenzen: z.B. Bevorzugung eines bestimmten Journals

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

55

Retrieval-Szenarien

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]



56



Filtering mit Profilen

Vergleich Nutzerprofile mit neu eingefügten Dokumenten Relevanz → Nutzer wird informiert Dokument quasi als Anfrage und Profile als Datenkollektion System ist aktiv → Push-Dienst oder Current-AwarenessSystem oder Subscription

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

57



Filtering mit Profilen (2)

zusätzliche Sortierung anhand Relevanz: Routing Beispiel: Ärzte bleiben informiert anhand medizinischer Artikel, die entsprechend ihren Profilen gefiltert werden

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

58



Retrieval mit Profilen

Nutzerstamm statisch zwei Realisierungsmöglichkeiten 1.Nachfiltern: ● ●



Filtering auf Anfrageergebnis hoher Berechnungsaufwand durch u.U. großem Zwischenergebnis reduzieren nur false alarms

2.Vorfiltern: ● ●

Nutzerprofil beeinflusst Retrieval-Prozess direkt Reduzierung von false alarms und false dismissals

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

59



Nachfiltern

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

60

Einfluss von Nutzerprofilen auf den Retrieval-Prozess

Annahme: Anfrage als Profil einfache Realisierung: Verschiebung Anfragepunkt q in Richtung Profilabfragepunkt p

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

61

Einfluss von Nutzerprofilen auf den Retrieval-Prozess (2)

Problem: relevante Dokumente bzgl. q können irrelevant bzgl. q' werden, gewünscht: Reduzierung false dismissals statt Reduzierung false alarms

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

62

Minimumsfunktion

Erweiterung der Anfragesemantik statt -modifikation naiver Ansatz: Min-Funktion

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

63

Minimumsfunktion

Problem 1: Profil liefert immer selbe Dokumentmenge Problem 2: Dokumente zwischen q und p erscheinen nicht unbedingt im Ergebnis ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

64

Summenbildung

Problem: Suchbereich wird zu groß ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

65



Multiplikation

Kompromiss zwischen Min-Funktion und Summenbildung 3 Varianten in Abhängigkeit von r:

ISWeb - Information Systems & Semantic Web

Steffen Staab [email protected]

66