WDF*IDF steht für „Within Document Frequency * Inverse Document Frequency“ und ist eine Methode, die in der Information Retrieval und im Suchmaschinenranking verwendet wird, um die Relevanz eines bestimmten Wortes oder einer bestimmten Phrase in einem Textdokument im Verhältnis zu einer Sammlung von Dokumenten zu berechnen. Es hilft Suchmaschinen, die Bedeutung eines Begriffs in Bezug auf das gesamte Dokument und die Relevanz des Begriffs im Vergleich zu anderen Dokumenten zu verstehen.
WDF*IDF:
- WDF (Within Document Frequency): Die WDF misst, wie oft ein bestimmtes Wort oder eine bestimmte Phrase in einem einzelnen Dokument vorkommt. Es gibt an, wie häufig ein Begriff in einem bestimmten Kontext innerhalb des Dokuments verwendet wird. Je häufiger ein Begriff innerhalb des Dokuments vorkommt, desto höher ist seine WDF.
- IDF (Inverse Document Frequency): Die IDF misst die Seltenheit eines Begriffs in der gesamten Sammlung von Dokumenten. Es wird berechnet, indem die Gesamtanzahl der Dokumente durch die Anzahl der Dokumente geteilt wird, die den Begriff enthalten. Die IDF bewertet die Bedeutung eines Begriffs im gesamten Dokumentenkorpus. Wörter, die in vielen Dokumenten häufig vorkommen, haben eine niedrigere IDF, während seltene Wörter oder Begriffe, die spezifisch für bestimmte Dokumente sind, eine höhere IDF haben.
- TF (Term Frequency): Die TF misst die Häufigkeit eines bestimmten Begriffs innerhalb eines Dokuments. Es zeigt an, wie oft der Begriff im Text vorkommt. Ein höherer TF-Wert bedeutet, dass der Begriff häufiger im Dokument vorkommt.
- TF-IDF (Term Frequency-Inverse Document Frequency): TF-IDF ist das Produkt aus TF und IDF. Es kombiniert die Häufigkeit des Begriffs im Dokument (TF) mit seiner Seltenheit in der Dokumentensammlung (IDF). Durch die Multiplikation von TF und IDF wird der Begriff sowohl in Bezug auf das einzelne Dokument als auch in Bezug auf die gesamte Sammlung von Dokumenten gewichtet.
Die Verwendung von WDF*IDF ermöglicht es Suchmaschinen, die Relevanz eines Begriffs für eine bestimmte Suchanfrage zu bestimmen. Wenn ein Begriff in einem Dokument häufig vorkommt, aber in der gesamten Dokumentensammlung selten ist (hohe WDF und hohe IDF), deutet dies darauf hin, dass der Begriff für das betreffende Dokument relevant ist und somit eine höhere Bedeutung im Ranking erhalten sollte. Andererseits, wenn ein Begriff sowohl im Dokument als auch in der gesamten Dokumentensammlung häufig vorkommt (hohe WDF und niedrige IDF), kann er als weniger relevant für das Dokument eingestuft werden und eine geringere Gewichtung im Ranking erhalten.