TAR vs. Stichwortsuche Herausforderung, Runde 6 (Sofortiges Feedback)

Even with a large pool of participants, ample time, and the ability to hone search queries based on instant feedback, nobody was able to generate a better production than Technology-Assisted Review (TAR) when the same amount of review effort was expended. It seems fair to say that keyword search often requires twice as much document review to achieve a production that is as good as what you would get TAR.

en flag
fr flag
de flag
pt flag
es flag

Ein Auszug aus einem Artikel des eDiscovery-Experten Bill Dimm

Dies war bei weitem die bedeutendste Iteration der laufenden Übung, bei der ich ein Publikum herausfordere, eine Stichwortsuche zu erstellen, die besser funktioniert als technologiegestützte Überprüfung (auch bekannt als Predictive Coding oder überwachtes maschinelles Lernen). Es gab weit mehr Teilnehmer als vorherige Runden, und eine strukturelle Änderung in der Herausforderung ermöglichte es den Teilnehmern, sofortiges Feedback zur Leistung ihrer Abfragen zu erhalten, damit sie sie iterativ verbessern konnten. Insgesamt wurden 1.924 Anfragen von 42 Teilnehmern eingereicht (durchschnittlich 45,8 Abfragen pro Person) und höhere Rückrufniveaus erreicht als in jeder vorherigen Version der Challenge, aber das Publikum konnte die TAR immer noch nicht übertreffen.

In früheren Versionen des Experiments reichte das Publikum Suchanfragen auf Papier oder über ein Webformular mit ihren Telefonen ein, und ich bewertete einige von ihnen live auf der Bühne, um zu sehen, ob das Publikum in der Lage war, eine höhere Rückrufaktion als TAR zu erreichen. Da die Anzahl der Live-Bewertungen so gering war, hatte das Publikum nur wenig Gelegenheit, die Ergebnisse zu nutzen, um ihre Anfragen zu verbessern. In der letzten Iteration hatten die Teilnehmer jeweils einen eigenen Computer im Labor auf der Ipro Tech Show 2019, und das Webformular evaluierte die Abfrage und gab dem Benutzer Feedback zu dem sofort erzielten Rückruf. Darüber hinaus wurden die Relevanz und wichtige Schlüsselwörter für jedes der 100 besten Dokumente angezeigt, die der Abfrage entsprechen, so dass die Teilnehmer schnell nützliche neue Suchbegriffe entdecken konnten, um ihre Suchanfragen zu optimieren. Dies verschaffte den Teilnehmern einen erheblichen Vorteil gegenüber einem normalen e-Discovery-Szenario, da sie eine unbegrenzte Anzahl von Abfragen ohne Kosten ausprobieren konnten, um Relevanzbestimmungen für die abgerufenen Dokumente zu treffen, um zu entscheiden, welche Keywords die Abfragen verbessern würden. Die Anzahl der Teilnehmer war deutlich größer als jede der vorherigen Iterationen, und sie hatten volle 20 Minuten, um so viele Abfragen auszuprobieren, wie sie wollten. Es war die beste Chance, die ein Publikum je hatte, TAR zu schlagen. Sie haben versagt.

Lesen Sie den vollständigen Artikel bei TAR vs. Keyword Search Challenge, Runde 6 (Instant Feedback)

Zusätzliche Lesung

TAR vs. Stichwortsuche Herausforderung, Runde 5 (Bill Dimm)

TAR vs. Stichwortsuche Herausforderung, Runde 4 (Bill Dimm)

TAR vs. Stichwortsuche Herausforderung, Runde 3 (Bill Dimm)

Quelle: ComplexDiscovery