Défi de recherche de mots clés par rapport au TAR, ronde 6 (commentaires instantanés)

Even with a large pool of participants, ample time, and the ability to hone search queries based on instant feedback, nobody was able to generate a better production than Technology-Assisted Review (TAR) when the same amount of review effort was expended. It seems fair to say that keyword search often requires twice as much document review to achieve a production that is as good as what you would get TAR.

en flag
fr flag
de flag
pt flag
es flag

Extrait d'un article de Bill Dimm, expert en e-Discovery

Il s'agissait de loin de l'itération la plus importante de l'exercice en cours où je mets au défi un auditoire de produire une recherche par mots-clés qui fonctionne mieux que l'examen assisté par la technologie (également connu sous le nom de codage prédictif ou d'apprentissage automatique supervisé). Il y avait beaucoup plus de participants que les séries précédentes, et un changement structurel du défi a permis aux participants d'obtenir immédiatement des commentaires sur la performance de leurs requêtes afin de pouvoir les améliorer de façon itérative. Au total, 1 924 demandes ont été soumises par 42 participants (soit 45,8 demandes en moyenne par personne) et des niveaux de rappel plus élevés ont été atteints que dans toute version antérieure du défi, mais le public n'a toujours pas réussi à battre le TAR.

Dans les versions précédentes de l'expérience, le public a soumis des requêtes de recherche sur papier ou sur un formulaire Web à l'aide de son téléphone, et j'ai évalué quelques-uns d'entre eux en direct sur scène pour voir si le public était en mesure d'obtenir un rappel plus élevé que le TAR. Étant donné que le nombre d'évaluations en direct était si faible, le public a eu très peu d'occasions d'utiliser les résultats pour améliorer ses requêtes. Dans la dernière itération, les participants avaient chacun leur propre ordinateur dans le laboratoire lors de l'Ipro Tech Show 2019, et le formulaire Web a évalué la requête et a donné à l'utilisateur les commentaires sur le rappel réalisé immédiatement. En outre, il affichait la pertinence et les mots-clés importants pour chacun des 100 principaux documents correspondant à la requête, afin que les participants puissent rapidement découvrir de nouveaux termes de recherche utiles pour modifier leurs requêtes. Cela a donné aux participants un avantage significatif par rapport à un scénario normal de découverte électronique, puisqu'ils pouvaient essayer un nombre illimité de requêtes sans engager de frais pour déterminer la pertinence des documents récupérés afin de déterminer quels mots-clés amélioreraient les requêtes. Le nombre de participants était significativement plus important que n'importe quelle itération précédente, et ils disposaient de 20 minutes complètes pour essayer autant de requêtes qu'ils le voulaient. C'était la meilleure chance qu'un public ait jamais eu de battre TAR. Ils ont échoué.

Lisez l'article complet sur TAR vs Keyword Search Challenge, Round 6 (Commentaires instantanés)

Lecture supplémentaire

Défi de recherche de mots clés par rapport au TAR, tour 5 (Bill Dimm)

Défi de recherche de mots clés par rapport au TAR, tour 4 (Bill Dimm)

Défi de recherche de mots clés par rapport au TAR, troisième ronde (Bill Dimm)

Source : ComplexDiscovery