Ist das alles relativ? Erhebung über Predictive Coding Technologien und Protokolle — Ergebnisse des Frühjahrs 2020

The Predictive Coding Technologies and Protocols Survey is a non-scientific survey designed to help provide a general understanding of the use of predictive coding technologies, protocols, and workflows by data discovery and legal discovery professionals within the eDiscovery ecosystem.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Anmerkung des Redakteurs: Dies ist die vierte Umfrage zur Predictive Coding und Technologies and Protocols, die von ComplexDiscovery durchgeführt wird. Diese Iteration der Umfrage wurde im Herbst 2018 initiiert und halbjährlich aktualisiert. 63 Daten- und Rechtsexperten, die ihr Verständnis und ihre Erfahrung im Rahmen der vier Frageumfrage teilen. Im Folgenden finden Sie die Ergebnisse der Frühjahrs-2020-Umfrage mit der Hoffnung, dass die allgemeinen, nicht wissenschaftlichen Umfrageergebnisse eDiscovery-Fachleuten bei der Betrachtung prädiktiver Codierungsplattformen, Technologien, Protokolle, Workflows und Anwendungen helfen können.

Die Umfrage zur Predictive Coding Technologien und Protokolle Frühjahr 2020

Die Predictive Coding Technologies and Protocols Survey ist eine nicht-wissenschaftliche Umfrage, die ein allgemeines Verständnis der Verwendung von prädiktiven Codierungstechnologien, Protokollen und Workflows durch Datenermittlungs- und Rechtsermittlungsfachleute innerhalb des eDiscovery-Ökosystems ermöglicht. Die Frühjahrs-2020-Umfrage wurde vom 10. Februar 2020 bis 12. Februar 2020 eröffnet, wobei Einzelpersonen eingeladen wurden, direkt von ComplexDiscovery teilzunehmen.

Die Erhebung zielt darauf ab, ein allgemeines Verständnis der prädiktiven Codierungstechnologien und -protokolle zu vermitteln und hatte zwei primäre Bildungsziele:

Bereitstellung einer konsolidierten Auflistung potenzieller prädiktiver Codierungstechnologien, Protokoll- und Workflow-Definitionen. Obwohl sie nicht umfassend oder umfassend ist, wurde die Auflistung mit ausgewählten Experten für die prädiktive Codierung auf Vollständigkeit und Genauigkeit überprüft, so dass sie für den Einsatz in Bildungsmaßnahmen profitabel ist.

Fragen Sie eDiscovery-Ökosystemprofis nach ihren Präferenzen in Bezug auf Predictive Coding Plattformen, Technologien, Protokolle, Workflows und Nutzungsbereiche.

Die Umfrage bot Respondern die Möglichkeit, vorausschauende Codierungs-Hintergrundinformationen, einschließlich ihrer primären prädiktiven Codierungsplattform, bereitzustellen und vier spezifische Fragen an Responder zu stellen. Diese Fragen sind:

Welche prädiktiven Codierungstechnologien werden von Ihrer eDiscovery-Plattform genutzt?

Welche technologiegestützten Review-Protokolle werden bei der Bereitstellung von Predictive Coding verwendet?

Welches ist der primäre technologiegestützte Review-Workflow, der bei der Bereitstellung von prädiktiven Codierung eingesetzt wird?

In welchen Bereichen nutzen Sie technologiegestützte Review-Technologien, Protokolle und Workflows?

Am 12. Februar 2020 wurde die Umfrage im Frühjahr 2020 mit 63 Respondern abgeschlossen.

Wichtigste Ergebnisse und Beobachtungen

Primäre prädiktive Codierungsplattform (Diagramm 1)

90,47% der Responder berichteten, dass sie über mindestens eine primäre Plattform für die prädiktive Codierung verfügen.

Es gab 20 verschiedene Plattformen, die von Respondern als primäre prädiktive Codierungsplattform gemeldet wurden.

Relativitätstheorie wurde von 38,10% der Befragungsresponder als primäre prädiktive Codierungsplattform berichtet.

Die beiden wichtigsten Plattformen wurden von 53,97% der Befragungsresponder als primäre prädiktive Codierungsplattform gemeldet.

9,52% der Responder gaben an, dass sie keine primäre Plattform für prädiktive Codierung hätten.

Predictive Coding Technology Beschäftigung (Abbildung 2)

Alle aufgeführten Predictive Codierungstechnologien wurden von mindestens einem Befragungsbeantworter verwendet.

Active Learning wurde als die am häufigsten verwendete prädiktive Codierungstechnologie berichtet. 85,71% der Responder nutzten sie für ihre vorausschauenden Codierungsbemühungen.

34,92% der Responder berichteten, dass sie nur eine Predictive Codierungstechnologie für ihre Predictive Codierung verwenden.

57,14% der Responder berichteten, dass mehr als eine prädiktive Codierungstechnologie für ihre Predictive Codierung verwendet wurde.

7,94% der Responder haben keine spezifische prädiktive Codierungstechnologie verwendet.

Technologie-Assisted Review Protocol Beschäftigung (Abbildung 3)

Alle aufgeführten technologieunterstützten Protokolle für die vorausschauende Codierung wurden von mindestens einem Befragungsbeantworter verwendet.

Continuous Active Learning® (CAL®) wurde als das am häufigsten verwendete Predictive Coding Protokoll gemeldet. 90,48% der Responder nutzten es für ihre Predictive Coding Bemühungen.

57,14% der Responder berichteten, dass sie nur ein Predictive Coding Protokoll für ihre Predictive Codierung verwenden.

41,27% der Responder berichteten, dass mehr als ein Predictive Coding Protokoll für ihre Predictive Coding Bemühungen verwendet.

1,59% der Responder berichteten, dass sie kein Predictive Coding Protokoll verwenden.

Arbeitsablauf für technologieunterstützte Überprüfung (Abbildung 4)

73,02% der Responder berichteten, dass Technology-Assisted Review (TAR) 2.0 als primären Workflow bei der Bereitstellung von Predictive Coding verwendet wurde.

7,94% der Responder, die mit TAR 1.0 gemeldet wurden, und 9,52% der Responder berichteten, dass TAR 3.0 als primären Workflow bei der Bereitstellung von prädiktiven Codierung verwendet wurde.

9,52% der Responder berichteten nicht über TAR 1.0, TAR 2.0 oder TAR 3.0 als primären Workflow bei der Bereitstellung von prädiktiven Codierung.

Verwendungszwecke für technologiegestützte Überprüfungen (Diagramm 5)

93,65% der Responder berichteten über technologiegestützte Überprüfung in mehr als einem Datenbereich und rechtliche Ermittlungen.

96,83% der Responder berichteten im Rahmen einer technologiegestützten Überprüfung zur Identifizierung relevanter Dokumente.

14,29% der Responder berichteten über technologiegestützte Überprüfung für Information Governance und Datendisposition.

Überblick über Predictive Coding Technology und Protokoll Survey Responder (Diagramm 6)

41,27%% der Responder stammen aus Anwaltskanzleien.

38,10% der Responder stammen von Software- oder Dienstleisterorganisationen.

Die restlichen 20,63% der Responder waren entweder Teil eines Beratungsunternehmens (14,29%), einer Gesellschaft (4,76%), der Regierung (0%) oder einer anderen Art von Unternehmen (1,59%).

Vermessungsdiagramme

(Diagramme können zur detaillierten Anzeige erweitert werden.)

Abbildung 1: Name der primären Predictive Coding Platform

1-Primary-Predictiv-Coding-Plattform-Frühjahr-2020

Abbildung 2: Welche prädiktiven Codierungstechnologien werden von Ihrer eDiscovery-Plattform genutzt?

2-Predictiv-Coding-Technologie-Used-Frühling-2020

Schaubild 3: Welche technologiegestützten Review-Protokolle werden bei der Bereitstellung von prädiktiven Codierung verwendet?

3-Technologie-Assisted-Review-Protocol-Used-Frühling-2020

Abbildung 4: Welcher primäre technologiegestützte Review-Workflow wird bei der Bereitstellung von prädiktiven Codierung verwendet?

4-Technologie-Assisted-Review-Workflow-Usage-Frühjahr-2020

Abbildung 5: In welchen Bereichen nutzen Sie technologiegestützte Review-Technologien, Protokolle und Workflows?

5-Technologie-Assisted-Review-Use- Frühling-2020

Diagramm 6: Überblick über den Survey Responder

6-Predictive-Coding-Technologien-und-Protokolle-Umfrageüberblick-Frühjahr-2020

Predictive Coding Technologien und Protokolle (Survey Backgrounder)

Wie in The Grossman-Cormack Glossary of Technology-Assisted Review (1) definiert, ist Predictive Coding ein branchenspezifischer Begriff, der allgemein verwendet wird, um einen technologiegestützten Review-Prozess zu beschreiben, bei dem ein maschinelles Lernen Algorithmus verwendet wird, um relevante von nicht relevanten Dokumenten zu unterscheiden, basierend auf einem Thema Materie Experte Codierung eines Schulungssatzes von Dokumenten. Diese Definition der prädiktiven Codierung liefert eine Basisbeschreibung, die eine bestimmte Funktion identifiziert, die ein allgemeiner Satz allgemein anerkannter maschineller Lernalgorithmen in einer technologiegestützten Überprüfung (TAR) verwenden kann.

Angesichts des zunehmenden Bewusstseins und der Nutzung der prädiktiven Codierung im Rechtsbereich scheint es für die Fachleute der elektronischen Discovery zunehmend wichtiger zu sein, ein allgemeines Verständnis der Technologien zu haben, die in elektronischen Discovery-Plattformen implementiert werden können, um die prädiktive Codierung zu erleichtern. elektronisch gespeicherte Informationen. Dieses allgemeine Verständnis ist von wesentlicher Bedeutung, da jeder potentielle algorithmische Ansatz Vorteile und Nachteile hat, die die Effizienz und Wirksamkeit der prädiktiven Kodierung beeinflussen können.

Um bei der Entwicklung dieses allgemeinen Verständnisses von prädiktiven Codierungstechnologien zu helfen und den Anbietern elektronischer Erkenntnisse die Möglichkeit zu geben, die Technologien und Protokolle gemeinsam zu nutzen, die sie in und mit ihren Plattformen verwenden, um eine prädiktive Codierung durchzuführen, finden Sie folgende Arbeitslisten der prädiktiven Codierung. -Technologien und TAR-Protokolle zur Verfügung gestellt. Arbeitslisten zu prädiktiven Codierungs-Workflows und -verwendungen sind ebenfalls enthalten, da sie dazu beitragen, zu definieren, wie die prädiktiven Codierungstechnologien und TAR-Protokolle implementiert und verwendet werden.

Eine Arbeitsliste der Predictive Coding Technologien (1,2,3,4)

Zusammengefasst von Experten für elektronische Erkennung, die auf professionellen Publikationen und persönlichen Gesprächen basiert, ist unten eine nicht allumfassende Arbeitsliste von identifizierten maschinellen Lerntechnologien, die angewendet wurden oder das Potenzial haben, auf die Disziplin von eDiscovery angewendet zu werden, um Predictive Codierung. Diese Arbeitsliste dient als Bezugspunkt für identifizierte Predictive Codierungstechnologien und kann im Laufe der Zeit Ergänzungen, Anpassungen und Änderungen enthalten, die auf Feedback von Experten und Organisationen basieren, die diese Mainstream-Technologien in ihren spezifischen eDiscovery-Plattformen anwenden und implementieren.

Auflistung in alphabetischer Reihenfolge

Aktives Lernen: Ein Prozess, typischerweise iterativ, bei dem ein Algorithmus verwendet wird, um Dokumente auszuwählen, die auf der Grundlage einer Strategie überprüft werden sollten, um den Klassifikationsalgorithmus effizient zu lernen.

Entscheidungsbaum: Eine Schritt-für-Schritt-Methode zur Unterscheidung zwischen relevanten und nicht relevanten Dokumenten, je nachdem, welche Kombination von Wörtern (oder anderen Merkmalen) sie enthalten. Ein Entscheidungsbaum zur Identifizierung von Dokumenten, die sich auf Finanzderivate beziehen, kann zunächst bestimmen, ob ein Dokument das Wort „Swap“ enthielt. Wenn dies der Fall ist, kann der Entscheidungsbaum dann bestimmen, ob das Dokument „Gutschrift“ enthält oder nicht. Ein Entscheidungsbaum kann entweder durch Knowledge Engineering oder maschinelles Lernen erstellt werden.

K-Nearest Neighbor Classifier (k-nn): Ein Klassifizierungsalgorithmus, der die k Beispieldokumente analysiert, die dem klassifizierten Dokument am nächsten sind (am nächsten), um die beste Klassifizierung für das Dokument zu ermitteln. Wenn k zu klein ist (z. B. k=1), kann es extrem schwierig sein, einen hohen Rückruf zu erreichen.

Latent Semantic Analysis (LSA): Eine mathematische Darstellung von Dokumenten, die stark korrelierte Wörter (d. h. Wörter, die in denselben Dokumenten vorkommen) als gleichwertig oder austauschbar behandelt. Diese Äquivalenz oder Austauschbarkeit kann es Algorithmen ermöglichen, Dokumente als konzeptionell ähnlich zu identifizieren, selbst wenn sie nicht dieselben Wörter verwenden (z. B. weil Synonyme stark korreliert sein können), obwohl es auch einige potenziell nützliche Informationen verwirft und zu unerwünschten Ergebnissen führen kann, die durch unsinnige Korrelationen.

Logistische Regression: Ein hochmoderner überwachter Lernalgorithmus für maschinelles Lernen, der anhand der darin enthaltenen Funktionen die Wahrscheinlichkeit schätzt, dass ein Dokument relevant ist. Im Gegensatz zu den Naive Bayes, Algorithmus, Logistic Regression identifiziert Merkmale, die zwischen relevanten und nicht relevanten Dokumenten unterscheiden.

Naive Bayesian Classifier: Ein System, das die Wahrscheinlichkeit untersucht, dass jedes Wort in einem neuen Dokument von der Wortverteilung stammt, die von einem geschulten responsiven Dokument oder geschulten, nicht reagierenden Dokumenten abgeleitet wurde. Das System ist naiv in dem Sinne, dass es davon ausgeht, dass alle Wörter voneinander unabhängig sind.

Neural Network: An Artificial Neural Network (ANN) ist ein Computermodell. Es basiert auf der Struktur und Funktion biologischer neuronaler Netzwerke. Es funktioniert wie die Art, wie das menschliche Gehirn Informationen verarbeitet. Es enthält eine große Anzahl von verbundenen Verarbeitungseinheiten, die zusammenarbeiten, um Informationen zu verarbeiten.

Probabilistic Latent Semantic Analysis (PLSA): Dies ist ähnlich wie LSA, aber es verwendet ein probabilistisches Modell, um Ergebnisse zu erzielen, die voraussichtlich besser sein werden.

Random Forest: Eine Ensemble-Lernmethode für Klassifikation, Regression und andere Aufgaben, die durch die Erstellung einer Vielzahl von Entscheidungsbäumen zur Trainingszeit und Ausgabe der Klasse, die der Modus der Klassen (Klassifikation) oder der mittleren Vorhersage (Regression) der einzelnen Bäume ist. Zufällige Entscheidungswälder korrigieren die Gewohnheit der Entscheidungsbäumen, ihre Trainingseinheit zu überpassen.

Relevanz Feedback: Ein aktiver Lernprozess, bei dem die Dokumente mit der höchsten Relevanzwahrscheinlichkeit von einem Menschen kodiert und dem Trainingsset hinzugefügt werden.

Support Vector Machine: Ein mathematischer Ansatz, der versucht, eine Linie zu finden, die reaktionsschnell von nicht reagierenden Dokumenten trennt, so dass im Idealfall alle ansprechenden Dokumente auf der einen Seite der Zeile und alle nicht reagierenden auf der anderen Seite sind.

Allgemeine TAR-Protokolle (5,6,7,8,9,10)

Darüber hinaus werden diese Technologien in der Regel als Teil eines TAR-Protokolls verwendet, das bestimmt, wie die Technologien verwendet werden. Beispiele für TAR-Protokolle sind:

Auflistung in alphabetischer Reihenfolge

Continuous Active Learning® (CAL®): In CAL®, der von Maura R. Grossman und Gordon V. Cormack entwickelten, verwendeten und befürworteten TAR-Methode, wählt der Lernende nach der Erstausbildung immer wieder die am ehesten relevanten Dokumente (die noch nicht berücksichtigt wurden) zur Überprüfung, Codierung und Schulung aus. und setzt dies fort, bis es keine relevanteren Dokumente mehr finden kann. Es gibt in der Regel keine zweite Überprüfung, da alle vom Lernenden als relevant erachteten Dokumente bereits identifiziert und manuell überprüft wurden.

Hybrid-Multimodal-Methode: Ein vom e-Discovery-Team (Ralph Losey) entwickelter Ansatz, der alle Arten von Suchmethoden umfasst, wobei primär auf prädiktive Codierung und die Verwendung hochrangiger Dokumente für kontinuierliche aktive Schulungen basiert.

Skalierbares Continuous Active Learning (S-CAL): Der wesentliche Unterschied zwischen S-CAL und CAL® besteht darin, dass für S-CAL nur eine endliche Probe von Dokumenten aus jedem aufeinanderfolgenden Batch für die Beschriftung ausgewählt wird und der Prozess fortgesetzt wird, bis die Sammlung — oder eine große zufällige Stichprobe der Sammlung — erschöpft ist. Zusammen bilden die endlichen Stichproben eine geschichtete Stichprobe der Dokumentenpopulation, aus der eine statistische Schätzung von ρ abgeleitet werden kann.

Simple Active Learning (SAL): In den SAL-Methoden wählt der Lernende nach der Erstausbildung die Dokumente aus, die vom Lehrer überprüft und codiert werden sollen, als Trainingsbeispiele verwendet werden, und wählt weiterhin Beispiele aus, bis er ausreichend geschult ist. Typischerweise sind die Dokumente, die der Lernende wählt, diejenigen, über die der Lernende am wenigsten sicher ist und aus denen er am meisten lernen wird. Sobald ausreichend geschult ist, wird der Lernende dann verwendet, um jedes Dokument in der Sammlung zu beschriften. Wie bei SPL werden die als relevant gekennzeichneten Dokumente in der Regel manuell überprüft.

Simple Passive Learning (SPL): Bei einfachen passiven Lernmethoden („SPL“) wählt der Lehrer (d. h. menschlicher Bediener) die Dokumente aus, die als Trainingsbeispiele verwendet werden sollen; der Lernende wird anhand dieser Beispiele geschult und wird nach ausreichend geschult, verwendet, um jedes Dokument in der Sammlung als relevante oder nicht- relevant. Im Allgemeinen werden die Dokumente, die vom Teilnehmer als relevant gekennzeichnet sind, manuell überprüft. Diese manuelle Überprüfung stellt einen kleinen Bruchteil der Sammlung dar und damit einen kleinen Bruchteil der Zeit und Kosten einer umfassenden manuellen Überprüfung.

TAR-Workflows (11)

TAR-Workflows stellen die praktische Anwendung von prädiktiven Codierungstechnologien und -protokollen dar, um Ansätze für die Durchführung vorausschauender Codierungsaufgaben zu definieren. Drei Beispiele für TAR-Workflows sind:

TAR 1.0 beinhaltet eine Trainingsphase, gefolgt von einer Überprüfungsphase, wobei ein Kontrollsatz verwendet wird, um den optimalen Punkt zu bestimmen, an dem Sie vom Training zur Überprüfung wechseln sollten. Nach Abschluss der Trainingsphase lernt das System nicht mehr. Der Kontrollsatz ist eine zufällige Gruppe von Dokumenten, die überprüft und als relevant oder nicht relevant markiert wurden. Die Steuersatzdokumente werden nicht zum Trainieren des Systems verwendet. Sie werden verwendet, um die Prognosen des Systems zu bewerten, so dass die Schulung beendet werden kann, wenn die Vorteile zusätzlicher Schulungen nicht mehr die Kosten für zusätzliche Schulungen überwiegen. Das Training kann mit zufällig ausgewählten Dokumenten erfolgen, bekannt als Simple Passive Learning (SPL), oder es kann Dokumente umfassen, die vom System ausgewählt wurden, um die Lerneffizienz zu optimieren, bekannt als Simple Active Learning (SAL).

TAR 2.0 verwendet einen Ansatz namens Continuous Active Learning® (CAL®), was bedeutet, dass es keine Trennung zwischen Schulung und Überprüfung gibt — das System lernt immer weiter. Obwohl viele Ansätze zur Auswahl von Dokumenten zur Überprüfung verwendet werden können, ist ein wesentlicher Bestandteil von CAL® viele Iterationen der Vorhersage, welche Dokumente am ehesten relevant sind, deren Überprüfung und Aktualisierung der Prognosen. Im Gegensatz zu TAR 1.0 ist TAR 2.0 auch bei geringer Prävalenz sehr effizient. Da es keine Trennung zwischen Training und Review gibt, benötigt TAR 2.0 keinen Kontrollsatz. Das Generieren eines Kontrollsatzes kann eine große (insbesondere bei geringer Prävalenz) Anzahl nicht relevanter Dokumente beinhalten, daher ist es wünschenswert, Kontrollsätze zu vermeiden.

TAR 3.0 erfordert einen hochwertigen konzeptionellen Clustering-Algorithmus, der eng fokussierte Cluster fester Größe im Konzeptbereich bildet. Es wendet die TAR 2.0-Methodik nur auf die Clusterzentren an, wodurch sichergestellt wird, dass eine Vielzahl von potenziell relevanten Dokumenten überprüft wird. Sobald keine weiteren relevanten Clusterzentren gefunden werden können, werden die überprüften Clusterzentren als Schulungsdokumente verwendet, um Vorhersagen für die gesamte Dokumentenbestückung zu erstellen. Ein Kontrollsatz ist nicht erforderlich — das System ist gut geschult, wenn keine weiteren relevanten Clusterzentren gefunden werden können. Die Analyse der überprüften Clusterzentren liefert eine Schätzung der Prävalenz und der Anzahl der nicht relevanten Dokumente, die erstellt werden würden, wenn Dokumente auf der Grundlage der Vorhersagen ohne menschliche Überprüfung erstellt würden. Der Benutzer kann sich entscheiden, Dokumente (nicht als potenziell privilegiert identifiziert) ohne Überprüfung zu erstellen, ähnlich wie SAL aus TAR 1.0 (aber ohne Kontrollsatz), oder er kann sich entscheiden, Dokumente zu überprüfen, die zu viel Risiko haben, nicht relevant zu sein (die als zusätzliche Schulung für das System, z. B. CAL®, genutzt werden können). Der entscheidende Punkt ist, dass der Benutzer die Informationen hat, die er braucht, um eine Entscheidung darüber zu treffen, wie er nach Abschluss der Überprüfung der Clusterzentren, die wahrscheinlich relevant sind, und nichts getan, bevor dieser Punkt durch die Entscheidung ungültig wird (vergleichen Sie mit TAR 1.0, Überprüfung eines Kontrollsatzes, Suche nach dass die Vorhersagen nicht gut genug sind, um Dokumente ohne Überprüfung zu erstellen und dann zu TAR 2.0 zu wechseln, was den Steuersatz praktisch nutzlos macht).

TAR Verwendungen (12)

TAR-Technologien, Protokolle und Workflows können effektiv eingesetzt werden, um eDiscovery-Profis bei der Erledigung zahlreicher Datenermittlungs- und Rechtsermittlungsaufgaben zu unterstützen. Neun häufig betrachtete Beispiele für die Verwendung von TAR sind:

Identifizierung relevanter Dokumente

Frühzeitige Fallbeurteilung/Untersuchung

Priorisierung für die Überprüfung

Kategorisierung (nach Problemen, Vertraulichkeit oder Datenschutz)

Berechtigungsüberprüfung

Qualitätskontrolle und Qualitätssicherung

Rezension von Incoming Productions

Disposition/Probevorbereitung

Information Governance und Datendisposition

Erhebungsinformationen (13,14,15,16,17,18)

Verweise

(1) Grossman, M. und Cormack, G. (2013). Das Grossman-Cormack Glossar der technologiegestützten Überprüfung. [ebook] Federal Courts Law Review. Verfügbar unter: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Zugriff am 31. Aug. 2018].

(2) Dimm, B. (2018). Expertise im Bereich Predictive Coding. [E-Mail].

(3) Roitblat, H. (2013). Einführung in die Predictive Coding. [ebook] Orcatec. Verfügbar am: 31. Aug. 2018].

(4) Tredennick, J. und Pickens, J. (2017). Deep Learning in E-Discovery: Der Hype vorbeigehen. [online] CatalystSecure.com. Verfügbar am: 31. Aug. 2018].

(5) Grossman, M. und Cormack, G. (2017). Technologie-Assisted Review in Electronic Discovery. [ebook] Verfügbar bei: 31 Aug. 2018].

(6) Grossman, M. und Cormack, G. (2016). Kontinuierliches aktives Lernen für TAR. [ebook] Praktisches Recht. Verfügbar am: 31. Aug. 2018].

(7) Grossman, M. und Cormack, G. (2016). Skalierbarkeit des kontinuierlichen aktiven Lernens für eine zuverlässige Textklassifizierung mit hohem Rückruf. [ebook] Verfügbar bei: 3 Sep. 2018].

(8) Losey, R., Sullivan, J. und Reichenberger, T. (2015). e-Discovery Team auf der TREC 2015 Total Recall Track. [ebook] Verfügbar unter: [Zugriff 1 Sep. 2018].

(9) „Continuous Active Learning Warenzeichen von Maura Grossman und Gordon V. Cormack - Registernummer 5876987 - Seriennummer 86634255:: Justia Trademarks“. Trademarks.Justia.Com, 2020, [Zugriff 12 Feb. 2020].

(10) „CAL Marke von Maura Grossman und Gordon V. Cormack - Registernummer 5876988 - Seriennummer 86634265:: Justia Trademarks“. Trademarks.Justia.Com, 2020, [Zugriff 12 Feb. 2020].

(11) Dimm, B. (2016), TAR 3.0 Performance. [online] Clustify Blog — eDiscovery, Document Clustering, Predictive Coding, Information Retrieval und Softwareentwicklung. Verfügbar am: 18.02.2019].

(12) Elektronisches Discovery-Referenzmodell (EDRM) (2019). Technologie-gestützte Überprüfung (TAR). [online] Verfügbar unter: 18.02.2019].

(13) Dimm, B. (2018). TAR, Proportionalität und schlechte Algorithmen (1-NN). [online] Clustify Blog — eDiscovery, Document Clustering, Predictive Coding, Information Retrieval und Softwareentwicklung. Verfügbar am: 31. Aug. 2018].

(14) Robinson, R. (2013). Laufende Ergebnisse: Predictive Coding One-Question Provider Implementation Survey. [online] ComplexDiscovery: eDiscovery-Informationen. Verfügbar am: 31. Aug. 2018].

(15) Robinson, R. (2018). Eine Laufliste: Top 100 eDiscovery-Anbieter. [online] ComplexDiscovery: eDiscovery-Informationen. Verfügbar am: 31. Aug. 2018].

(16) Robinson, R. (2018) Relativ gesprochen: Predictive Coding Technologies and Protocols Survey Results [online] ComplexDiscovery: eDiscovery Information. Verfügbar am: 18.02.2019].

(17) Robinson, R. (2019) Aktiv Lernen? Predictive Coding Technologien und Protokolle Umfrageergebnisse [online] ComplexDiscovery: eDiscovery Information. Verfügbar am: 22. Aug. 2019]

(18) Robinson, R. (2019) Von Plattformen zu Workflows: Predictive Coding Technologies and Protocols Survey - Ergebnisse Herbst 2019 [online] ComplexDiscovery: eDiscovery Information. Verfügbar unter: [Zugriff 12. Feb. 2020].

Klicken Sie hier, um bestimmte Ergänzungen, Korrekturen und Aktualisierungen bereitzustellen.

Quelle: ComplexDiscovery

Ergebnisse der Umfrage zum Vertrauen von eDiscovery — Sommer 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Eine Säule der Ermächtigung? Evaluierung und Überprüfung des Datenschutzes der DSGVO

The general view is that two years after it started to...

Verbinden der Punkte: Berücksichtigung von eDiscovery von Initiatoren zum Ökosystem

From a macro perspective, connecting the dots in eDiscovery is to...

XDD erwirbt RVM

According to XDD CEO Bob Polus, “Merging forces with RVM further...

A Running List: Top 100+ eDiscovery Providers

Based on a compilation of research from analyst firms and industry...

Das eDisclosure Systems Buyers Guide — 2020 Edition (Andrew Haslam)

Authored by industry expert Andrew Haslam, the eDisclosure Buyers Guide continues...

Das Rennen zur Startlinie? Aktuelle Ankündigungen zur sicheren Remote-Überprüfung

Not all secure remote review offerings are equal as the apparent...

Remote-eDiscovery aktivieren? Eine Momentaufnahme von DaaS

Desktop as a Service (DaaS) providers are becoming important contributors to...

Heim oder weg? Überlegungen zur Größenbestimmung und Preisgestaltung im eDiscovery-Sammlungsmarkt

One of the key home (onsite) or away (remote) decisions that...

Revisionen und Entscheidungen? Neue Überlegungen für eDiscovery Secure Remote Reviews

One of the key revision and decision areas that business, legal,...

Ein makroökonomisches Blick auf die Größe der vergangenen und projizierten eDiscovery-Märkte von 2012 bis 2024

From a macro look at past estimations of eDiscovery market size...

Ein eDiscovery Market Size Mashup: 2019-2024 Weltweiter Überblick über Software und Services

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

Ergebnisse der Umfrage zum Vertrauen von eDiscovery — Sommer 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Eine Frage der Preisgestaltung? Eine laufende Aktualisierung der halbjährlichen eDiscovery-Preiserhebungen

First administered in December of 2018 and conducted four times during...

Ein Pandemeconomic Indikator? Ergebnisse der eDiscovery-Preisumfrage im Sommer 2020

Based on the complexity of data and legal discovery, it is...

COVID-19 eingeschränkt? Die Auswirkungen von sechs Themen auf das Geschäft von eDiscovery

In the spring of 2020, 51.2% of respondents viewed budgetary constraints...

XDD erwirbt RVM

According to XDD CEO Bob Polus, “Merging forces with RVM further...

Ipro erwirbt NetGovern

According to Dean Brown, CEO at Ipro Tech, “We are thrilled...

Morae erwirbt Rechtsberatung Janders Dean

According to Janders Dean founder Justin North, "Now more than ever,...

eDiscovery-Fusionen, Übernahmen und Investitionen im zweiten Quartal 2020

From UnitedLex to Onna, ComplexDiscovery findings, data points, and tracking information...

Fünf große Lesevorgänge auf eDiscovery für Juni 2020

From collection market size updates to cloud outsourcing guidelines, the June...

Fünf große Lesevorgänge auf eDiscovery für Mai 2020

From review market sizing revisions to pandemeconomic pricing, the May 2020...

Fünf große Lesevorgänge zu eDiscovery für April 2020

From business confidence to the boom of Zoom, the April 2020...

Fünf große Lesevorgänge zu Datenermittlung und Legal Discovery für März 2020

From business continuity considerations to cybersecurity attacks, the March 2020 edition...