Is het allemaal relatief? Voorspellende coderingstechnologieën en protocollen enquête — Resultaten voorjaar 2020

The Predictive Coding Technologies and Protocols Survey is a non-scientific survey designed to help provide a general understanding of the use of predictive coding technologies, protocols, and workflows by data discovery and legal discovery professionals within the eDiscovery ecosystem.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Opmerking van de redacteur: Dit is de vierde Predictive Coding and Technologies and Protocols Survey uitgevoerd door ComplexDiscovery. Deze iteratie van de enquête werd gestart in het najaar van 2018 en werd halfjaarlijks vernieuwd. 63 data en juridische ontdekkingsprofessionals deelden hun begrip en ervaring als onderdeel van de vier vragenenquête. Hieronder vindt u de resultaten van de lente 2020-enquête in de hoop dat de algemene, niet-wetenschappelijke onderzoeksresultaten e-Discovery professionals kunnen helpen bij het overwegen van voorspellende coderingsplatforms, technologieën, protocollen, workflows en toepassingen.

De voorspellende coderingstechnologieën en protocollen voorjaar 2020 enquête

De Predictive Coding Technologies and Protocols Survey is een niet-wetenschappelijk onderzoek dat is ontworpen om een algemeen inzicht te verschaffen in het gebruik van voorspellende coderingstechnologieën, protocollen en workflows door professionals op het gebied van gegevensdetectie en juridische ontdekking binnen het eDiscovery ecosysteem. Het voorjaar 2020 onderzoek was geopend van 10 februari 2020, tot en met 12 februari 2020, met individuen uitgenodigd om rechtstreeks deel te nemen door ComplexDiscovery.

De enquête was ontworpen om een algemeen inzicht te verschaffen in voorspellende coderingstechnologieën en protocollen en had twee primaire onderwijsdoelstellingen:

Een geconsolideerde lijst van potentiële voorspellende coderingstechnologie, protocol- en werkstroomdefinities bieden. Hoewel het niet allesomvattend of volledig is, werd de lijst doorgelicht met geselecteerde experts in voorspellende codering op volledigheid en nauwkeurigheid, waardoor het rendabel lijkt te zijn voor gebruik in educatieve inspanningen.

Om professionals van eDiscovery ecosystemen te vragen naar hun voorkeuren met betrekking tot voorspellende coderingsplatforms, technologieën, protocollen, workflows en gebruiksgebieden.

De enquête bood responders de mogelijkheid om achtergrondinformatie over voorspellende codering te verstrekken, waaronder hun primaire voorspellende coderingsplatform, en stelde vier specifieke vragen aan responders. Die vragen zijn:

Welke voorspellende coderingstechnologieën worden gebruikt door uw eDiscovery platform?

Welke technologie-ondersteunde evaluatieprotocollen worden gebruikt bij uw levering van voorspellende codering?

Wat is de primaire door technologie ondersteunde revisieworkflow die wordt gebruikt bij uw levering van voorspellende codering?

Op welke gebieden gebruikt u technologie ondersteunde beoordelingstechnologieën, protocollen en workflows?

Gesloten op 12 februari 2020, had de lente 2020-enquête 63 responders.

Belangrijkste resultaten en waarnemingen

Primair voorspellend coderingsplatform (grafiek 1)

90,47% van de responders meldde dat ze ten minste één primair platform voor voorspellende codering hebben.

Er werden 20 verschillende platforms gerapporteerd als een primair voorspellend coderingsplatform door responders.

Relativiteit werd gerapporteerd als een primair voorspellend coderingsplatform met 38,10% van de respondenten.

De top twee platforms werden gerapporteerd als een primair voorspellend coderingsplatform met 53,97% van de enquêteresponders.

9,52% van de responders meldde dat ze geen primair platform hadden voor voorspellende codering.

Voorspellende coderingstechnologie Werkgelegenheid (Grafiek 2)

Alle vermelde voorspellende coderingstechnologieën werden gerapporteerd als gebruikt door ten minste één enquêteresponder.

Active Learning werd gemeld als de meest gebruikte voorspellende coderingstechnologie, waarbij 85,71% van de responders deze gebruikte in hun voorspellende coderingsinspanningen.

34,92% van de responders rapporteerde met slechts één voorspellende coderingstechnologie in hun voorspellende coderingsinspanningen.

57,14% van de responders meldde meer dan één voorspellende coderingstechnologie te gebruiken in hun voorspellende coderingsinspanningen.

7,94% van de respondenten meldde geen specifieke voorspellende coderingstechnologie.

Werkgelegenheid (Grafiek 3)

Alle vermelde technologie-ondersteunde protocollen voor voorspellende codering werden gerapporteerd als gebruikt door ten minste één enquêteresponder.

Continuous Active Learning® (CAL®) werd gemeld als het meest gebruikte voorspellende coderingsprotocol, waarbij 90,48% van de respondenten het gebruikte in hun voorspellende coderingsinspanningen.

57,14% van de responders rapporteerde met slechts één voorspellende coderingsprotocol in hun voorspellende coderingsinspanningen.

41,27% van de responders rapporteerde met behulp van meer dan één voorspellende coderingsprotocol in hun voorspellende coderingsinspanningen.

1,59% van de responders meldde geen voorspellende codering protocol.

Werkgelegenheid met technologie-ondersteunde evaluatie Werkstroom (Grafiek 4)

73,02% van de responders rapporteerde met behulp van Technology Assisted Review (TAR) 2.0 als primaire workflow voor de levering van voorspellende codering.

7,94% van de responders rapporteerde met behulp van TAR 1.0 en 9,52% van de responders gerapporteerd met TAR 3.0 als primaire workflow bij het leveren van voorspellende codering.

9,52% van de responders heeft geen melding gemaakt van TAR 1.0, TAR 2.0 of TAR 3.0 als primaire werkstroom bij het leveren van voorspellende codering.

Gebruik van technologie-ondersteunde toetsing (grafiek 5)

93,65% van de responders rapporteerde met behulp van technologie-ondersteunde toetsing op meer dan één gebied van gegevens en juridische ontdekking.

96,83% van de responders rapporteerde met behulp van technologie-ondersteunde toetsing voor de identificatie van relevante documenten.

14,29% van de responders rapporteerde met behulp van technologie-ondersteunde evaluatie voor informatiegovernance en gegevensdispositie.

Overzicht van voorspellende coderingstechnologie en protocolenquêteresponder (Grafiek 6)

41,27% van de responders was afkomstig van advocatenkantoren.

38,10% van de responders was afkomstig van organisaties van software- of dienstverlener.

De overige 20,63% van de hulpverleners waren ofwel onderdeel van een adviesbureau (14,29%), een onderneming (4,76%), de overheid (0%) of een ander type entiteit (1,59%).

Enquête grafieken

(Grafieken kunnen worden uitgebreid voor gedetailleerde weergave.)

Grafiek 1: Naam van Primair Predictive Coding Platform

1-Primair-Voorspelde-Codering-Platform-Lente-2020

Grafiek 2: Welke voorspellende coderingstechnologieën worden gebruikt door uw eDiscovery platform?

2-Voorspellende codering-Technologie-gebruikt-Lente-2020

Grafiek 3: Welke technologie-ondersteunde toetsingsprotocollen worden gebruikt bij uw levering van voorspellende codering?

3-Technologie-Assisted-Review-Protocol-Gebruikt-Lente-2020

Grafiek 4: Wat is de primaire technologie-ondersteunde revisieworkflow die wordt gebruikt bij uw levering van voorspellende codering?

4-Technologie-Assistent-Review-Werkstroomgebruik-Lente-2020

Grafiek 5: Wat zijn de gebieden waarop u technologie ondersteunde beoordelingstechnologieën, protocollen en workflows gebruikt?

5-Technologie-Assisted-Review-Gebruiks- Lente-2020

Grafiek 6: Overzicht van enquêteresponder

6-Voorspellende codering-Technologieën-en-protocollen-Survey-Overview-Lente-2020

Voorspellende coderingstechnologieën en protocollen (Survey Backgrounder)

Zoals gedefinieerd in The Grossman-Cormack Glossary of Technology-Assisted Review (1), is Predictive Coding een industriespecifieke term die algemeen wordt gebruikt voor het beschrijven van een technologie-ondersteunde evaluatieproces waarbij gebruik wordt gemaakt van een machine learning algoritme om relevante en niet-relevante documenten te onderscheiden, gebaseerd op een onderwerp materie expert codering van een training set van documenten. Deze definitie van voorspellende codering biedt een basislijnbeschrijving die een specifieke functie identificeert die een algemene reeks algemeen aanvaarde algoritmen voor machinelearning kan gebruiken in een door technologie ondersteunde evaluatie (TAR).

Met het groeiende bewustzijn en het gebruik van voorspellende codering in de juridische arena van vandaag, lijkt het steeds belangrijker voor elektronische ontdekkingsprofessionals om een algemeen begrip te hebben van de technologieën die kunnen worden geïmplementeerd in elektronische detectieplatforms om voorspellende codering te vergemakkelijken van elektronisch opgeslagen informatie. Dit algemene begrip is essentieel omdat elke potentiële algoritmische benadering efficiëntie voor- en nadelen heeft die de efficiëntie en effectiviteit van voorspellende codering kunnen beïnvloeden.

Om te helpen bij het ontwikkelen van dit algemene begrip van voorspellende coderingstechnologieën en om aanbieders van elektronische ontdekkingen de mogelijkheid te bieden om de technologieën en protocollen die zij in en met hun platforms gebruiken te delen om voorspellende codering te bewerkstelligen, worden de volgende werklijsten van voorspellende codering -technologieën en TA-protocollen zijn beschikbaar voor uw gebruik. Werklijsten met voorspellende coderingsworkflows en -toepassingen zijn ook opgenomen voor uw overweging, omdat ze helpen bepalen hoe de voorspellende coderingstechnologieën en TAR-protocollen worden geïmplementeerd en gebruikt.

Een werklijst van voorspellende coderingstechnologieën (1,2,3,4)

Geaggregeerd van elektronische ontdekkingsexperts op basis van professionele publicaties en persoonlijke gesprekken, hieronder is een niet-all-inclusive werklijst van geïdentificeerde machine learning-technologieën die zijn toegepast of die het potentieel hebben om te worden toegepast op de discipline van eDiscovery om voorspellende codering. Deze werklijst is ontworpen om een referentiepunt te bieden voor geïdentificeerde voorspellende coderingstechnologieën en kan na verloop van tijd aanvullingen, aanpassingen en wijzigingen bevatten op basis van feedback van deskundigen en organisaties die deze mainstream technologieën toepassen en implementeren in hun specifieke eDiscovery platforms.

Vermeld in alfabetische volgorde

Actief leren: een proces, meestal iteratief, waarbij een algoritme wordt gebruikt om documenten te selecteren die moeten worden beoordeeld voor training op basis van een strategie om het classificatiealgoritme efficiënt te leren.

Decitiestree: Een stapsgewijze methode om onderscheid te maken tussen relevante en niet-relevante documenten, afhankelijk van welke combinatie van woorden (of andere kenmerken) ze bevatten. Een beslissingsstructuur om documenten met betrekking tot financiële derivaten te identificeren, kan eerst bepalen of een document al dan niet het woord „swap” bevat. Als dat zo is, kan de beslissingsstructuur dan bepalen of het document „krediet” bevatte, enzovoort. Een beslissingsboom kan worden gecreëerd door middel van kennisengineering of machine learning.

K-nn (K-nn): een classificatiealgoritme dat de k-voorbeelddocumenten analyseert die het meest lijken op het document dat wordt geclassificeerd om de beste classificatie voor het document te bepalen. Als k te klein is (bijv. k=1), kan het uiterst moeilijk zijn om een hoge terugroepactie te bereiken.

Latent Semantitic Analysis (LSA): een wiskundige weergave van documenten die sterk gecorreleerde woorden (d.w.z. woorden die in dezelfde documenten voorkomen) behandelt als zijnde, in zekere zin, gelijkwaardig of uitwisselbaar. Door deze gelijkwaardigheid of uitwisselbaarheid kunnen algoritmen documenten als conceptueel vergelijkbaar identificeren, zelfs als ze niet dezelfde woorden gebruiken (bijvoorbeeld omdat synoniemen sterk gecorreleerd kunnen zijn), hoewel het ook mogelijk nuttige informatie weggooit en kan leiden tot ongewenste resultaten veroorzaakt door valse correlaties.

Logistieke regressie: Een state-of-the-art begeleid leeralgoritme voor machine learning dat de kans schat dat een document relevant is op basis van de functies die het bevat. In tegenstelling tot het naïeve Bayes, algoritme, identificeert Logistic Regression kenmerken die discrimineren tussen relevante en niet-relevante documenten.

Naïve Bayesian Classifier: Een systeem dat de waarschijnlijkheid onderzoekt dat elk woord in een nieuw document afkomstig is van de woorddistributie afgeleid van een getraind responsief document of opgeleide niet-responsieve documenten. Het systeem is naïef in die zin dat het ervan uitgaat dat alle woorden onafhankelijk van elkaar zijn.

Neuraal Netwerk: Een kunstmatig neuraal netwerk (ANN) is een computationeel model. Het is gebaseerd op de structuur en functies van biologische neurale netwerken. Het werkt als de manier waarop het menselijk brein informatie verwerkt. Het omvat een groot aantal verbonden verwerkingseenheden die samenwerken om informatie te verwerken.

Probabilistic Latent Semantitic Analysis (PLSA): Dit is vergelijkbaar in de geest van LSA, maar het maakt gebruik van een probabilistisch model om resultaten te bereiken die naar verwachting beter zullen zijn.

Random Forests: Een ensemble leermethode voor classificatie, regressie en andere taken, die werken door het bouwen van een veelheid aan beslissingsbomen tijdens de trainingstijd en het uitvoeren van de klasse die de modus is van de klassen (classificatie) of gemiddelde voorspelling (regressie) van de individuele bomen. Willekeurige beslissing bossen corrigeren voor beslissing bomen 'gewoonte om te passen aan hun training set.

Relevantie Feedback: Een actief leerproces waarbij de documenten met de grootste waarschijnlijkheid van relevantie door een mens worden gecodeerd en aan de trainingsset worden toegevoegd.

Ondersteuning Vector Machine: Een wiskundige benadering die probeert een lijn te vinden die responsieve van niet-responsieve documenten scheidt, zodat, idealiter, alle responsieve documenten zich aan de ene kant van de lijn bevinden en alle niet-responsieve documenten aan de andere kant.

Algemene TA-protocollen (5,6,7,8,9,10)

Bovendien worden deze technologieën over het algemeen gebruikt als onderdeel van een TAR-protocol dat bepaalt hoe de technologieën worden gebruikt. Voorbeelden van TAR-protocollen zijn:

Vermeld in alfabetische volgorde

Continuous Active Learning® (CAL®): In CAL®, de TAR-methode die is ontwikkeld, gebruikt en bepleit door Maura R. Grossman en Gordon V. Cormack, selecteert de cursist na de eerste trainingsset herhaaldelijk de volgende meest waarschijnlijke relevante documenten (die nog niet zijn overwogen) voor beoordeling, codering en training. en blijft dit doen totdat het geen relevantere documenten meer kan vinden. Er is over het algemeen geen tweede beoordeling omdat, op het moment dat de cursist stopt met leren, alle documenten die door de cursist relevant worden geacht, al zijn geïdentificeerd en handmatig gecontroleerd.

Hybride multimodale methode: een aanpak ontwikkeld door het e-Discovery Team (Ralph Losey) die alle soorten zoekmethoden omvat, waarbij primair afhankelijk is van voorspellende codering en het gebruik van hoogwaardige documenten voor continue actieve training.

Scalable Continuous Active Learning (S-CAL): Het essentiële verschil tussen S-CAL en CAL® is dat voor S-CAL slechts een eindige steekproef van documenten uit elke opeenvolgende batch wordt geselecteerd voor labeling, en het proces gaat door totdat de verzameling (of een grote willekeurige steekproef van de verzameling) is uitgeput. Samen vormen de eindige monsters een gestratificeerde steekproef van de documentpopulatie, waaruit een statistische schatting van ρ kan worden afgeleid.

Simple Active Learning (SAL): In SAL-methoden selecteert de cursist na de initiële trainingsset de documenten die door de docent moeten worden beoordeeld en gecodeerd, en gebruikt worden als trainingsvoorbeelden, en blijft voorbeelden selecteren totdat deze voldoende is opgeleid. Meestal zijn de documenten die de cursist kiest die waarover de cursist het minst zeker is en daarom het meest leert. Eenmaal voldoende getraind, wordt de cursist gebruikt om elk document in de collectie te labelen. Net als bij SPL worden de documenten die als relevant zijn gelabeld over het algemeen handmatig opnieuw bekeken.

Simple Passive Learning (SPL): In eenvoudige passieve leermethoden („SPL”) selecteert de docent (d.w.z. menselijke operator) de documenten die moeten worden gebruikt als trainingsvoorbeelden; de leerling wordt getraind met behulp van deze voorbeelden, en zodra voldoende getraind is, wordt hij gebruikt om elk document in de collectie als relevant of niet-- relevant. Over het algemeen worden de documenten die door de cursist als relevant worden aangemerkt handmatig opnieuw bekeken. Deze handmatige beoordeling vertegenwoordigt een klein deel van de collectie, en dus een klein deel van de tijd en kosten van een uitgebreide handmatige beoordeling.

TA-workflows (11)

TA-workflows vertegenwoordigen de praktische toepassing van voorspellende coderingstechnologieën en -protocollen om benaderingen te definiëren voor het voltooien van voorspellende coderingstaken. Drie voorbeelden van TAR-workflows zijn:

TAR 1.0 omvat een trainingsfase gevolgd door een beoordelingsfase met een controleset die wordt gebruikt om het optimale punt te bepalen wanneer u van training naar beoordeling moet overschakelen. Het systeem leert niet meer zodra de trainingsfase is voltooid. De controleset is een willekeurige reeks documenten die zijn beoordeeld en gemarkeerd als relevant of niet-relevant. De documenten van de controleset worden niet gebruikt om het systeem te trainen. Ze worden gebruikt om de voorspellingen van het systeem te beoordelen, zodat de opleiding kan worden beëindigd wanneer de voordelen van aanvullende opleiding niet langer opwegen tegen de kosten van aanvullende opleiding. Training kan worden uitgevoerd met willekeurig geselecteerde documenten, bekend als Simple Passive Learning (SPL), of het kan betrekking hebben op documenten die door het systeem zijn gekozen om de leerefficiëntie te optimaliseren, bekend als Simple Active Learning (SAL).

TAR 2.0 gebruikt een benadering genaamd Continuous Active Learning® (CAL®), wat betekent dat er geen scheiding is tussen training en beoordeling — het systeem blijft leren. Hoewel veel benaderingen kunnen worden gebruikt om documenten te selecteren voor beoordeling, is een belangrijk onderdeel van CAL® vele iteraties om te voorspellen welke documenten het meest relevant zijn, ze te beoordelen en de voorspellingen bij te werken. In tegenstelling tot TAR 1.0 is TAR 2.0 meestal zeer efficiënt, zelfs wanneer de prevalentie laag is. Aangezien er geen scheiding is tussen training en beoordeling, vereist TAR 2.0 geen controleset. Het genereren van een besturingset kan inhouden dat een groot aantal niet-relevante documenten (vooral wanneer de prevalentie laag is) wordt gecontroleerd, zodat het wenselijk is controlesets te vermijden.

TAR 3.0 vereist een conceptueel clusteralgoritme van hoge kwaliteit dat eng gerichte clusters van vaste grootte in de conceptruimte vormt. Het past de TAR 2.0-methodologie toe op alleen de clustercentra, waardoor een gevarieerde reeks potentieel relevante documenten wordt beoordeeld. Zodra er geen relevante clustercentra meer gevonden kunnen worden, worden de beoordeelde clustercentra gebruikt als trainingsdocumenten om voorspellingen te doen voor de volledige documentpopulatie. Er is geen controleset nodig. Het systeem is goed opgeleid als er geen extra relevante clustercentra kunnen worden gevonden. Analyse van de getoetste clustercentra geeft een schatting van de prevalentie en het aantal niet-relevante documenten dat zou worden geproduceerd als documenten uitsluitend op basis van de voorspellingen zouden worden opgesteld zonder menselijke beoordeling. De gebruiker kan besluiten documenten te produceren (niet geïdentificeerd als potentieel bevoorrecht) zonder beoordeling, vergelijkbaar met SAL uit TAR 1.0 (maar zonder controleset), of hij/zij kan besluiten documenten te herzien die te veel risico lopen niet-relevant te zijn (die kunnen worden gebruikt als aanvullende training voor het systeem, d.w.z. CAL®). Het belangrijkste punt is dat de gebruiker de informatie heeft die hij/zij nodig heeft om een beslissing te nemen over hoe verder te gaan na het voltooien van de beoordeling van de clustercentra die waarschijnlijk relevant zijn, en niets gedaan voordat dat punt ongeldig wordt verklaard door de beslissing (vergelijk met het starten met TAR 1.0, het herzien van een controleset, het vinden van dat de voorspellingen niet goed genoeg zijn om documenten te produceren zonder beoordeling, en vervolgens over te schakelen naar TAR 2.0, waardoor de controleset vrijwel nutteloos wordt).

TAR Gebruik (12)

TA-technologieën, -protocollen en -workflows kunnen effectief worden gebruikt om eDiscovery professionals te helpen bij het uitvoeren van vele taken op het gebied van gegevensdetectie en juridische ontdekking. Negen veelgebruikte voorbeelden van TAR-gebruik zijn:

Identificatie van relevante documenten

Early case Assessment/Onderzoek

Prioritering voor beoordeling

Categorisatie (op problemen, voor vertrouwelijkheid of privacy)

Privilege beoordeling

Kwaliteitscontrole en kwaliteitsborging

Herziening van inkomende producties

Voorbereiding van beschikking/proef

Informatiegovernance en gegevensdispositie

Informatie over enquête (13,14,15,16,17,18)

Referenties

(1) Grossman, M. en Cormack, G. (2013). De Grossman-Cormack Glossary of Technology Assisted Review. [ebook] Federale rechtbanken Review. Beschikbaar op: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Toegankelijk op 31 augustus 2018].

(2) Dimm, B. (2018). Expertise over voorspellende codering. [e-mail].

(3) Roitblat, H. (2013). Inleiding tot voorspellende codering. [ebook] OrCatec. Beschikbaar op: 31 augustus 2018].

(4) Tredennick, J. en Pickens, J. (2017). Deep Learning in E-Discovery: Verplaatsen langs de Hype. [online] CatalystSecure.com. Beschikbaar op: 31 augustus 2018].

(5) Grossman, M. en Cormack, G. (2017). Technologie-Assisted Review in Electronic Discovery. [ebook] Beschikbaar op: 31 Aug. 2018].

(6) Grossman, M. en Cormack, G. (2016). Continu Actief Leren voor TAR. [ebook] Praktische wet. Beschikbaar op: 31 augustus 2018].

(7) Grossman, M. en Cormack, G. (2016). Schaalbaarheid van continu actief leren voor een betrouwbare classificatie met hoge terugroeptekst. [ebook] Beschikbaar op: 3 September 2018].

(8) Losey, R., Sullivan, J. en Reichenberger, T. (2015). e-Discovery Team bij TREC 2015 Total Recall Track. [ebook] Beschikbaar op: [Toegang tot 1 sep. 2018].

(9) „Continuous ACTIVE LEREN handelsmerk van Maura Grossman en Gordon V. Cormack - registratienummer 5876987 - serienummer 86634255::: handelsmerken van Justin”. Trademarks.Justia.com, 2020, [Toegang tot 12 Feb. 2020].

(10) „CAL handelsmerk van Maura Grossman en Gordon V. Cormack - registratienummer 5876988 - serienummer 86634265:: handelsmerken van Justin”. Trademarks.Justia.com, 2020, [Toegang tot 12 Feb. 2020].

(11) Dimm, B. (2016), TAR 3.0 Prestaties. [online] Clustify Blog — eDiscovery, Document Clustering, Predictive Coding, Informatie ophalen en Software Development. Beschikbaar op: 18 februari 2019].

(12) Electronic Discovery Reference Model (EDRM) (2019). Richtsnoeren voor de evaluatie van technologie (TAR). [online] Beschikbaar op: 18 februari 2019].

(13) Dimm, B. (2018). TAR, evenredigheid en slechte algoritmen (1-NN). [online] Clustify Blog — eDiscovery, Document Clustering, Predictive Coding, Informatie ophalen en Software Development. Beschikbaar op: 31 augustus 2018].

(14) Robinson, R. (2013). Hardloopresultaten: Voorspellende codering implementatie van één vraag provider. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 augustus 2018].

(15) Robinson, R. (2018). Een Running List: Top 100+ eDiscovery Providers. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 augustus 2018].

(16) Robinson, R. (2018) Relatief gesproken: Predictive Coding Technologies and Protocols Survey Results [online] ComplexDiscovery: eDiscovery Information. Beschikbaar op: 18 februari 2019].

(17) Robinson, R. (2019) Actief leren? Voorspellende coderingstechnologieën en protocollen enquêteresultaten [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 22 aug. 2019]

(18) Robinson, R. (2019) Van platforms naar workflows: Predictive Coding Technologies and Protocols Survey - Herfst 2019 Resultaten [online] ComplexDiscovery: eDiscovery Information. Beschikbaar op: [Toegang tot 12 februari 2020].

Klik hier voor specifieke toevoegingen, correcties en updates.

Bron: ComplexDiscovery

Resultaten van eDiscovery Bedrijfsvertrouwen — Zomer 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Een pijler van empowerment? Evaluatie en herziening van de AVG-gegevensbescherming

The general view is that two years after it started to...

De punten verbinden: eDiscovery van initiatiefnemers naar ecosysteem overwegen

From a macro perspective, connecting the dots in eDiscovery is to...

XDD verwerft RVM

According to XDD CEO Bob Polus, “Merging forces with RVM further...

A Running List: Top 100+ eDiscovery Providers

Based on a compilation of research from analyst firms and industry...

De handleiding voor kopers van eDisclosure Systems — editie 2020 (Andrew Haslam)

Authored by industry expert Andrew Haslam, the eDisclosure Buyers Guide continues...

De race naar de startlijn? Recente aankondigingen voor veilige externe beoordeling

Not all secure remote review offerings are equal as the apparent...

Remote eDiscovery inschakelen? Een momentopname van DaaS

Desktop as a Service (DaaS) providers are becoming important contributors to...

Thuis of weg? eDiscovery Collection Market Overwegingen voor afmetingen en prijzen

One of the key home (onsite) or away (remote) decisions that...

Herzieningen en besluiten? Nieuwe overwegingen voor eDiscovery Secure Remote Reviews

One of the key revision and decision areas that business, legal,...

Een macro blik op het verleden en de verwachte eDiscovery Marktgrootte van 2012 tot 2024

From a macro look at past estimations of eDiscovery market size...

Een eDiscovery Marktgrootte Mashup: 2019-2024 wereldwijd overzicht van software en services

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

Resultaten van eDiscovery Bedrijfsvertrouwen — Zomer 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Een kwestie van Pricing? Een lopende update van halfjaarlijkse eDiscovery prijsonderzoeken

First administered in December of 2018 and conducted four times during...

Een pandemeconomische indicator? Resultaten van eDiscovery prijzen in de zomer 2020

Based on the complexity of data and legal discovery, it is...

COVID-19 Beperkt? De impact van zes problemen op het bedrijf van eDiscovery

In the spring of 2020, 51.2% of respondents viewed budgetary constraints...

XDD verwerft RVM

According to XDD CEO Bob Polus, “Merging forces with RVM further...

Ipro verwerft NetGovern

According to Dean Brown, CEO at Ipro Tech, “We are thrilled...

Morae verwerft Juridisch Management Consultancy Janders Dean

According to Janders Dean founder Justin North, "Now more than ever,...

eDiscovery fusies, overnames en investeringen in Q2 2020

From UnitedLex to Onna, ComplexDiscovery findings, data points, and tracking information...

Vijf grote lezingen over eDiscovery voor juni 2020

From collection market size updates to cloud outsourcing guidelines, the June...

Vijf grote lezingen over eDiscovery voor mei 2020

From review market sizing revisions to pandemeconomic pricing, the May 2020...

Vijf grote lezingen op eDiscovery voor april 2020

From business confidence to the boom of Zoom, the April 2020...

Vijf grote lezingen over gegevensdetectie en juridische ontdekking voor maart 2020

From business continuity considerations to cybersecurity attacks, the March 2020 edition...