Een breder net gieten? Onderzoek naar voorspellende codeertechnologieën en protocollen — Resultaten najaar 2020

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual survey designed to help provide a general understanding of the current application of predictive coding technologies, protocols, workflows, and uses by data discovery and legal discovery professionals.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Opmerking van de redactie: Dit zijn de resultaten van de vijfde halfjaarlijkse Predictive Coding Technologies and Protocols Survey uitgevoerd door ComplexDiscovery. Vanaf vandaag hebben de vijf enquêtes gedetailleerde feedback gegeven van 319 juridische, zakelijke en technologische professionals over het gebruik van specifieke machine learning-technologieën in voorspellende codering. De enquêtes hebben ook inzicht gegeven in het gebruik van deze machine learning-technologieën als onderdeel van bijvoorbeeld technologie-ondersteunde toetsingsprotocollen.

Deze iteratie van het onderzoek had 85 responders en bleef zich richten op voorspellende codeertechnologieën, protocollen, workflows en toepassingen in het eDiscovery ecosysteem. Het najaar 2020 onderzoek omvatte ook een nieuwe vraag over de prevalentie van voorspellende codering gebruik als onderdeel van eDiscovery workflows.

De voorspellende codeertechnologieën en protocollen herfst 2020 enquête

De Predictive Coding Technologies and Protocols Survey is een niet-wetenschappelijke enquête die is ontworpen om een algemeen inzicht te verschaffen in het gebruik van voorspellende codeertechnologieën, protocollen en workflows door professionals in het eDiscovery ecosysteem voor gegevensdetectie en juridische ontdekking. Het najaar 2020 onderzoek was geopend van 7 augustus 2020, tot en met 14 augustus 2020, met individuen uitgenodigd om rechtstreeks deel te nemen door ComplexDiscovery.

Ontworpen om een algemeen begrip te bieden van voorspellende codeertechnologieën en protocollen, had de enquête twee primaire onderwijsdoelstellingen:

Een geconsolideerde lijst van potentiële voorspellende coderingstechnologie, protocol- en workflowdefinities bieden. Hoewel het niet allesomvattend of volledig is, werd de lijst doorgelicht met geselecteerde experts in de sector voorspellende codering op volledigheid en nauwkeurigheid, zodat het lijkt winstgevend te zijn voor gebruik in educatieve inspanningen.

EDiscovery ecosysteemprofessionals vragen naar hun voorkeuren en gebruikspatronen met betrekking tot voorspellende codeerplatforms, technologieën, protocollen, workflows en gebruiksgebieden.

De enquête bood responders de mogelijkheid om voorspellende achtergrondinformatie te verstrekken, waaronder hun primaire voorspellende codeerplatform, en stelde vijf specifieke vragen aan responders. Die vragen zijn:

Hoe vaak gebruikt u voorspellende codering als onderdeel van uw eDiscovery workflow? (Prevalentie)

Welke voorspellende codeertechnologieën worden gebruikt door uw eDiscovery platform? (Technologieën)

Welke door technologie ondersteunde revisieprotocollen worden gebruikt bij het leveren van voorspellende codering? (Protocollen)

Wat is de primaire door technologie ondersteunde revisieworkflow die wordt gebruikt bij uw levering van voorspellende codering? (Werkstroom)

Op welke gebieden gebruikt u technologie ondersteunde revisietechnologieën, protocollen en workflows? (Gebieden van gebruik)

Gesloten op 14 augustus 2020, het najaar 2020 onderzoek had 85 responders.

Belangrijkste resultaten en waarnemingen

Overzicht van voorspellende codeertechnologie en protocolenquêteresponder (grafiek 1)

43,53% van de responders was van advocatenkantoren.

35,29% van de responders was afkomstig van organisaties van software- of dienstverleners.

De overige 2,18% van de responders maakte deel uit van een adviesbureau (8,24%), een onderneming (4,71%), de overheid (1,18%) of een ander type entiteit (7,06%).

Primair voorspellend codeerplatform (grafiek 2)

89,41% van de responders meldde dat zij ten minste één primair platform voor voorspellende codering hebben.

Er werden 22 verschillende platforms gerapporteerd als een primair voorspellend codeerplatform door responders.

Relativiteit werd gerapporteerd als een primair voorspellend codeerplatform door 36,47% van de enquêteresponders.

De top twee platforms werden gerapporteerd als een primair voorspellend codeerplatform door 52,94% van de enquêteresponders.

10,59% van de responders meldde dat ze geen primair platform voor voorspellende codering hadden.

Prevalentie van gebruik van voorspellende codering in eDiscovery (Grafiek 3)

Meer dan een derde van de enquêteresponders (36,47%) meldde meer dan 50% van de tijd met behulp van voorspellende codering in hun eDiscovery workflow.

80% van de responders gerapporteerd met behulp van voorspellende codering in hun eDiscovery workflow ten minste 5% van de tijd.

Slechts 20% van de responders gerapporteerd met behulp van voorspellende codering in hun eDiscovery workflow minder dan 5% van de tijd.

Predictive Coding Technology Werkgelegenheid (Grafiek 4)

Active Learning werd gerapporteerd als de meest gebruikte voorspellende codeertechnologie met 88,24% van de responders die het gebruiken in hun voorspellende programmeringsinspanningen.

36,47% van de responders meldde dat zij slechts één voorspellende codeertechnologie gebruikten in hun voorspellende programmeringsinspanningen.

61,18% van de responders meldde dat zij meer dan één voorspellende codeertechnologie gebruikten in hun voorspellende coderingsinspanningen.

2,35% van de responders heeft geen melding gemaakt van specifieke voorspellende coderingstechnologie.

Technologie-ondersteunde toetsing Protocol Werkgelegenheid (Grafiek 5)

Alle vermelde door technologie ondersteunde protocollen voor voorspellende codering werden gerapporteerd als gebruikt door ten minste één onderzoeksponder.

Continuous Active Learning® (CAL®) werd gerapporteerd als het meest gebruikte voorspellende codeerprotocol met 88,24% van de responders die het gebruiken in hun voorspellende programmeringsinspanningen.

49,41% van de responders meldde dat zij slechts één voorspellend codeerprotocol gebruikten in hun voorspellende coderingsinspanningen.

48,24% van de responders meldde dat zij meer dan één voorspellend codeerprotocol gebruikten in hun voorspellende programmeringsinspanningen.

2,35% van de responders gemeld dat ze geen voorspellend codeerprotocol gebruikten.

Werkstroom Werkgelegenheid (Grafiek 6)

68,24% van de responders gerapporteerd met behulp van Technology-Assisted Review (TAR) 2.0 als primaire workflow bij de levering van voorspellende codering.

8,24% van de responders gerapporteerd met TAR 1.0 en 11,76% van de responders gerapporteerd met TAR 3.0 als primaire workflow bij de levering van voorspellende codering.

11,76% van de responders heeft geen melding gemaakt van TAR 1.0, TAR 2.0 of TAR 3.0 als primaire werkstroom bij de levering van voorspellende codering.

Toepassingen met technologische ondersteuning (Grafiek 7)

92,94% van de responders gerapporteerd met behulp van een door technologie ondersteunde beoordeling op meer dan één gebied van gegevens en juridische ontdekking.

94,12% van de responders gerapporteerd met behulp van een door technologie ondersteunde evaluatie voor de identificatie van relevante documenten.

16,47% van de responders gerapporteerd met behulp van technologie ondersteunde evaluatie voor informatiebeheer en gegevensdispositie.

Survey Grafieken

(Grafieken kunnen worden uitgebreid voor gedetailleerde weergave.)

Grafiek 1: Overzicht enquêteresponder (achtergrond)

1-Voorspellende codering-technologieën-en-protocollen-enquête-overzicht-Fall-2020

Grafiek 2: Naam van het primaire voorspellende codeerplatform (achtergrond)

2-Primary-voorspellende codering-Platform-Fall-2020

Grafiek 3: Hoe vaak gebruikt u voorspellende codering als onderdeel van uw eDiscovery workflow? (Vraag #1)

3-Voorspellende codering-gebruik-prevalentie-herfst-2020

Grafiek 4: Welke voorspellende codeertechnologieën worden gebruikt door uw eDiscovery platform? (Vraag #2)

4-Voorspellende codering-Technologie-Gebruikte Fall-2020

Grafiek 5: Welke door technologie ondersteunde revisieprotocollen worden gebruikt bij uw levering van voorspellende codering? (Vraag #3)

5-Technologie-Assisted-Review-Protocol-Use-Fall-2020

Grafiek 6: Wat is de primaire door technologie ondersteunde revisieworkflow die wordt gebruikt bij uw levering van voorspellende codering? (Vraag #4)

6-Technologie-Assisted-Review-Workflow-Use-Fall-2020

Grafiek 7: Wat zijn de gebieden waar u gebruikmaakt van technologie ondersteunde revisietechnologieën, protocollen en workflows? (Vraag #5)

7-Technologie-Assisted-Review-gebruiken-Fall-2020

Voorspellende codeertechnologieën en protocollen (Survey Backgrounder)

Zoals gedefinieerd in de Grossman-Cormack Glossary of Technology-Assisted Review (1), is Predictive Coding een branchespecifieke term die algemeen wordt gebruikt om een door technologie ondersteund beoordelingsproces te beschrijven waarbij gebruik wordt gemaakt van een machine learning-algoritme om relevante van niet-relevante documenten te onderscheiden, gebaseerd op een onderwerp materie expert codering van een opleiding set van documenten. Deze definitie van voorspellende codering biedt een basislijnbeschrijving die een specifieke functie identificeert die een algemene set algemeen aanvaarde machine learning-algoritmen kan gebruiken in een door technologie ondersteunde review (TAR).

Met het toenemende bewustzijn en het gebruik van voorspellende codering in de juridische arena van vandaag, lijkt het steeds belangrijker voor elektronische ontdekkingsprofessionals om een algemeen begrip te hebben van de technologieën die kunnen worden geïmplementeerd in elektronische detectieplatforms om voorspellende codering te vergemakkelijken van elektronisch opgeslagen informatie. Dit algemene begrip is essentieel omdat elke potentiële algoritmische benadering efficiëntievoor- en nadelen heeft die van invloed kunnen zijn op de efficiëntie en effectiviteit van voorspellende codering.

Om te helpen bij het ontwikkelen van dit algemene begrip van voorspellende codeertechnologieën en om elektronische detectieproviders de mogelijkheid te bieden de technologieën en protocollen die ze gebruiken in en met hun platforms te delen om voorspellende codering te realiseren, zijn de volgende werklijsten van voorspellende codering technologieën en TAR-protocollen zijn beschikbaar voor uw gebruik. Werklijsten over voorspellende coderingsworkflows en -toepassingen zijn ook opgenomen voor uw overweging, omdat ze helpen definiëren hoe de voorspellende codeertechnologieën en TAR-protocollen worden geïmplementeerd en gebruikt.

Een werklijst van voorspellende codeertechnologieën (1,2,3,4)

Geaggregeerd van elektronische ontdekkingsdeskundigen op basis van professionele publicaties en persoonlijke gesprekken, hieronder is een niet-allesomvattende werklijst van geïdentificeerde machine learning-technologieën die zijn toegepast of die het potentieel hebben om te worden toegepast op de discipline van eDiscovery om voorspellende codering. Deze werklijst is ontworpen als referentiepunt voor geïdentificeerde voorspellende codeertechnologieën en kan na verloop van tijd aanvullingen, aanpassingen en wijzigingen bevatten op basis van feedback van deskundigen en organisaties die deze mainstream technologieën toepassen en implementeren in hun specifieke eDiscovery platforms.

Vermeld in alfabetische volgorde

Actief leren: een proces, meestal iteratief, waarbij een algoritme wordt gebruikt om documenten te selecteren die moeten worden beoordeeld voor training op basis van een strategie om het classificatiealgoritme efficiënt te leren.

Decision Tree: Een stapsgewijze methode om onderscheid te maken tussen relevante en niet-relevante documenten, afhankelijk van de combinatie van woorden (of andere kenmerken) die ze bevatten. Een beslissingsboom om documenten met betrekking tot financiële derivaten te identificeren, kan eerst bepalen of een document het woord „swap” bevatte. Als dat zo is, kan de Decision Tree dan bepalen of het document 'krediet' bevatte, enzovoort. Een beslissingsboom kan worden gecreëerd door middel van kennistechniek of machine learning.

K-Neighbor Classifier (K-nn): een classificatiealgoritme dat de k voorbeelddocumenten analyseert die het meest lijken (het dichtst bij) op het document dat wordt geclassificeerd om de beste classificatie voor het document te bepalen. Als k te klein is (bijv. k=1), kan het uiterst moeilijk zijn om een hoge terugroepactie te bereiken.

Latente semantische analyse (LSA): een wiskundige representatie van documenten die sterk gecorreleerde woorden (d.w.z. woorden die vaak voorkomen in dezelfde documenten) behandelt als zijnde, in zekere zin, gelijkwaardig of uitwisselbaar. Deze equivalentie of uitwisselbaarheid kan algoritmen toestaan om documenten te identificeren als conceptueel vergelijkbaar, zelfs wanneer ze niet dezelfde woorden gebruiken (bijvoorbeeld omdat synoniemen sterk gecorreleerd kunnen zijn), hoewel het ook enkele potentieel nuttige informatie weggooit en kan leiden tot ongewenste resultaten veroorzaakt door valse correlaties.

Logistieke regressie: Een state-of-the-art begeleid leeralgoritme voor machine learning dat de waarschijnlijkheid inschat dat een document relevant is, op basis van de functies die het bevat. In tegenstelling tot de Naïve Bayes, algoritme, Logistic Regression identificeert kenmerken die onderscheid maken tussen relevante en niet-relevante documenten.

Naïeve Bayesian Classifier: Een systeem dat onderzoekt de waarschijnlijkheid dat elk woord in een nieuw document afkomstig is van de woorddistributie afgeleid van een getraind responsief document of getrainde niet-responsieve documenten. Het systeem is naïef in die zin dat het veronderstelt dat alle woorden onafhankelijk van elkaar zijn.

Neural Network: Een Artificial Neural Network (ANN) is een computationeel model. Het is gebaseerd op de structuur en functies van biologische neurale netwerken. Het werkt als de manier waarop het menselijk brein informatie verwerkt. Het bevat een groot aantal verbonden verwerkingseenheden die samenwerken om informatie te verwerken.

Probabilistische Latente Semantische Analyse (PLSA): Dit is qua geest vergelijkbaar met LSA, maar het gebruikt een probabilistisch model om resultaten te bereiken die naar verwachting beter zullen zijn.

Willekeurige bossen: Een ensemble leermethode voor classificatie, regressie en andere taken, die werken door het construeren van een veelheid van beslissingsbomen tijdens trainingstijd en het uitvoeren van de klasse die de modus is van de klassen (classificatie) of gemiddelde voorspelling (regressie) van de afzonderlijke bomen. Willekeurige beslissingsbossen corrigeren voor de gewoonte van beslissingsbomen om te veel aan hun trainingsset te passen.

Relevantie Feedback: Een actief leerproces waarbij de documenten met de hoogste waarschijnlijkheid van relevantie door een mens worden gecodeerd en aan de trainingsset worden toegevoegd.

Ondersteuning Vector Machine: Een wiskundige benadering die probeert een lijn te vinden die responsieve scheidt van niet-responsieve documenten, zodat, idealiter, alle van de responsieve documenten zijn aan de ene kant van de lijn en alle van de niet-responsieve documenten zijn aan de andere kant.

Algemene TAR-protocollen (5,6,7,8,9,10)

Bovendien worden deze technologieën over het algemeen gebruikt als onderdeel van een TAR-protocol dat bepaalt hoe de technologieën worden gebruikt. Voorbeelden van TAR-protocollen zijn:

Vermeld in alfabetische volgorde

Continuous Active Learning® (CAL®): in CAL®, de TAR-methode ontwikkeld, gebruikt en bepleit door Maura R. Grossman en Gordon V. Cormack, selecteert de cursist na de initiële trainingsset herhaaldelijk de op één na meest waarschijnlijke relevante documenten (die nog niet in aanmerking zijn genomen) voor beoordeling, codering en training, en blijft dit doen totdat het geen relevante documenten meer kan vinden. Er is over het algemeen geen tweede beoordeling omdat, tegen de tijd dat de cursist stopt met leren, alle documenten die door de cursist relevant worden geacht, al geïdentificeerd en handmatig beoordeeld zijn.

Hybride multimodale methode: Een aanpak ontwikkeld door het E-Discovery Team (Ralph Losey) die alle soorten zoekmethoden omvat, waarbij primair afhankelijk is van voorspellende codering en het gebruik van high-ranked documenten voor continue actieve training.

Scalable Continuous Active Learning (S-CAL): Het essentiële verschil tussen S-CAL en CAL® is dat voor S-CAL alleen een eindig voorbeeld van documenten uit elke opeenvolgende batch wordt geselecteerd voor etikettering, en het proces gaat door totdat de verzameling (of een groot willekeurig monster van de verzameling) is uitgeput. Samen vormen de eindige monsters een gestratificeerde steekproef van de documentpopulatie, waaruit een statistische schatting van ρ kan worden afgeleid.

Simple Active Learning (SAL): in SAL-methoden selecteert de cursist na de initiële trainingsset de documenten die door de docent moeten worden beoordeeld en gecodeerd, en gebruikt als trainingsvoorbeelden, en blijft voorbeelden selecteren totdat deze voldoende is opgeleid. Meestal zijn de documenten die de cursist kiest die waarover de cursist het minst zeker is, en dus waaruit hij het meest zal leren. Eenmaal voldoende getraind, wordt de cursist gebruikt om elk document in de collectie te labelen. Net als bij SPL worden de documenten die als relevant worden gemarkeerd over het algemeen handmatig herzien.

Simple Passive Learning (SPL): In eenvoudige passieve leermethoden („SPL”) selecteert de docent (d.w.z. menselijke operator) de documenten die als trainingsvoorbeelden moeten worden gebruikt; de leerling wordt opgeleid aan de hand van deze voorbeelden en wordt, zodra voldoende opgeleid, gebruikt om elk document in de collectie als relevant of niet--relevant. Over het algemeen worden de documenten die door de cursist als relevant zijn gemarkeerd handmatig herzien. Deze handmatige beoordeling vertegenwoordigt een klein deel van de collectie, en dus een klein deel van de tijd en kosten van een uitgebreide handmatige beoordeling.

TAR-workflows (11)

TAR-workflows vertegenwoordigen de praktische toepassing van voorspellende codeertechnologieën en -protocollen voor het definiëren van benaderingen voor het voltooien van voorspellende coderingstaken. Drie voorbeelden van TAR-workflows zijn:

TAR 1.0 omvat een trainingsfase gevolgd door een revisiefase waarbij een besturingsset wordt gebruikt om het optimale punt te bepalen waarop u van training naar review moet overschakelen. Het systeem leert niet meer wanneer de trainingsfase is voltooid. De controleset is een willekeurige verzameling documenten die zijn beoordeeld en gemarkeerd als relevant of niet-relevant. De controleset documenten worden niet gebruikt om het systeem te trainen. Ze worden gebruikt om de voorspellingen van het systeem te beoordelen, zodat de training kan worden beëindigd wanneer de voordelen van aanvullende training niet langer opwegen tegen de kosten van aanvullende training. Training kan plaatsvinden met willekeurig geselecteerde documenten, bekend als Simple Passive Learning (SPL), of het kan gaan om documenten die door het systeem zijn gekozen om de leerefficiëntie te optimaliseren, bekend als Simple Active Learning (SAL).

TAR 2.0 maakt gebruik van een aanpak die Continuous Active Learning® (CAL®) wordt genoemd, wat betekent dat er geen scheiding is tussen training en beoordeling — het systeem blijft overal leren. Hoewel veel benaderingen kunnen worden gebruikt om documenten te selecteren voor controle, is een belangrijk onderdeel van CAL® vele iteraties van het voorspellen van welke documenten het meest waarschijnlijk relevant zijn, ze bekijken en de voorspellingen bijwerken. In tegenstelling tot TAR 1.0 heeft TAR 2.0 de neiging om zeer efficiënt te zijn, zelfs als de prevalentie laag is. Aangezien er geen scheiding is tussen training en beoordeling, heeft TAR 2.0 geen besturingsset nodig. Het genereren van een besturingsset kan inhouden dat een groot (vooral wanneer de prevalentie laag is) aantal niet-relevante documenten wordt herzien, dus het is wenselijk om controlegroepen te vermijden.

TAR 3.0 vereist een conceptueel clusteralgoritme van hoge kwaliteit dat nauw gerichte clusters van vaste grootte vormt in conceptruimte. Het past de TAR 2.0-methodologie toe op alleen de clustercentra, wat ervoor zorgt dat een gevarieerde reeks potentieel relevante documenten wordt beoordeeld. Zodra er geen relevante clustercentra meer kunnen worden gevonden, worden de beoordeelde clustercentra gebruikt als trainingsdocumenten om voorspellingen te doen voor de volledige documentpopulatie. Er is geen besturingsset nodig — het systeem is goed getraind wanneer er geen extra relevante clustercentra gevonden kunnen worden. Analyse van de clustercentra die werden beoordeeld geeft een schatting van de prevalentie en het aantal niet-relevante documenten die zouden worden geproduceerd als documenten uitsluitend op basis van de voorspellingen zonder menselijke beoordeling zouden worden geproduceerd. De gebruiker kan besluiten om documenten te produceren (niet geïdentificeerd als potentieel bevoorrecht) zonder beoordeling, vergelijkbaar met SAL van TAR 1.0 (maar zonder controleset), of hij/zij kan besluiten documenten te bekijken die te veel risico hebben om niet relevant te zijn (die kunnen worden gebruikt als aanvullende training voor het systeem, d.w.z. CAL®). Het belangrijkste punt is dat de gebruiker de informatie heeft die hij/zij nodig heeft om een beslissing te nemen over hoe verder te gaan na het voltooien van de beoordeling van de clustercentra die waarschijnlijk relevant zijn, en niets gedaan voordat dat punt ongeldig wordt door de beslissing (vergelijk met het starten met TAR 1.0, het bekijken van een besturingsset, het vinden van dat de voorspellingen niet goed genoeg zijn om documenten te produceren zonder controle, en vervolgens over te schakelen naar TAR 2.0, waardoor de besturingsset vrijwel nutteloos wordt).

TAR-toepassingen (12)

TAR-technologieën, protocollen en workflows kunnen effectief worden gebruikt om eDiscovery professionals te helpen bij het uitvoeren van veel taken op het gebied van gegevensdetectie en juridische opsporing. Negen algemeen beschouwde voorbeelden van TAR-gebruik zijn:

Identificatie van relevante documenten

Early Case Assessment/Onderzoek

Prioritering voor beoordeling

Categorisatie (op problemen, voor vertrouwelijkheid of privacy)

Privilege beoordeling

Kwaliteitscontrole en kwaliteitsborging

Herziening van inkomende producties

Dissition/Trial Voorbereiding

Informatiebeheer en gegevensverwijdering

Enquête-informatie (13,14,15,16,17,18, 19)

Referenties

(1) Grossman, M. en Cormack, G. (2013). De Grossman-Cormack Glossary of Technology Assisted Review. [ebook] Federale rechtbanken Law Review. Beschikbaar op: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Toegankelijk 31 aug. 2018].

(2) Dimm, B. (2018). Expertise inzake voorspellende codering. [e-mail].

(3) Roitblat, H. (2013). Inleiding tot voorspellende codering. [ebook] Orcatec. Beschikbaar op: 31 aug. 2018].

(4) Tredennick, J. en Pickens, J. (2017). Deep Learning in E-Discovery: Bewegen voorbij de hype. [online] CatalystSecure.com. Beschikbaar op: 31 aug. 2018].

(5) Grossman, M. en Cormack, G. (2017). Technologie-ondersteunde beoordeling in elektronische ontdekking. [ebook] Beschikbaar op: 31 aug. 2018].

(6) Grossman, M. en Cormack, G. (2016). Continu actief leren voor TAR. [ebook] Praktisch recht. Beschikbaar op: 31 aug. 2018].

(7) Grossman, M. en Cormack, G. (2016). Schaalbaarheid van Continuous Active Learning voor betrouwbare High-Recall Text [ebook] Beschikbaar op: 3 sep. 2018].

(8) Losey, R., Sullivan, J. en Reichenberger, T. (2015). E-Discovery Team op TREC 2015 Total Recall Track. [ebook] Beschikbaar op: 1 sep. 2018].

(9) „Continue ACTIVE LERING Handelsmerk van Maura Grossman en Gordon V. Cormack — Registratienummer 5876987 — Serienummer 86634255። Justia-handelsmerken”. Handelsmerken.Justia.com, 2020, 12 feb 2020].

(10) „CAL-handelsmerk van Maura Grossman en Gordon V. Cormack — Registratienummer 5876988 — Serienummer 86634265። Justia-handelsmerken”. Handelsmerken.Justia.com, 2020, 12 feb 2020].

(11) Dimm, B. (2016), TAR 3.0 Prestaties. [online] Blog Clustify — eDiscovery, Document Clustering, Voorspellende codering, Informatie ophalen en Softwareontwikkeling. Beschikbaar op: 18 feb. 2019].

(12) Elektronisch Discovery Reference Model (EDRM) (2019). Richtlijnen voor technologische assistentie bij beoordeling (TAR) [online] Beschikbaar op: 18 feb. 2019].

(13) Dimm, B. (2018). TAR, evenredigheid en slechte algoritmen (1-NN). [online] Blog Clustify — eDiscovery, Document Clustering, Voorspellende codering, Informatie ophalen en Softwareontwikkeling. Beschikbaar op: 31 aug. 2018].

(14) Robinson, R. (2013). Resultaten: Predictive Coding Provider Implementation Survey voor één vraag. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 aug. 2018].

(15) Robinson, R. (2018). Een lopende lijst: Top 100+ eDiscovery Providers. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 aug. 2018].

(16) Robinson, R. (2018) Relatief gesproken: Voorspellende codeertechnologieën en protocollen Survey Results [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 18 feb. 2019].

(17) Robinson, R. (2019) Actief leren? Onderzoeksresultaten voor voorspellende codeertechnologieën en protocollen [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 22 aug 2019]

(18) Robinson, R. (2019) Van platforms tot workflows: Onderzoek naar voorspellende codeertechnologieën en protocollen — Herfst 2019 Resultaten [online] ComplexDiscovery: eDiscovery Information. Beschikbaar op: 12 feb 2020].

(19) Robinson, R. (2020) Is het allemaal relatief? Onderzoek naar voorspellende codeertechnologieën en protocollen - Voorjaarsresultaten [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: [Toegankelijk 7 augustus 2020].

Klik hier voor specifieke toevoegingen, correcties en updates.

Bron: complexDiscovery

Mitratech verwerft scherpte ELM

According to Mike Williams, CEO of Mitratech, “We came to the...

Veritas verwerft Globanet

“By integrating Globanet’s technology into our digital compliance portfolio, we’re making...

Vijf geweldige lezingen op eDiscovery voor september 2020

From cloud forensics and cyber defense to social media and surveys,...

Tijd voor een verandering? FTC stelt wijzigingen voor in de HSR-wet Prefusie aanmeldingsregels

The Federal Trade Commission, with the support of the Department of...

A Running List: Top 100+ eDiscovery Providers

Based on a compilation of research from analyst firms and industry...

De handleiding voor kopers van eDisclosure Systems — editie 2020 (Andrew Haslam)

Authored by industry expert Andrew Haslam, the eDisclosure Buyers Guide continues...

De race naar de startlijn? Recente aankondigingen voor veilige externe beoordeling

Not all secure remote review offerings are equal as the apparent...

Remote eDiscovery inschakelen? Een momentopname van DaaS

Desktop as a Service (DaaS) providers are becoming important contributors to...

Thuis of weg? eDiscovery Collection Market Overwegingen voor afmetingen en prijzen

One of the key home (onsite) or away (remote) decisions that...

Herzieningen en besluiten? Nieuwe overwegingen voor eDiscovery Secure Remote Reviews

One of the key revision and decision areas that business, legal,...

Een macro blik op het verleden en de verwachte eDiscovery Marktgrootte van 2012 tot 2024

From a macro look at past estimations of eDiscovery market size...

Een eDiscovery Marktgrootte Mashup: 2019-2024 wereldwijd overzicht van software en services

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

Feestelijk of Restive? De enquête over het vertrouwen van bedrijven in de herfst van 2020

Since January 2016, 2,189 individual responses to nineteen quarterly eDiscovery Business...

Een breder net gieten? Onderzoek naar voorspellende codeertechnologieën en protocollen — Resultaten najaar 2020

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual...

Zakelijk als Ongebruikelijk? Achttien opmerkingen over het vertrouwen van eDiscovery in de zomer van 2020

Based on the aggregate results of nineteen past eDiscovery Business Confidence...

Een groeiende zorg? Begrotingsbeperkingen en de activiteiten van eDiscovery

In the summer of 2020, 56% of respondents viewed budgetary constraints...

Mitratech verwerft scherpte ELM

According to Mike Williams, CEO of Mitratech, “We came to the...

Veritas verwerft Globanet

“By integrating Globanet’s technology into our digital compliance portfolio, we’re making...

Een eDiscovery vakantieseizoen onder? Macquarie bereidt Naix voor op beursgang

According to John Beveridge, writing for Small Caps, Macquarie holds a...

ayfie om Haive te verwerven

According to Johannes Stiehler, CEO of ayfie Group AS, “This acquisition...

Vijf geweldige lezingen op eDiscovery voor september 2020

From cloud forensics and cyber defense to social media and surveys,...

Vijf geweldige leesboeken op eDiscovery voor augustus 2020

From predictive coding and artificial intelligence to antitrust investigations and malware,...

Vijf grote lezingen over eDiscovery voor juli 2020

From business confidence and operational metrics to data protection and privacy...

Vijf grote lezingen over eDiscovery voor juni 2020

From collection market size updates to cloud outsourcing guidelines, the June...