Koud weer Catch? Onderzoek naar voorspellende coderingstechnologieën en protocollen — Resultaten voorjaar 2021

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual survey designed to help provide a general understanding of the current application of predictive coding technologies, protocols, workflows, and uses by data discovery and legal discovery professionals.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Opmerking van de redactie: Dit zijn de resultaten van de zesde halfjaarlijkse Predictive Coding Technologies and Protocols Survey uitgevoerd door ComplexDiscovery. Vanaf vandaag hebben de zes enquêtes gedetailleerde feedback gegeven van 384 juridische, zakelijke en technologische professionals over het gebruik van specifieke machine learning-technologieën in predictive codering. De enquêtes hebben ook inzicht verschaft in het gebruik van deze machine learning-technologieën als onderdeel van bijvoorbeeld technologie-ondersteunde toetsingsprotocollen.

Deze iteratie van de enquête had 65 responders en bleef zich richten op voorspellende coderingstechnologieën, protocollen, workflows en toepassingen in het eDiscovery ecosysteem.

De voorspellende coderingstechnologieën en protocollen Spring 2021 Survey

De Predictive Coding Technologies and Protocols Survey is een niet-wetenschappelijke enquête die is ontworpen om te helpen een algemeen inzicht te krijgen in het gebruik van voorspellende codeertechnologieën, -protocollen en -workflows door professionals op het gebied van gegevensdetectie en juridische ontdekking binnen het eDiscovery ecosysteem. De enquête in het voorjaar van 2021 was geopend van 7 februari 2021 tot en met 18 februari 2021, met individuen uitgenodigd om rechtstreeks deel te nemen door ComplexDiscovery.

Ontworpen om een algemeen inzicht te krijgen in voorspellende coderingstechnologieën en -protocollen, had de enquête twee primaire onderwijsdoelstellingen:

Een geconsolideerde lijst van potentiële voorspellende codetechnologie, protocol- en werkstroomdefinities bieden. Hoewel het niet all-inclusive of uitgebreid is, is de notering doorgelicht met geselecteerde voorspellende coderingsdeskundigen uit de sector op volledigheid en nauwkeurigheid, waardoor het winstgevend lijkt te zijn voor gebruik in educatieve inspanningen.

Om professionals in het ecosysteem van eDiscovery te vragen naar hun voorkeuren en gebruikspatronen met betrekking tot voorspellende codeerplatforms, technologieën, protocollen, workflows en gebruiksgebieden.

De enquête bood hulpverleners de mogelijkheid om achtergrondinformatie over voorspellende codering te verstrekken, met inbegrip van hun primaire voorspellende codeerplatform, en stelde vijf specifieke vragen voor de hulpverleners. Die vragen zijn:

Hoe vaak gebruikt u voorspellende codering als onderdeel van uw eDiscovery workflow? (Prevalentie)

Welke voorspellende coderingstechnologieën worden gebruikt door uw eDiscovery platform? (Technologieën)

Welke technologie-ondersteunde toetsingsprotocollen worden gebruikt bij het leveren van voorspellende codering? (Protocollen)

Wat is de primaire technologie-ondersteunde reviewworkflow die wordt gebruikt bij het leveren van voorspellende codering? (Werkstroom)

Wat zijn de gebieden waar u technologie-ondersteunde beoordelingstechnologieën, protocollen en workflows gebruikt? (Gebieden van gebruik)

Gesloten op 18 februari 2020, de voorjaarsenquête had 65 hulpverleners.

Belangrijkste resultaten en waarnemingen

Voorspellende coderingstechnologie en protocol Survey Responder Overzicht (Grafiek 1)

50,77% van de hulpverleners was afkomstig van organisaties van software- of dienstverleners.

27,69% van de hulpverleners was afkomstig van advocatenkantoren.

De resterende 21,54% van de hulpverleners maakte deel uit van een adviesbureau (12,,31%), de overheid (4,62), een onderneming (1,54%) of een ander type entiteit (3,08%).

Primair voorspellend codeerplatform (grafiek 2)

Er waren 24 verschillende platforms gemeld als een primair voorspellend codeerplatform door hulpverleners.

Relativiteit werd gemeld als een primair voorspellend codeerplatform door 36,92% van de enquêtehulpverleners.

De top twee platforms werden gerapporteerd als een primair voorspellend codeerplatform door 53,85% van de respondenten.

1,54% van de hulpverleners meldde dat zij geen primair platform hadden voor voorspellende codering.

Prevalentie van het gebruik van voorspellende codering in eDiscovery (Grafiek 3)

Meer dan een derde van de respondenten (38,46%) rapporteerde meer dan 50% van de tijd met behulp van voorspellende codering in hun eDiscovery workflow.

80% van de hulpverleners rapporteerde ten minste 5% van de tijd met behulp van voorspellende codering in hun eDiscovery workflow.

Slechts 20% van de hulpverleners meldde minder dan 5% van de tijd voorspellende codering in hun eDiscovery workflow.

Werkgelegenheid Predictive Coding Technology (Grafiek 4)

Active Learning werd gerapporteerd als de meest gebruikte voorspellende coderingstechnologie, waarbij 93,21% van de hulpverleners het gebruikte in hun voorspellende codering inspanningen.

44,62% van de hulpverleners meldde dat zij slechts één voorspellende coderingstechnologie gebruikten in hun voorspellende coderinginspanningen.

53,85% van de hulpverleners meldde dat zij meer dan één voorspellende coderingstechnologie gebruikten in hun voorspellende coderinginspanningen.

1,54% van de hulpverleners heeft geen melding gemaakt met behulp van een specifieke voorspellende coderingstechnologie.

Werkgelegenheid (Grafiek 5)

Alle vermelde technologie-ondersteunde protocollen voor voorspellende codering werden gemeld als gebruikt door ten minste één enquêteresponder.

Continuous Active Learning® (CAL®) werd gerapporteerd als het meest gebruikte voorspellende coderingsprotocol, waarbij 84,62% van de hulpverleners het gebruikte in hun voorspellende codering inspanningen.

55,38% van de hulpverleners meldde dat zij slechts één voorspellend coderingsprotocol gebruikten in hun voorspellende coderinginspanningen.

43,08% van de hulpverleners rapporteerde met behulp van meer dan één voorspellend coderingprotocol in hun voorspellende coderinginspanningen.

1,54% van de hulpverleners meldde geen gebruik te maken van een voorspellend coderingsprotocol.

Werkgelegenheid voor technology-Assisted Review (Grafiek 6)

72,31% van de hulpverleners rapporteerde met Technology-Assisted Review (TAR) 2.0 als primaire workflow bij het leveren van voorspellende codering.

6,16% van de responders meldde dat TAR 1.0 en 13,85% van de hulpverleners gebruikte TAR 3.0 als primaire workflow bij de levering van voorspellende codering.

7,69% van de hulpverleners heeft geen melding gemaakt van TAR 1.0, TAR 2.0 of TAR 3.0 als primaire workflow bij de levering van voorspellende codering.

Gebruik van technology-Assisted Review (Grafiek 7)

87,69% van de hulpverleners rapporteerde met behulp van technologie-geassisteerde beoordeling op meer dan één gebied van gegevens en juridische ontdekking.

92,31% van de hulpverleners rapporteerde met behulp van technologie-geassisteerde beoordeling voor de identificatie van relevante documenten.

13,85% van de hulpverleners rapporteerde met behulp van technologie-geassisteerde beoordeling voor informatiebeheer en gegevensverwerking.

Survey Grafieken

(Grafieken kunnen worden uitgebreid voor gedetailleerde weergave.)

Grafiek 1: Overzicht van enquêteresponder (achtergrond)

1 — Overzicht van voorspellende coderingtechnologieën en protocollen — voorjaar 2021

Grafiek 2: Naam van het primaire voorspellende codeerplatform (achtergrond)

2 — Primair voorspellend codeerplatform — voorjaar 2021

Grafiek 3: Hoe vaak gebruikt u voorspellende codering als onderdeel van uw eDiscovery workflow? (Vraag #1)

3 — Gebruik van voorspellende codering — voorjaar 2021

Grafiek 4: Welke voorspellende coderingstechnologieën worden gebruikt door uw eDiscovery platform? (Vraag #2)

4- Gebruik van voorspellende codeertechnologie — voorjaar 2021

Grafiek 5: Welke technologie-ondersteunde toetsingsprotocollen worden gebruikt in uw levering van voorspellende codering? (Vraag #3)

5 — Gebruik van technology-Assisted Review Protocol — Voorjaar 2021

Grafiek 6: Wat is de primaire door technologie ondersteunde beoordelingsworkflow die wordt gebruikt bij uw levering van predictive codering? (Vraag #4)

6 — Technology-Assisted Review Workflow Gebruik — Spring 2021

Grafiek 7: Wat zijn de gebieden waarop u technologie-ondersteunde beoordelingstechnologieën, protocollen en workflows gebruikt? (Vraag #5)

7 — Gebruik van technology-Assisted Review — Voorjaar 2021

Voorspellende coderingstechnologieën en -protocollen (Survey Backgrounder)

Zoals gedefinieerd in The Grossman-Cormack Glossary of Technology-Assisted Review (1), is Predictive Coding een branchespecifieke term die algemeen wordt gebruikt om een door technologie ondersteund beoordelingsproces te beschrijven waarbij gebruik wordt gemaakt van een machine learning-algoritme om relevante en niet-relevante documenten te onderscheiden, gebaseerd op een onderwerp materie expert codering van een training set van documenten. Deze definitie van voorspellende codering biedt een basislijnbeschrijving die een bepaalde functie identificeert die een algemene reeks algemeen aanvaarde algoritmen voor machine learning kan gebruiken in een technology-assisted review (TAR).

Met het toenemende bewustzijn en het gebruik van voorspellende codering in de juridische arena van vandaag, lijkt het erop dat het voor elektronische ontdekkingsprofessionals steeds belangrijker wordt om een algemeen begrip te hebben van de technologieën die kunnen worden geïmplementeerd in elektronische detectieplatforms om voorspellende codering te vergemakkelijken van elektronisch opgeslagen informatie. Dit algemene begrip is essentieel, aangezien elke potentiële algoritmische benadering efficiëntievoordelen en -nadelen heeft die van invloed kunnen zijn op de efficiëntie en effectiviteit van voorspellende codering.

Om te helpen bij de ontwikkeling van dit algemene begrip van voorspellende coderingstechnologieën en om aanbieders van elektronische detectie de mogelijkheid te bieden om de technologieën en protocollen te delen die zij in en met hun platforms gebruiken om voorspellende codering te realiseren, worden de volgende werklijsten van voorspellende codering -technologieën en TAR-protocollen zijn beschikbaar voor uw gebruik. Werklijsten over voorspellende coderingsworkflows en -toepassingen zijn ook opgenomen voor uw overweging, omdat ze helpen bepalen hoe de voorspellende coderingtechnologieën en TAR-protocollen worden geïmplementeerd en gebruikt.

Een werklijst van voorspellende coderingstechnologieën (1,2,3,4)

Samengevoegd van deskundigen op het gebied van elektronische ontdekking op basis van professionele publicaties en persoonlijke gesprekken, hieronder is een niet-allesomvattende werklijst van geïdentificeerde machine learning-technologieën die zijn toegepast of kunnen worden toegepast op de discipline van eDiscovery om voorspellende codering. Deze werklijst is ontworpen om een referentiepunt te vormen voor geïdentificeerde voorspellende codeertechnologieën en kan na verloop van tijd aanvullingen, aanpassingen en wijzigingen bevatten op basis van feedback van deskundigen en organisaties die deze mainstream technologieën toepassen en implementeren in hun specifieke eDiscovery platforms.

Vermeld in alfabetische volgorde

Actief leren: een proces, meestal iteratief, waarbij een algoritme wordt gebruikt om documenten te selecteren die moeten worden beoordeeld voor training op basis van een strategie om het classificatiealgoritme efficiënt te leren.

Decision Tree: Een stapsgewijze methode om onderscheid te maken tussen relevante en niet-relevante documenten, afhankelijk van welke combinatie van woorden (of andere kenmerken) ze bevatten. Een beslissingsboom om documenten met betrekking tot financiële derivaten te identificeren, zou eerst kunnen bepalen of een document het woord „swap” bevatte. Zo ja, dan zou de beslissingsboom kunnen bepalen of het document al dan niet „krediet” bevatte, enzovoort. Een Decision Tree kan worden gemaakt door middel van kennisengineering of machine learning.

K-dichtstbijzijnde Neighbor Classifier (K-nn): een classificatiealgoritme dat de k-voorbeelddocumenten analyseert die het meest lijken (het dichtst) op het document dat wordt geclassificeerd om de beste classificatie voor het document te bepalen. Als k te klein is (bijvoorbeeld k=1), kan het uiterst moeilijk zijn om een hoge terugroepactie te bereiken.

Latent Semantische Analyse (LSA): Een wiskundige weergave van documenten die sterk gecorreleerde woorden (d.w.z. woorden die vaak voorkomen in dezelfde documenten) behandelt als zijnde, in zekere zin, gelijkwaardig of uitwisselbaar. Deze equivalentie of uitwisselbaarheid kan algoritmen toestaan om documenten te identificeren als conceptueel vergelijkbaar, zelfs als ze niet dezelfde woorden gebruiken (bijvoorbeeld omdat synoniemen sterk gecorreleerd kunnen zijn), hoewel het ook mogelijk nuttige informatie weggooit en kan leiden tot ongewenste resultaten veroorzaakt door valse correlaties.

Logistieke regressie: Een state-of-the-art begeleide leeralgoritme voor machine learning dat de waarschijnlijkheid inschat dat een document relevant is, gebaseerd op de functies die het bevat. In tegenstelling tot het naïeve Bayes algoritme, identificeert Logistic Regression functies die onderscheid maken tussen relevante en niet-relevante documenten.

Naïeve Bayesian Classifier: Een systeem dat de waarschijnlijkheid onderzoekt dat elk woord in een nieuw document afkomstig is van het woord distributie afgeleid van een getraind responsief document of getrainde niet-responsieve documenten. Het systeem is naïef in de zin dat het veronderstelt dat alle woorden onafhankelijk van elkaar zijn.

Neural Network: Een Artificial Neural Network (ANN) is een computationeel model. Het is gebaseerd op de structuur en functies van biologische neurale netwerken. Het werkt zoals de manier waarop het menselijk brein informatie verwerkt. Het omvat een groot aantal aangesloten verwerkingseenheden die samenwerken om informatie te verwerken.

Probabilistic Latent Semantische Analysis (PLSA): Dit is qua geest vergelijkbaar met LSA, maar het maakt gebruik van een probabilistisch model om resultaten te bereiken die naar verwachting beter zullen zijn.

Willekeurige bossen: Een ensemble leermethode voor classificatie, regressie en andere taken, die werken door het construeren van een veelheid van beslissingsbomen op trainingstijd en het uitvoeren van de klasse die de modus is van de klassen (classificatie) of gemiddelde voorspelling (regressie) van de afzonderlijke bomen. Willekeurige beslissing bossen corrigeren voor beslissing bomen 'gewoonte om zich te passen aan hun training set.

Relevantie Feedback: Een actief leerproces waarbij de documenten met de grootste waarschijnlijkheid van relevantie door een mens worden gecodeerd en aan de trainingsset worden toegevoegd.

Ondersteuning Vector Machine: Een wiskundige benadering die een lijn probeert te vinden die responsive scheidt van niet-responsieve documenten, zodat, idealiter, alle responsieve documenten zich aan de ene kant van de lijn bevinden en alle niet-responsieve documenten zich aan de andere kant bevinden.

Algemene TAR-protocollen (5,6,7,8,9,10)

Bovendien worden deze technologieën over het algemeen gebruikt als onderdeel van een TAR-protocol dat bepaalt hoe de technologieën worden gebruikt. Voorbeelden van TAR-protocollen zijn:

Vermeld in alfabetische volgorde

Continuous Active Learning® (CAL®): In CAL®, de TAR-methode ontwikkeld, gebruikt en bepleit door Maura R. Grossman en Gordon V. Cormack, selecteert de cursist herhaaldelijk de op één na meest waarschijnlijke relevante documenten (die nog niet in aanmerking zijn genomen) voor beoordeling, codering en training, en blijft dit doen totdat het geen relevantere documenten meer kan vinden. Er is over het algemeen geen tweede beoordeling omdat, tegen de tijd dat de cursist stopt met leren, alle documenten die relevant worden geacht door de cursist al zijn geïdentificeerd en handmatig zijn beoordeeld.

Hybride multimodale methode: een aanpak ontwikkeld door het e-Discovery Team (Ralph Losey) die alle soorten zoekmethoden omvat, waarbij primair afhankelijk is van voorspellende codering en het gebruik van hoogwaardige documenten voor continue actieve training.

Scalable Continuous Active Learning (S-CAL): Het essentiële verschil tussen S-CAL en CAL® is dat voor S-CAL slechts een eindige steekproef van documenten uit elke opeenvolgende batch wordt geselecteerd voor labeling, en het proces wordt voortgezet totdat de verzameling, of een groot willekeurig voorbeeld van de collectie, is uitgeput. Samen vormen de eindige monsters een gestratificeerde steekproef van de documentenpopulatie, waaruit een statistische schatting van ρ kan worden afgeleid.

Simple Active Learning (SAL): In SAL-methoden selecteert de cursist na de initiële trainingsset de documenten die door de docent moeten worden beoordeeld en gecodeerd en gebruikt als trainingsvoorbeelden, en blijft hij voorbeelden selecteren totdat deze voldoende is opgeleid. Doorgaans zijn de documenten die de cursist kiest die waarvan de cursist het minst zeker is en waarvan de cursist het meest zal leren. Eenmaal voldoende getraind, wordt de cursist gebruikt om elk document in de collectie te labelen. Net als bij SPL worden de documenten die als relevant worden gelabeld, over het algemeen handmatig opnieuw beoordeeld.

Simple Passive Learning (SPL): In eenvoudige passieve leermethoden („SPL”) selecteert de docent (d.w.z. menselijke operator) de documenten die als trainingsvoorbeelden moeten worden gebruikt; de leerling wordt getraind met behulp van deze voorbeelden, en zodra voldoende getraind, wordt gebruikt om elk document in de collectie als relevant of niet-- relevant. Over het algemeen worden de documenten die door de cursist als relevant worden bestempeld, handmatig opnieuw beoordeeld. Deze handmatige beoordeling vertegenwoordigt een klein deel van de collectie, en dus een klein deel van de tijd en kosten van een uitputtende handmatige beoordeling.

TAR-werkstromen (11)

TAR-workflows vertegenwoordigen de praktische toepassing van voorspellende coderingtechnologieën en -protocollen om benaderingen te definiëren voor het voltooien van voorspellende coderingstaken. Drie voorbeelden van TAR-workflows zijn:

TAR 1.0 omvat een trainingsfase gevolgd door een beoordelingsfase waarbij een controleset wordt gebruikt om het optimale punt te bepalen waarop u moet overschakelen van training naar beoordeling. Het systeem leert niet meer wanneer de trainingsfase is voltooid. De controleset is een willekeurige reeks documenten die zijn beoordeeld en gemarkeerd als relevant of niet-relevant. De controleset documenten worden niet gebruikt om het systeem te trainen. Ze worden gebruikt om de voorspellingen van het systeem te beoordelen, zodat training kan worden beëindigd wanneer de voordelen van aanvullende training niet langer opwegen tegen de kosten van aanvullende training. Training kan bestaan uit willekeurig geselecteerde documenten, bekend als Simple Passive Learning (SPL), of het kan gaan om documenten die door het systeem zijn gekozen om de leerefficiëntie te optimaliseren, bekend als Simple Active Learning (SAL).

TAR 2.0 gebruikt een benadering die Continuous Active Learning® (CAL®) wordt genoemd, wat betekent dat er geen scheiding is tussen training en beoordeling — het systeem blijft overal leren. Hoewel veel benaderingen kunnen worden gebruikt om documenten te selecteren voor beoordeling, is een belangrijk onderdeel van CAL® veel herhalingen van het voorspellen van welke documenten het meest waarschijnlijk relevant zijn, deze te herzien en de voorspellingen bij te werken. In tegenstelling tot TAR 1.0, heeft TAR 2.0 de neiging zeer efficiënt te zijn, zelfs als de prevalentie laag is. Aangezien er geen scheiding is tussen training en beoordeling, vereist TAR 2.0 geen besturingsset. Het genereren van een controleset kan gepaard gaan met het herzien van een groot (vooral wanneer de prevalentie laag is) aantal niet-relevante documenten, dus het vermijden van controlesets is wenselijk.

TAR 3.0 vereist een hoogwaardig conceptueel clusteralgoritme dat nauw gerichte clusters van vaste grootte vormt in conceptruimte. Het past de TAR 2.0-methodologie toe op alleen de clustercentra, wat ervoor zorgt dat een uiteenlopende set van potentieel relevante documenten wordt beoordeeld. Zodra er geen relevante clustercentra meer zijn gevonden, worden de beoordeelde clustercentra gebruikt als trainingsdocumenten om voorspellingen te doen voor de volledige documentpopulatie. Er is geen besturingsset nodig: het systeem is goed getraind wanneer er geen extra relevante clustercentra kunnen worden gevonden. Analyse van de clustercentra die werden beoordeeld, geeft een schatting van de prevalentie en het aantal niet-relevante documenten dat zou worden geproduceerd als documenten uitsluitend werden geproduceerd op basis van de voorspellingen zonder menselijke beoordeling. De gebruiker kan besluiten om documenten te produceren (niet geïdentificeerd als potentieel geprivilegieerd) zonder beoordeling, vergelijkbaar met SAL van TAR 1.0 (maar zonder controleset), of hij/zij kan besluiten om documenten te bekijken die te veel risico hebben om niet relevant te zijn (die kunnen worden gebruikt als aanvullende training voor het systeem, d.w.z. CAL®). Het belangrijkste punt is dat de gebruiker de informatie heeft die hij/zij nodig heeft om een beslissing te nemen over hoe verder te gaan na het voltooien van de beoordeling van de clustercentra die waarschijnlijk relevant zijn, en niets gedaan voordat dat punt wordt ongeldig gemaakt door de beslissing (vergeleken met het starten van TAR 1.0, het controleren van een controleset, het vinden van dat de voorspellingen niet goed genoeg zijn om documenten te produceren zonder controle, en vervolgens over te schakelen naar TAR 2.0, waardoor de besturingsset vrijwel nutteloos wordt).

TAR Gebruik (12)

TAR-technologieën, -protocollen en -workflows kunnen effectief worden gebruikt om eDiscovery-professionals te helpen veel taken op het gebied van gegevensdetectie en juridische detectie uit te voeren. Negen algemeen beschouwde voorbeelden van TAR-gebruik zijn:

Identificatie van relevante documenten

Early Case Assessment/Onderzoek

Prioritering voor beoordeling

Categorisatie (per problemen, voor vertrouwelijkheid of privacy)

Privilege beoordeling

Kwaliteitscontrole en kwaliteitsborging

Herziening van inkomende producties

Voorbereiding van verwijdering/proefversie

Informatiebeheer en gegevensverwerking

Enquête-informatie (13,14,15,16,17,18, 19, 20)

Referenties

(1) Grossman, M. en Cormack, G. (2013). De Grossman-Cormack woordenlijst van Technology-Assisted Review. [ebook] Federale rechtbanken Review. Beschikbaar op: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Toegang tot 31 augustus 2018].

(2) Dimm, B. (2018). Expertise op voorspellende codering. [e-mail].

(3) Roitblat, H. (2013). Inleiding tot voorspellende codering. [ebook] OrcaTec. Beschikbaar op: 31 aug. 2018].

(4) Tredennick, J. en Pickens, J. (2017). Deep Learning in E-Discovery: Voorbij de hype. [online] CatalystSecure.com. Beschikbaar op: 31 aug. 2018].

(5) Grossman, M. en Cormack, G. (2017). Technology-Assisted Review in Electronic Discovery [ebook] Beschikbaar op: 31 aug. 2018].

(6) Grossman, M. en Cormack, G. (2016). Continu actief leren voor TAR. [ebook] Praktische wet. Beschikbaar op: 31 aug. 2018].

(7) Grossman, M. en Cormack, G. (2016). Schaalbaarheid van continu actief leren voor betrouwbare High-Recall Text Classification. [ebook] Beschikbaar op: 3 september 2018].

(8) Losey, R., Sullivan, J. en Reichenberger, T. (2015). e-Discovery Team bij TREC 2015 Total Recall Track. [ebook] Beschikbaar op: 1 september 2018].

(9) „Continu actief leren handelsmerk van Maura Grossman en Gordon V. Cormack — registratienummer 5876987 — serienummer 86634255። Justia Handelsmerken”. Handelsmerken.Justia.com, 2020, 12 februari 2020].

(10) „CAL Handelsmerk van Maura Grossman En Gordon V. Cormack — Registratienummer 5876988 — Serienummer 86634265። Justia Handelsmerken”. Handelsmerken.Justia.com, 2020, 12 februari 2020].

(11) Dimm, B. (2016), TAR 3.0 Prestaties. [online] Clustify Blog — eDiscovery, Documentclustering, voorspellende codering, informatie ophalen en softwareontwikkeling. Beschikbaar op: 18 feb. 2019].

(12) Elektronisch Discovery Reference Model (EDRM) (2019). Richtlijnen voor technologische ondersteuning (TAR) [online] Beschikbaar op: 18 Feb. 2019].

(13) Dimm, B. (2018). TAR, evenredigheid en slechte algoritmen (1-NN). [online] Clustify Blog — eDiscovery, Documentclustering, voorspellende codering, informatie ophalen en softwareontwikkeling. Beschikbaar op: 31 aug. 2018].

(14) Robinson, R. (2013). Resultaten: Predictive Coding One Question Provider Implementation Survey. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 aug. 2018].

(15) Robinson, R. (2018). Een hardlooplijst: Top 100+ eDiscovery Providers. [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 31 aug. 2018].

(16) Robinson, R. (2018) Relatief gesproken: Predictive Coding Technologies en Protocollen Survey Results [online] ComplexDiscovery: eDiscovery Information. Beschikbaar op: 18 feb. 2019].

(17) Robinson, R. (2019) Actief leren? Voorspellende codeertechnologieën en protocollen enquêteresultaten [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: 22 aug. 2019]

(18) Robinson, R. (2019) Van platforms naar workflows: Survey met voorspellende coderingstechnologieën en protocollen — Herfst 2019 Resultaten [online] ComplexDiscovery: eDiscovery Information. Beschikbaar op: 12 feb 2020].

(19) Robinson, R. (2020) Is het allemaal relatief? Voorspellende codering technologieën en protocollen Survey - Voorjaarsresultaten [online] ComplexDiscovery: eDiscovery Informatie. Beschikbaar op: [Toegang tot 7 augustus 2020].

(20) Robinson, R. (2020) Casting een breder net? Onderzoek naar voorspellende coderingstechnologieën en protocollen — herfst 2020 [online] ComplexDiscovery: eDiscovery Informatie Beschikbaar op: 5 februari 2021].

Klik hier voor specifieke toevoegingen, correcties en updates.

* Respondenten voor voorspellende codering: zes enquêtes

0 — Respondenten met voorspellende codering (individueel en geaggregeerd) — Zes enquêtes

Bron: complexDiscovery

Eerste juridische verwerft Redpoint Technologies van eDiscovery Provider

According to Alex Martinez, CEO of First Legal, “Both First Legal...

Veristar verwerft Planetgegevens

According to Veristar company founder, CEO, and president Rick Avers, “We...

Questel verwerft DoeleGal

doeLEGAL today announced that it has been acquired by intellectual property...

Volg je het geld? Mike Bryant biedt een SOLID blik op de fusie en overname van juridische technologie

From seed and venture capital investments to private equity and Special...

A New Era in eDiscovery? Framing Market Growth Through the Lens of Six Eras

There are many excellent resources for considering chronological and historiographical approaches...

Een eDiscovery Market Size Mashup: 2020-2025 Wereldwijd overzicht van software en services

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

De basislijn resetten? EDiscovery Marktgrootte aanpassingen voor 2020

An unanticipated pandemeconomic-driven retraction in eDiscovery spending during 2020 has resulted...

Thuis of weg? eDiscovery Collection Market Overwegingen voor afmetingen en prijzen

One of the key home (onsite) or away (remote) decisions that...

Vijf geweldige lezingen op eDiscovery voor februari 2021

From litigation trends and legal tech investing to facial recognition and...

Vijf geweldige lezingen op eDiscovery voor januari 2021

From eDiscovery business confidence and operational metrics to merger and acquisition...

Vijf geweldige lezingen op eDiscovery voor december 2020

May the peace and joy of the holiday season be with...

Vijf geweldige lezingen op eDiscovery voor november 2020

From market sizing and cyber law to industry investments and customer...

HayStackID herkend in IDC MarketScape voor eDiscovery Services

According to HaystackID CEO Hal Brooks, “We are proud to once...

Een generatieweergave van externe beveiliging? HayStackID™ brengt 3.0 beveiligingsverbeteringen uit om technologie te beoordelen

According to HaystackID's Senior Vice President and General Manager for Review...

Slechts een kwestie van tijd? HayStackID lanceert nieuwe service voor detectie en beoordeling van datalekken

According to HaystackID's Chief Innovation Officer and President of Global Investigations,...

Het is een Match! Focus op de totale kosten van eDiscovery Review met ReviewRight Match

As a leader in remote legal document review, HaystackID provides clients...

Koud weer Catch? Onderzoek naar voorspellende coderingstechnologieën en protocollen — Resultaten voorjaar 2021

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual...

Kom je uit het bos? Achttien observaties over eDiscovery Bedrijfsvertrouwen in de winter van 2021

In the winter of 2021, 85.0% of eDiscovery Business Confidence Survey...

Problemen die van invloed zijn op de bedrijfsprestaties van eDiscovery: een overzicht

In the winter of 2021, 43.3% of respondents viewed budgetary constraints...

Niet zo uitmuntend? Operationele statistieken van eDiscovery in de winter van 2021

In the winter of 2021, eDiscovery Business Confidence Survey more...