Kas see kõik on suhteline? Ennustavate kodeerimistehnoloogiate ja protokollide uuring — 2020. aasta kevad tulemused

The Predictive Coding Technologies and Protocols Survey is a non-scientific survey designed to help provide a general understanding of the use of predictive coding technologies, protocols, and workflows by data discovery and legal discovery professionals within the eDiscovery ecosystem.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Toimetaja märkus: See on neljas ennustav kodeerimine ja tehnoloogiad ja protokollid uuring ComplexDiscovery. Algatatud sügisel 2018 ja värskendatakse pool aastas, see iteratsioon küsitluse oli 63 andmed ja juriidiline avastus spetsialistid jagavad oma mõistmist ja kogemusi osana nelja küsimuse uuring. Allpool on toodud 2020. aasta kevadise uuringu tulemused lootuses, et üldised mitteteaduslikud uuringutulemused võivad aidata e-juurdluse spetsialistidel, kui nad kaaluvad ennustavaid kodeerimisplatvorme, tehnoloogiaid, protokolle, töövooge ja kasutusviise.

Ennustavate kodeerimistehnoloogiate ja protokollide kevadine 2020 uuring

Ennustavate kodeerimistehnoloogiate ja protokollide uuring on mitteteaduslik uuring, mille eesmärk on pakkuda üldist arusaamist ennustavate kodeerimistehnoloogiate, protokollide ja töövoogude kasutamisest e-juurdluse ökosüsteemis andmete avastamise ja juriidilise avastamise spetsialistide poolt. Kevadine 2020. aasta uuring oli avatud 10. veebruarist 2020 kuni 12. veebruarini 2020, kus üksikisikud kutsusid osalema otse ComplexDiscovery.

Uuringu eesmärk oli anda üldine arusaam ennustavatest kodeerimistehnoloogiatest ja protokollidest, oli küsitlusel kaks peamist hariduslikku eesmärki:

Võimalike prognoositavate kodeerimistehnoloogia, protokolli ja töövoo definitsioonide konsolideeritud loetelu esitamiseks. Kuigi see ei ole kõikehõlmav või terviklik, kontrolliti nimekirja valitud tööstuse ennustavaid kodeerimiseksperte täielikkuse ja täpsuse osas, seega näib see olevat kasumlik kasutamiseks hariduslikes jõupingutustes.

Küsi e-juurdluse ökosüsteemi spetsialistidelt oma eelistuste kohta seoses ennustavate kodeerimisplatvormide, tehnoloogiate, protokollide, töövoogude ja kasutusvaldkondadega.

Uuring pakkus vastajatele võimalust pakkuda ennustavat kodeerimise taustateavet, sealhulgas nende esmast ennustavat kodeerimisplatvormi, samuti esitas vastajatele neli konkreetset küsimust. Need küsimused on järgmised:

Milliseid ennustavaid kodeerimistehnoloogiaid kasutab teie e-juurdluse platvorm?

Milliseid tehnoloogiaabistavaid läbivaatamise protokolle kasutatakse ennustava kodeerimise kohaletoimetamisel?

Mis on esmane tehnoloogiaabistav läbivaatuse töövoog, mida kasutatakse teie ennustava kodeerimise kohaletoimetamisel?

Millised on valdkonnad, kus te kasutate tehnoloogiaabistavaid läbivaatustehnoloogiaid, protokolle ja töövooge?

12. veebruaril 2020 suletud, 2020. aasta kevadise küsitluse käigus oli 63 vastajat.

Peamised tulemused ja vaatlused

Esmane ennustav kodeerimisplatvorm (tabel 1)

90,47% vastajatest teatas, et neil on vähemalt üks primaarne platvorm ennustavaks kodeerimiseks.

Seal oli 20 erinevat platvormi, mida kirjeldati esmase ennustava kodeerimisplatvormina vastajad.

Relatiivsust teatas esmase ennustava kodeerimisplatvormina 38,10% uuringus reageerijatest.

Kaks esimest platvormi teatati esmase ennustava kodeerimisplatvormina 53.97% uuringu reageerijatest.

9,52% reageerijatest teatas, et neil ei olnud ennustatava kodeerimise esmast platvormi.

Ennustav kodeerimine tehnoloogia tööhõive (tabel 2)

Kõiki loetletud ennustavaid kodeerimistehnoloogiaid teatati, et neid kasutasid vähemalt üks küsitluse reageerija.

Aktiivset õppimist kirjeldati kui enim kasutatavat ennustavat kodeerimistehnoloogiat, kusjuures 85,71% reageerijatest kasutas seda oma ennustavates kodeerimistöödes.

34,92% reageerijatest teatas oma ennustava kodeerimise jõupingutustes ainult üht ennustavat kodeerimistehnoloogiat kasutamast.

57,14% reageerijatest teatas, et kasutas rohkem kui ühte ennustavat kodeerimistehnoloogiat oma ennustavates kodeerimistöödes.

7,94% vastajatest ei teatanud, kasutades konkreetset ennustavat kodeerimistehnoloogiat.

Tehnoloogia-abistav läbivaatamise protokolli tööhõive (tabel 3)

Kõik loetletud tehnoloogiaabistavad protokollid ennustava kodeerimise jaoks teatati, et neid kasutasid vähemalt üks küsitlusele reageerija.

Pidev aktiivne Learning® (CAL®) kirjeldati kui enim kasutatav ennustav kodeerimisprotokoll 90,48% reageerijatest, kes kasutasid seda oma ennustavas kodeerimises.

57,14% reageerijatest teatas oma ennustavates kodeerimistöödes ainult üht ennustavat kodeerimisprotokolli kasutamisest.

41,27% reageerijatest teatas, et kasutas rohkem kui ühte ennustavat kodeerimisprotokolli oma ennustavates kodeerimistöödes.

1,59% reageerijatest teatas, et ei kasutata ühtegi ennustavat kodeerimisprotokolli.

Tehnoloogiaabistav ülevaate töövoo tööhõive (tabel 4)

73,02% reageerijatest teatas, et kasutas tehnoloogiaabistavat läbivaatamist (TAR) 2.0 esmase töövoona ennustava kodeerimise kohaletoimetamisel.

7,94% reageerijatest teatas TAR 1.0 kasutamisel ja 9,52% reageerijatest, kes kasutasid TARR 3.0 esmase töövoona ennustava kodeerimise kohaletoimetamisel.

9,52% vastajatest ei teatanud, kasutades TAR 1.0, TAR 2.0 või TAR 3.0 esmase töövoona prognoositava kodeerimise kohaletoimetamisel.

Tehnoloogiaabistavate läbivaatamise kasutusviisid (tabel 5)

93,65% vastajatest teatas, et kasutas tehnoloogiaabistavat läbivaatamist rohkem kui ühes andmete ja seadusliku avastuse valdkonnas.

96,83% vastajatest teatas asjakohaste dokumentide identifitseerimiseks tehnoloogiaabistavat läbivaatamist.

14,29% reageerijatest teatas, et kasutas infohalduse ja andmete levitamise tehnoloogiaabistavat ülevaadet.

Ennustav kodeerimise tehnoloogia ja protokolli uuringu reageerija ülevaade (tabel 6)

41,27% vastajatest olid advokaadibüroodest.

38,10% vastajatest olid pärit tarkvara- või teenusepakkujate organisatsioonidest.

Ülejäänud 20,63% vastajatest kuulusid kas konsultatsiooni (14,29%), korporatsiooni (4,76%), valitsuse (0%) või muu üksuse liigi (1,59%).

Uuringu diagrammid

(Diagramme saab üksikasjaliku vaatamise jaoks laiendada.)

Tabel 1: Primaarse ennustava kodeerimisplatvormi nimi

1-Primaar-ennustav-kodeerimise-Platform-Spring-2020

2. tabel: Milliseid ennustavaid kodeerimistehnoloogiaid kasutab teie e-juurdluse platvorm?

2-Ennustav-kodeerimine-Technology Kasutatud-Spring-2020

Tabel 3: Milline tehnoloogia abistab läbivaatamise protokollid on kasutatud teie kohaletoimetamise ennustav kodeerimine?

3-tehnoloogia-abistatav läbivaatamine - Protokolli-kasutatud kevad-2020

4. diagramm: Mis on esmane tehnoloogiaabistav läbivaatamise töövoog, mida kasutatakse ennustava kodeerimise kohaletoimetamisel?

4-tehnoloogia-abistatav ülevaate-Workflow-Usage-Kevad-2020

5. diagramm: Millised on valdkonnad, kus kasutate tehnoloogiaabistavaid läbivaatustehnoloogiaid, protokolle ja töövooge?

5-tehnoloogia-abistatav läbivaatamine - kevad-2020

6. tabel: Uuringu vastaja ülevaade

6-prognoositavad-kodeerimise-tehnoloogiad-ja-protokollid-uuringu-ülevaatus-kevad-2020

Ennustav kodeerimise tehnoloogiad ja protokollid (Survey Backgrounder)

Nagu on määratletud jaotises The Grossman-Cormack Sõnastik of Technology Assisted Review (1), on ennustav kodeerimine valdkonnaspetsiifiline termin, mida üldiselt kasutatakse tehnoloogiaabistava läbivaatamise protsessi kirjeldamiseks, milles kasutatakse masinõppe algoritmi, et eristada asjakohaseid mitteasjakohaseid dokumente, mis põhinevad teemal küsimus eksperdi kodeerimine koolituse kogum dokumente. See ennustava kodeerimise definitsioon annab algtaseme kirjelduse, mis tuvastab ühe konkreetse funktsiooni, mida üldtunnustatud masinõppe algoritmide üldkogum võib kasutada tehnoloogiaabistavas ülevaates (TAR).

Tänapäeval kasvava teadlikkuse ja ennustava kodeerimise kasutamisega õiguslikul areenil tundub, et elektroonilise avastamise spetsialistide jaoks on üha olulisem üldine arusaam tehnoloogiatest, mida võidakse rakendada elektroonilistes avastusplatvormides, et hõlbustada ennustavat kodeerimist elektrooniliselt salvestatud informatsiooni. See üldine arusaam on oluline, kuna igal potentsiaalsel algoritmilisel lähenemisel on efektiivsuse eelised ja puudused, mis võivad mõjutada ennustava kodeerimise efektiivsust ja efektiivsust.

Selleks, et aidata arendada seda üldist arusaamist ennustavatest kodeerimistehnoloogiatest ja anda elektroonilise tuvastuse pakkujatele võimalus jagada tehnoloogiaid ja protokolle, mida nad kasutavad oma platvormidel ennustava kodeerimise saavutamiseks, järgnevad prognoositava kodeerimise tööloendid tehnoloogiad ja TAR-protokollid on ette nähtud teie kasutamiseks. Prognoositavate kodeerimistöövoogude ja -kasutusviiside tööloendid on samuti teie jaoks kaasatud, kuna need aitavad määratleda ennustavate kodeerimistehnoloogiate ja TAR-protokollide rakendamist ja kasutamist.

Ennustavate kodeerimistehnoloogiate tööloend (1,2,3,4)

Ametialaste väljaannete ja isiklike vestluste põhjal koondatud elektroonilise avastuse ekspertidelt on toodud allpool mittekõikehõlmav töönimekiri tuvastatud masinõppe tehnoloogiatest, mida on rakendatud või mida on võimalik rakendada e-juurdluse distsipliini suhtes, et hõlbustada ennustav kodeerimine. See tööloend on loodud selleks, et pakkuda tuvastatud ennustavate kodeerimistehnoloogiate võrdluspunkti ning võib aja jooksul sisaldada täiendusi, kohandusi ja muudatusi, mis põhinevad ekspertide ja organisatsioonide tagasisidel, kes rakendavad ja rakendavad neid peavoolu tehnoloogiaid oma konkreetsetel e-juurdluse platvormidel.

Loetletud tähestikulises järjekorras

Aktiivne õpe: protsess, mis on tavaliselt iteratiivne, mille abil kasutatakse dokumentide valimiseks algoritmi, mida tuleks koolituseks läbi vaadata strateegia alusel, mis aitab klassifitseerimisalgoritmil tõhusalt õppida.

Otsustuspuu: samm-sammult meetod, mis eristab asjakohaseid ja mitteasjakohaseid dokumente, sõltuvalt sellest, millist sõnade kombinatsiooni (või muid funktsioone) need sisaldavad. Tuletisinstrumentidega seotud dokumentide kindlakstegemise otsustuspuu võib kõigepealt kindlaks teha, kas dokument sisaldas sõna „swap” või mitte. Kui ta seda tegi, otsustuspuu võib siis otsustada, kas dokument sisaldas „krediidi”, ja nii edasi. Otsustuspuu võib luua kas teadmistetehnika või masinõppe kaudu.

K-lähima naabri klassifikaator (K-nn): klassifitseerimisalgoritm, mis analüüsib k näitedokumente, mis on klassifitseeritavale dokumendile kõige sarnasemad (lähimad), et määrata kindlaks dokumendi parim klassifikatsioon. Kui k on liiga väike (nt k=1), võib suure tagasikutsumise saavutamine olla äärmiselt raske.

Latentne semantiline analüüs (LSA): dokumentide matemaatiline esitus, mis käsitleb kõrgelt korrelatsioonisõnu (st sõnu, mis kipuvad esinema samades dokumentides) olevana, mõnes mõttes, samaväärsed või vahetatavad. See ekvivalentsus või vahetatatavus võimaldab algoritmidel tuvastada dokumente kontseptuaalselt sarnasena ka siis, kui nad ei kasuta samu sõnu (nt kuna sünonüümid võivad olla väga korrelatsioonis), kuigi see kõrvaldab ka mõne potentsiaalselt kasuliku teabe ja võib põhjustada soovimatuid tulemusi, mis on põhjustatud viletsad korrelatsioonid.

Logistiline regressioon: state-of-the-art juhendatud õppimisalgoritm masinõppe jaoks, mis hindab dokumendi asjakohasuse tõenäosust, mis põhineb selles sisalduvatel funktsioonidel. Erinevalt Naïve Bayesi algoritmist tuvastab logistiline regressioon funktsioone, mis diskrimineerivad asjakohaseid ja mitteasjakohaseid dokumente.

Naïve Bayesian klassifikaator: süsteem, mis uurib tõenäosust, et iga sõna uues dokumendis pärineb sõnajaotusest, mis on saadud koolitatud reageerivast dokumendist või koolitatud mittereageerivatest dokumentidest. Süsteem on naiivne selles mõttes, et ta eeldab, et kõik sõnad on üksteisest sõltumatud.

Neuraalvõrk: kunstlik närvivõrk (ANN) on arvutuslik mudel. See põhineb bioloogiliste närvivõrkude struktuuril ja funktsioonidel. See toimib nagu see, kuidas inimese aju töötleb informatsiooni. See sisaldab suurt hulka ühendatud töötlemisüksusi, mis töötavad koos teabe töötlemiseks.

Tõenäosuslik latentne semantiline analüüs (PLSA): see sarnaneb vaimus LSA-ga, kuid kasutab tõenäosuslikku mudelit, et saavutada tulemusi, mis eeldatavasti paremad.

Juhuslikud metsad: ansambli õppemeetod klassifitseerimiseks, regressiooniks ja muudeks ülesanneteks, mis toimivad koolituse ajal hulga otsustuspuude ehitamisel ja üksikute puude klasside režiimiks (klassifikatsioon) või keskmine ennustamine (regressioon). Juhuslik otsus metsade õige otsuse puud „harjumus liialdama oma koolituse komplekt.

Asjakohasuse tagasiside: aktiivne õppeprotsess, mille puhul suurima asjakohasuse tõenäosusega dokumendid kodeeritakse inimese poolt ja lisatakse koolituskomplekti.

Support Vector Machine: Matemaatiline lähenemine, mis püüab leida rida, mis eraldab tundlik mittereageerivate dokumentide nii, et ideaalis kõik reageerivad dokumendid on ühel pool rida ja kõik mittereageerivad need on teisel pool.

Üldised TAR-protokollid (5,6,7,8,9,10)

Lisaks kasutatakse neid tehnoloogiaid üldjuhul TAR-protokolli osana, mis määrab, kuidas tehnoloogiaid kasutatakse. TAR-protokollide näideteks on:

Loetletud tähestikulises järjekorras

Pidev aktiivne Learning® (CAL®): MAURA R. Grossmani ja Gordon V. Cormacki väljatöötatud, kasutatud ja propageeritud TAR-meetod valib õppija pärast esialgset koolitust korduvalt järgmised kõige tõenäolisemalt asjakohased dokumendid (mida pole veel kaalutud) läbivaatamiseks, kodeerimiseks ja koolituseks, ja jätkab seda seni, kuni ta ei leia enam asjakohaseid dokumente. Üldjuhul ei toimu teist ülevaadet, sest selleks ajaks, kui õppija lõpetab õppimise, on kõik õppija poolt asjakohaseks peetavad dokumendid juba tuvastatud ja käsitsi läbi vaadatud.

Hübriidne multimodaalne meetod: E-Discovery Team (Ralph Losey) väljatöötatud lähenemine, mis hõlmab kõiki otsingumeetodeid, kusjuures esmane tuginemine ennustavale kodeerimisele ja kõrgetasemeliste dokumentide kasutamisele pidevaks aktiivseks koolituseks.

Skaleeritav pidev aktiivne õpe (S-CAL): S-CAL ja CAL® oluline erinevus seisneb selles, et S-CALi puhul valitakse märgistamiseks ainult iga järjestikuse partii dokumentide lõplik näidis ja protsess jätkub kuni kogumise või suure juhusliku kogumise valim on ammendatud. Üheskoos moodustavad piiritletud valimid dokumendi populatsioonist stratifitseeritud valimi, millest võib tuletada statistiline hinnang ρ.

Simple Active Learning (SAL): SAL-meetodites valib õpilane pärast esialgset koolituskomplekti dokumendid, mida õpetaja läbivaatavad ja kodeerivad ning mida kasutatakse koolitusnäidetena ning jätkab näidete valimist, kuni see on piisavalt koolitatud. Tavaliselt on õppija poolt valitud dokumendid need, mille kohta õppija on kõige vähem kindel ja millest see õpib kõige rohkem. Pärast piisava väljaõppe tegemist kasutatakse õppijat iga kogumikus oleva dokumendi märgistamiseks. Nagu SPL-i puhul, vaadatakse asjakohasteks märgistatud dokumendid üldiselt käsitsi uuesti läbi.

Lihtne passiivne õppimine (SPL): Lihtsates passiivsetes õppimismeetodites valib õpetaja (st inimoperaator) koolitusnäidetena kasutatavad dokumendid; õppijat koolitatakse neid näiteid kasutades ja kui piisavalt koolitatud, kasutatakse iga dokumendi märgistamiseks kollektsioonis asjakohaste või mitte- asjakohased. Üldiselt vaadatakse õppija poolt asjakohaseks märgistatud dokumendid käsitsi uuesti läbi. Käesolev käsitsi läbivaatamine kujutab endast väikest osa kogust ja seega väikest osa ammendava käsitsi läbivaatamise ajast ja maksumusest.

TAR töövood (11)

TAR töövood kujutavad endast ennustavate kodeerimistehnoloogiate ja protokollide praktilist rakendamist, et määratleda lähenemisviise ennustavate kodeerimisülesannete täitmisele. Kolm näidet TAR töövoogude hulka kuuluvad:

TAR 1.0 hõlmab koolitusfaasi, millele järgneb läbivaatamise faas, kusjuures kontrollseadet kasutatakse optimaalse punkti määramiseks, millal peaksite koolituselt üle vaatama. Süsteem ei õpi enam pärast treeningufaasi lõpetamist. Kontrollkomplekt on juhuslik dokumentide kogum, mis on läbi vaadatud ja märgistatud asjakohaseks või mitteasjakohaseks. Juhtimiskomplekti dokumente ei kasutata süsteemi koolitamiseks. Neid kasutatakse süsteemi prognooside hindamiseks, nii et koolituse saab lõpetada, kui täiendkoolitusest saadav kasu ei ületa enam lisakoolituse kulusid. Koolitus võib toimuda juhuslikult valitud dokumentidega, mida tuntakse lihtsa passiivse õppe (SPL) nime all, või see võib hõlmata dokumente, mis on valitud süsteemi poolt õppimise efektiivsuse optimeerimiseks (Simple Active Learning (SAL).

TAR 2.0 kasutab lähenemist nimega Continuble Active Learning® (CAL®), mis tähendab, et koolituse ja läbivaatamise vahel ei ole eraldatud — süsteem jätkab õppimist kogu aeg. Kuigi dokumentide valimiseks võidakse kasutada mitmeid lähenemisviise, on CAL® oluliseks komponendiks palju iteratsioone, mis prognoosivad, millised dokumendid on kõige tõenäolisemalt asjakohased, nende läbivaatamine ja prognooside ajakohastamine. Erinevalt TAR 1,0-st kipub TAR 2.0 olema väga tõhus ka siis, kui levimus on madal. Kuna koolituse ja ülevaatuse vahel ei ole eraldatust, ei vaja TAR 2.0 kontrollkomplekti. Juhtelemendi genereerimine võib hõlmata suure (eriti kui levimus on väike) hulga mitteasjakohaste dokumentide läbivaatamist, seega on soovitav vältida kontrollkomplekte.

TAR 3.0 vajab kvaliteetset kontseptuaalset klasterdumisalgoritmi, mis moodustab mõiste ruumis kitsalt fokuseeritud fikseeritud suurusega klastreid. See rakendab TAR 2.0 metoodikat ainult klastri keskustele, mis tagab, et mitmekülgne potentsiaalselt asjakohaste dokumentide kogum vaadatakse läbi. Kui asjakohasemaid klastrikeskusi ei leidu, kasutatakse ülevaatatud klastrikeskusi koolitusdokumentidena, et teha ennustusi kogu dokumendi populatsiooni kohta. Juhtimiskomplekti pole vaja — süsteem on hästi koolitatud, kui täiendavaid asjakohaseid klastrikeskusi ei leia. Analüüs klastri keskused, mis vaadati läbi, annab hinnangu levimus ja mitmeid mitteasjakohaseid dokumente, mis oleks toodetud, kui dokumendid on toodetud põhineb puhtalt ennustused ilma inimese läbivaatamise. Kasutaja saab otsustada koostada dokumente (mis ei ole identifitseeritud potentsiaalselt privilegeeritud) ilma läbivaatamiseta, sarnaselt TAR 1.0-ga (kuid ilma kontrollkomplektita), või ta saab otsustada läbi vaadata dokumente, millel on liiga suur oht, et need ei ole asjakohased (mida saab kasutada süsteemi täiendavaks koolituseks, st CAL®). Oluline on see, et kasutajal on teave, mida ta peab tegema otsuse selle kohta, kuidas jätkata pärast klastri keskuste läbivaatamist, mis on tõenäoliselt asjakohased, ja midagi ei tehta enne, kui see punkt muutub kehtetuks otsuse (võrrelda alustades TAR 1.0, kontrollikomplekti ülevaatamine, leidmine , et prognoosid ei ole piisavalt head dokumentide koostamiseks ilma läbivaatamiseta ja seejärel lülitub üle TAR 2.0, mis muudab juhtelemendi komplekti praktiliselt kasutuks).

TAR kasutusalad (12)

TAR-tehnoloogiaid, protokolle ja töövooge saab tõhusalt kasutada selleks, et aidata e-juurdluse spetsialistidel täita paljusid andmetuvastus- ja juriidilisi tuvastustoiminguid. Üheksa levinud näiteid TAR kasutamise kohta on järgmised:

Asjaomaste dokumentide identifitseerimine

Varajane juhtumi hindamine/uurimine

Läbivaatamise prioriteediks määramine

Kategoriseerimine (küsimuste, konfidentsiaalsuse või privaatsuse järgi)

Privilege läbivaatamine

Kvaliteedikontroll ja kvaliteedi tagamine

Sissetulevate toodangute ülevaade

Dispositsioneerimine/uuringu ettevalmistamine

Teabejuhtimine ja andmete levitamine

Uuringu teave (13, 14, 15,16 17,18)

Viited

(1) Grossman, M. ja Cormack, G. (2013). Grossman-Cormack Sõnastik Tehnoloogia-assisted Review. [ebook] Federal Court Law Review. Saadaval aadressil: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Juurdepääs 31 august 2018].

(2) Dimm, B. (2018). Ekspertiis ennustav kodeerimine. [email].

(3) Roitblat, H. (2013). Sissejuhatus ennustav kodeerimine. [ebook] OrcaTec. Saadaval aadressil: 31 august 2018].

(4) Tredennick, J. ja Pickens, J. (2017). Deep Learning E-Discovery: Liikumine minevikus Hype. [Internetis] CatalystSecure.com. Saadaval aadressil: 31 august 2018].

(5) Grossman, M. ja Cormack, G. (2017). Tehnoloogiaabistav läbivaatamine elektroonilises Discovery. [ebook] Saadaval aadressil: 31 august 2018].

(6) Grossman, M. ja Cormack, G. (2016). Pidev aktiivne õppimine TAR. [ebook] Praktiline õigus. Saadaval aadressil: 31 august 2018].

(7) Grossman, M. ja Cormack, G. (2016). Pideva aktiivse õppe skaleeritavus usaldusväärse kõrge tagasikutsumise teksti klassifikatsiooni jaoks. [ebook] Saadaval aadressil: 3 september 2018].

(8) Losey, R., Sullivan, J. ja Reichenberger, T. (2015). e-Discovery Team TREC 2015 Kokku Meenuta Track. [raamatu] Saadaval aadressil: [Juurdepääs 1. september 2018].

(9) „Pidev aktiivne õppimine kaubamärk Maura Grossman Ja Gordon V. Cormack - Registreerimisnumber 5876987 - seerianumber 86634255። Justia Kaubamärgid”. Trademarks.Justia.com, 2020, [Juurdepääs 12 veebruar 2020].

(10) „CAL kaubamärk Maura Grossman ja Gordon V. Cormack - Registreerimisnumber 5876988 - Seerianumber 86634265። Justia Kaubamärgid”. Trademarks.Justia.com, 2020, [Juurdepääs 12 veebruar 2020].

(11) Dimm, B. (2016), TAR 3.0 Performance. [online] Klustify blogi - e-juurdlus, dokumentide klasterdamine, ennustav kodeerimine, teabe otsing ja tarkvaraarendus. Saadaval aadressil: 18. veebruar 2019].

(12) Elektrooniline tuvastusvõrdlusmudel (EDRM) (2019). Tehnoloogia Assisted Review (TAR) suunised. [online] Saadaval aadressil: 18 veebruar 2019].

(13) Dimm, B. (2018). TAR, proportsionaalsus ja Bad algoritmid (1-NN). [online] Klustify blogi - e-juurdlus, dokumentide klasterdamine, ennustav kodeerimine, teabe otsing ja tarkvaraarendus. Saadaval aadressil: 31 august 2018].

(14) Robinson, R. (2013). Käivitustulemused: ennustav kodeerimine ühe küsimuse pakkuja rakendamise uuring. [Internetis] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: 31 august 2018].

(15) Robinson, R. (2018). Töötab loend: Top 100+ e-juurdluse pakkujad. [Internetis] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: 31 august 2018].

(16) Robinson, R. (2018) suhteliselt rääkides: ennustav kodeerimine Technologies ja protokollide uuringu tulemused [Internetis] ComplexDiscovery: eDiscovery Information. Saadaval aadressil: 18. veebruar 2019].

(17) Robinson, R. (2019) Aktiivselt õppimine? Ennustav kodeerimine tehnoloogiate ja protokollide uuringu tulemused [online] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: 22 august 2019]

(18) Robinson, R. (2019) Alates platvormid töövood: ennustav kodeerimine Technologies ja protokollide uuring - Sügis 2019 Tulemused [võrgus] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: [Juurdepääs 12. veebruar 2020].

Konkreetsete täienduste, paranduste ja värskenduste esitamiseks klõpsake siin.

Allikas: ComplexDiscovery