Külma ilmaga saagi? Prognoositav kodeerimise tehnoloogiate ja protokollide uuring — 2021. aasta kevad tulemused

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual survey designed to help provide a general understanding of the current application of predictive coding technologies, protocols, workflows, and uses by data discovery and legal discovery professionals.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Toimetaja märkus: Need on tulemused kuuenda poolaasta ennustav kodeerimine tehnoloogiate ja protokollide uuring läbi ComplexDiscovery. Tänase seisuga on kuus uuringut andnud üksikasjalikku tagasisidet 384 õigus-, äri- ja tehnoloogiatöötajatelt spetsiifiliste masinõppe tehnoloogiate kasutamisest ennustavas kodeerimises. Uuringud on andnud ülevaate ka nende masinõppe tehnoloogiate kasutamisest osana näiteks tehnoloogiaabistavate ülevaadete protokollidest.

Uuringu iteratsioonil oli 65 vastajat ja keskenduti jätkuvalt ennustavatele kodeerimistehnoloogiatele, protokollidele, töövoogudele ja kasutustele kogu e-juurdluse ökosüsteemis.

Prognoositav kodeerimise tehnoloogiad ja protokollid Spring 2021 uuring

Prognoositavate kodeerimistehnoloogiate ja protokollide uuring on mitteteaduslik uuring, mille eesmärk on anda üldine arusaam ennustavate kodeerimistehnoloogiate, protokollide ja töövoogude kasutamisest e-juurdluse ökosüsteemis andmete avastamise ja juriidilise avastuse spetsialistide poolt. Kevadine 2021 uuring oli avatud 7. veebruarist 2021 kuni 18. veebruarini 2021, kusjuures üksikisikud kutsuti osalema otse ComplexDiscovery poolt.

Uuringu eesmärk oli anda üldine arusaam ennustavatest kodeerimistehnoloogiatest ja protokollidest oli kaks peamist hariduseesmärki:

Võimalike ennustava kodeerimistehnoloogia, protokolli ja töövoo definitsioonide konsolideeritud loendi pakkumine. Kuigi see ei ole kõikehõlmav või kõikehõlmav, loetleti valitud tööstuse ennustav kodeerimine eksperdid täielikkuse ja täpsuse, seega tundub olevat kasulik kasutada hariduslikke jõupingutusi.

Küsige e-juurdluse ökosüsteemi spetsialistidelt nende eelistusi ja kasutusmustreid seoses ennustavate kodeerimisplatvormide, tehnoloogiate, protokollide, töövoogude ja kasutusvaldkondadega.

Uuring pakkus vastajatele võimalust pakkuda ennustavat kodeerimise taustteavet, sealhulgas nende esmast ennustavat kodeerimisplatvormi, ning esitas vastajatele viis konkreetset küsimust. Need küsimused on:

Kui tihti te kasutate e-juurdluse töövoo osana ennustavat kodeerimist? (Levimus)

Milliseid ennustavaid kodeerimistehnoloogiaid kasutab teie e-juurdluse platvorm? (Tehnoloogiad)

Milliseid tehnoloogiaga toetatud läbivaatamise protokolle kasutatakse ennustava kodeerimise kohaletoimetamisel? (Protokollid)

Milline on põhitehnoloogiaga abistatav ülevaatamise töövoog, mida kasutatakse ennustava kodeerimise kohaletoimetamisel? (Töövoog)

Millised on valdkonnad, kus kasutate tehnoloogiaabilisi ülevaatustehnoloogiaid, protokolle ja töövooge? (Kasutusalad)

18. veebruaril 2020 suletud kevadisel küsitlusel oli 65 vastajat.

Peamised tulemused ja tähelepanekud

Prognoositav kodeerimise tehnoloogia ja protokolli uuringu vastaja ülevaade (tabel 1)

50,77% vastajatest olid pärit tarkvara- või teenusepakkujate organisatsioonidest.

27,69% vastanutest olid advokaadibürood.

Ülejäänud 21,54% vastajatest kuulusid kas konsultatsiooni (12,31%), valitsuse (4,62), ettevõtte (1,54%) või muu üksuse liik (3,08%).

Esmane ennustav kodeerimisplatvorm (tabel 2)

Seal oli 24 erinevat platvormi, mida vastajad teatasid esmase ennustava kodeerimise platvormina.

Relatiivsusteooria teatas esmase ennustava kodeerimisplatvormina 36,92% uuringu vastajatest.

Kaks parimat platvormi teatati esmase ennustava kodeerimisplatvormina 53.85% küsitluse vastajatest.

1.54% vastajatest teatasid, et neil ei olnud ennustava kodeerimise esmast platvormi.

Prognoositava kodeerimise kasutuse levimus e-juurdluses (tabel 3)

Rohkem kui kolmandik küsitlustele vastajatest (38,46%) teatas e-juurdluse töövoos ennustava kodeerimise kasutamisest rohkem kui 50% ajast.

80% vastajatest teatas e-juurdluse töövoos ennustava kodeerimise kasutamisest vähemalt 5% ajast.

Ainult 20% vastajatest teatas oma e-juurdluse töövoos ennustava kodeerimise kasutamisest vähem kui 5% ajast.

Ennustav kodeerimise tehnoloogia tööhõive (tabel 4)

Aktiivset õppimist teatati enim kasutatavast ennustavast kodeerimistehnoloogiast, kusjuures 93,21% vastajatest kasutasid seda oma ennustavates kodeerimispingutustes.

44,62% vastajatest teatas, et nad kasutavad ainult ühte ennustavat kodeerimistehnoloogiat oma ennustavates kodeerimistegevustes.

53.85% vastajatest teatas, et nad kasutavad rohkem kui ühte ennustavat kodeerimistehnoloogiat oma ennustavates kodeerimistegevustes.

1.54% vastajatest ei esitanud mingit konkreetset ennustavat kodeerimistehnoloogiat kasutades.

Tehnoloogia abil läbivaatamise protokolli tööhõive (tabel 5)

Kõik loetletud tehnoloogiaabistavad protokollid ennustava kodeerimise kohta teatati, et neid kasutatakse vähemalt ühe uuringu vastaja poolt.

Pidev Active Learning® (CAL®) teatati enim kasutatavast ennustusprotokollist, milles 84,62% vastajatest kasutasid seda oma ennustavates kodeerimisjõupingutustes.

55,38% vastajatest teatas oma ennustavates kodeerimismeetmetes ainult ühte ennustavat kodeerimisprotokolli.

43.08% vastajatest teatas, et nad kasutavad oma ennustavates kodeerimismeetmetes rohkem kui ühte ennustavat kodeerimisprotokolli.

1.54% vastajatest teatasid, et ei kasuta ühtegi ennustavat kodeerimisprotokolli.

Tehnoloogiaabistava ülevaate töövoo tööhõive (tabel 6)

72.31% vastajatest teatas tehnoloogia-abistab Review (TAR) 2.0 esmase töövoo abil ennustava kodeerimise kohaletoimetamisel.

6.16% vastanutest teatas, kasutades TAR 1.0 ja 13,85% vastajatest teatas, kasutades TAR 3.0 esmase töövoo kohaletoimetamise prognoositav kodeerimine.

7.69% vastajatest ei teatanud, kasutades TAR 1.0, TAR 2.0 või TAR 3.0 esmase töövoo prognoositava kodeerimise kohaletoimetamisel.

Tehnoloogiaabistava ülevaate kasutusviisid (tabel 7)

87.69% vastajatest teatas tehnoloogiaabistava ülevaate abil rohkem kui ühes andmevaldkonnas ja juriidilises avastuses.

92,31% vastajatest teatas asjakohaste dokumentide identifitseerimiseks tehnoloogiaabistavat ülevaadet.

13,85% vastajatest teatas, kasutades tehnoloogiaabistavat ülevaadet teabe haldamise ja andmete käsutamise jaoks.

Uuringu diagrammid

(Diagramme saab üksikasjaliku vaatamise jaoks laiendada.)

Tabel 1: Uuringu vastaja ülevaade (taust)

1 — Prognoositavad kodeerimistehnoloogiad ja protokollid uuringu ülevaade — kevad 2021

Tabel 2: Primaarse ennustava kodeerimisplatvormi nimi (taust)

2 — Esmane ennustav kodeerimisplatvorm — kevad 2021

tabel 3: Kui tihti te kasutate ennustav kodeerimine osana oma e-juurdluse töövoo? (Küsimus #1)

3 — ennustav kodeerimise kasutamine — kevad 2021

tabel 4: Milline ennustav kodeerimine tehnoloogiaid kasutavad oma e-juurdluse platvorm? (Küsimus #2)

4- ennustav kodeerimistehnoloogia kasutamine — kevad 2021

tabel 5: Milline tehnoloogia abistab läbivaatamise protokollid on kasutatud oma kohaletoimetamise ennustav kodeerimine? (Küsimus #3)

5 — Tehnoloogiaabistaja läbivaatamise protokolli kasutamine — kevad 2021

tabel 6: Mis on esmane tehnoloogia abistab läbivaatamise töövoo kasutada oma kohaletoimetamise ennustav kodeerimine? (Küsimus #4)

6 — Tehnoloogiliselt toetatud ülevaate töövoo kasutamine — kevad 2021

Joonis 7: Millised on valdkonnad, kus kasutate tehnoloogiaabilisi ülevaatustehnoloogiaid, protokolle ja töövooge? (Küsimus #5)

7 — Tehnoloogiaabistatud ülevaate kasutusviisid — kevad 2021

Ennustav kodeerimise tehnoloogiad ja protokollid (Survey Backgrounder)

Nagu on määratletud Grossman-Cormack Glossary of Technology-Assisted Review (1), on ennustav kodeerimine tööstusharuspetsiifiline termin, mida üldiselt kasutatakse tehnoloogiaabilise läbivaatamise protsessi kirjeldamiseks, mis hõlmab masinõppe algoritmi kasutamist, et eristada asjakohaseid mitteasjakohastest dokumentidest, mis põhinevad teemal asi eksperdi kodeerimine koolituse dokumentide kogum. See ennustava kodeerimise definitsioon annab baseline kirjeldus, mis identifitseerib ühe konkreetse funktsiooni, mida üldtunnustatud masinõppe algoritmide üldkogum võib kasutada tehnoloogiaabistavas ülevaates (TAR).

Mis kasvav teadlikkus ja kasutamine ennustav kodeerimine õiguslik areenil täna, tundub, et see on üha olulisem elektroonilise avastamise spetsialistid on üldine arusaam tehnoloogiate, mida võib rakendada elektroonilise avastuse platvormid hõlbustada ennustav kodeerimine elektrooniliselt salvestatud teavet. See üldine arusaam on oluline, kuna igal võimalikul algoritmilisel lähenemisel on efektiivsuse eelised ja puudused, mis võivad mõjutada ennustava kodeerimise efektiivsust ja efektiivsust.

Et aidata arendada seda üldist arusaama ennustav kodeerimine tehnoloogiad ja pakkuda võimalust elektroonilise avastamise pakkujad jagada tehnoloogiaid ja protokolle, mida nad kasutavad ja nende platvormidel, et saavutada prognoositav kodeerimine, järgmised töönimekirjad ennustav kodeerimine tehnoloogiad ja TAR protokollid on ette nähtud teie kasutamiseks. Prognoositavate kodeerimistöövoogude ja kasutusviiside tööloendid on ka teie tasu jaoks kaasatud, kuna need aitavad määratleda, kuidas prognoositavaid kodeerimistehnoloogiaid ja TAR protokolle rakendatakse ja kasutatakse.

Prognoositavate kodeerimistehnoloogiate töönimekiri (1,2,3,4)

Ametialaste väljaannete ja isikliku vestluse põhjal elektroonilise tuvastuse ekspertide koondatud allpool on mittekõikehõlmav töönimekiri tuvastatud masinõppe tehnoloogiatest, mida on rakendatud või mida on võimalik rakendada e-juurdluse distsipliinile, et hõlbustada ennustav kodeerimine. See töönimekiri on loodud selleks, et pakkuda võrdluspunkti tuvastatud ennustava kodeerimise tehnoloogiatele ning võib aja jooksul sisaldada täiendusi, kohandusi ja muudatusi, mis põhinevad ekspertide ja organisatsioonide tagasisidel, kes rakendavad ja rakendavad neid peavoolu tehnoloogiaid oma konkreetsetel e-juurdluse plat

Loetletud tähestikulises järjekorras

Aktiivne õpe: protsess, mis on tavaliselt iteratiivne, mille abil kasutatakse algoritmi dokumentide valimiseks, mis tuleks läbi vaadata koolituseks, mis põhineb strateegial, mis aitab klassifitseerimisalgoritmil tõhusalt õppida.

Otsuspuu: samm-sammult meetod asjakohaste ja mitteasjakohaste dokumentide eristamiseks sõltuvalt sellest, millist sõnakombinatsiooni (või muid funktsioone) need sisaldavad. Tuletisinstrumentidega seotud dokumentide tuvastamiseks otsustuspuu võib kõigepealt kindlaks teha, kas dokument sisaldas sõna „swap” või mitte. Kui see on tehtud, võib otsustuspuu otsustada, kas dokument sisaldas „krediiti” jne või mitte. Otsustuspuu võib luua kas teadmistehnika või masinõppe kaudu.

K-lähima naabri klassifikaator (K-nn): klassifikatsiooni algoritm, mis analüüsib k näiteks dokumendid, mis on kõige sarnasem (lähima) dokumendi klassifitseerimise, et määrata kindlaks parim klassifikatsioon dokumendi. Kui k on liiga väike (nt k=1), võib suure tagasikutsumise saavutamine olla äärmiselt raske.

Latentne semantiline analüüs (LSA): matemaatiline esitus dokumente, mis käsitleb kõrgelt korrelatsioonis sõnu (st sõnu, mis kipuvad esinema samades dokumentides) nagu on mõnes mõttes samaväärne või vahetatav. See ekvivalentsus või vahetatavus võib lubada algoritmidel tuvastada dokumente kontseptuaalselt sarnasteks isegi siis, kui nad ei kasuta samu sõnu (nt kuna sünonüümid võivad olla väga korrelatsioonis), kuigi see jätab kõrvale mõned potentsiaalselt kasulikku teavet ja võib põhjustada soovimatuid tulemusi, mis on põhjustatud spurious korrelatsioonid.

Logistiline regressioon: Masinõppe tipptasemel juhendatud õppealgoritm, mis hindab dokumendi asjakohasuse tõenäosust, mis põhineb selles sisalduvatel funktsioonidel. Erinevalt Naïve Bayesi algoritmist tuvastab logistiline regressioon funktsioone, mis diskrimineerivad asjakohaseid ja mitteasjakohaseid dokumente.

Naive Bayesian klassifikaator: süsteem, mis uurib tõenäosust, et iga sõna uues dokumendis pärineb koolitatud reageerivast dokumendist või koolitatud mittereageerivatest dokumentidest saadud sõnajaotusest. Süsteem on naiivne selles mõttes, et eeldab, et kõik sõnad on üksteisest sõltumatud.

Närvivõrk: Kunstlik Neural Network (ANN) on arvutuslik mudel. See põhineb bioloogiliste närvivõrkude struktuuril ja funktsioonidel. See toimib nagu see, kuidas inimese aju töötleb teavet. See sisaldab suurt hulka ühendatud töötlemisüksusi, mis töötavad koos teabe töötlemiseks.

Tõenäosuslik latentne semantiline analüüs (PLSA): See on vaimus sarnane LSA-ga, kuid ta kasutab tõenäosuslikku mudelit, et saavutada tulemusi, mis eeldatavasti paremad.

Juhuslikud metsad: ansambli õppemeetod klassifitseerimiseks, regressiooniks ja muudeks ülesanneteks, mis töötavad mitmete otsustuspuude ehitamise teel koolitusajal ja väljastamisega klassi, mis on klasside (klassifikatsioon) või üksikute puude keskmine ennustus (regressioon). Juhuslik otsus metsade õige otsuse puude harjumus overfitting oma koolituse komplekt.

Asjakohasuse tagasiside: Aktiivne õppeprotsess, kus kõige olulisema tõenäosusega dokumendid kodeeritakse inimese poolt ja lisatakse koolituskomplekti.

Support Vector Machine: Matemaatiline lähenemine, mis püüab leida rida, mis eraldab reageerivad mittereageerivatest dokumentidest nii, et ideaalis on kõik reageerivad dokumendid rea ühel küljel ja kõik mittereageerivad need on teisel pool.

TAR üldprotokollid (5,6,7,8,9,10)

Lisaks kasutatakse neid tehnoloogiaid üldiselt osana TAR protokollist, mis määrab, kuidas tehnoloogiaid kasutatakse. TAR protokollide näideteks on:

Loetletud tähestikulises järjekorras

Pidev Active Learning® (CAL®): CAL® -is valib Maura R. Grossmani ja Gordon V. Cormacki poolt välja töötatud, kasutatud ja propageeritud TAR meetod pärast esialgset koolitust korduvalt ülevaatamiseks, kodeerimiseks ja koolituseks järgmised kõige tõenäolisemad dokumendid (mida pole veel kaalutud) ja jätkab seda seni, kuni ta ei leia enam asjakohaseid dokumente. Üldjuhul ei toimu teist ülevaadet, sest õppija lõpetab õppimise, on kõik dokumendid, mida õppija peab asjakohaseks, juba tuvastatud ja käsitsi läbi vaadatud.

Hübriid multimodaalne meetod: E-juurdluse meeskonna (Ralph Losey) väljatöötatud lähenemine, mis hõlmab kõiki otsingumeetodeid, kusjuures esmane sõltuvus on paigutatud ennustavale kodeerimisele ja kõrgetasemeliste dokumentide kasutamine pidevaks aktiivseks koolituseks.

Skaaleeritav pidev aktiivne õpe (S-CAL): S-CAL ja CAL® -i oluline erinevus seisneb selles, et S-CAL-i puhul valitakse märgistuseks ainult igast järjestikusest partiist pärit dokumentide piiratud näidis ning protsess jätkub seni, kuni kogumine või kogumise suur juhuslik näidis on ammendatud. Üheskoos moodustavad piiritletud proovid dokumendi populatsiooni kihistunud valimi, millest võib tuletada statistilise hinnangu ρ.

Simple Active Learning (SAL): SAL-meetodites valib õppija pärast esialgset koolituskomplekti dokumendid, mida õpetaja vaatab ja kodeerib ning mida kasutatakse koolitusnäidetena ning jätkab näidete valimist, kuni see on piisavalt koolitatud. Tavaliselt on dokumendid, mille õppija valib, on need, mille kohta õppija on kõige vähem kindel ja millest ta õpib kõige rohkem. Kui piisavalt koolitatud, kasutatakse õppijat iga kogumikus oleva dokumendi märgistamiseks. Nagu SPL-i puhul, vaadatakse dokumendid, mis on märgistatud asjakohaseks, käsitsi uuesti läbi.

Lihtne passiivne õpe (SPL): lihtsates passiivõppes („SPL”) meetodites valib õpetaja (st inimaoperaator) koolitusnäidetena kasutatavad dokumendid; õppijat koolitatakse neid näiteid kasutades ning kui piisavalt koolitatud, kasutatakse kogumikus iga dokumendi märgistamiseks asjakohaseks või mitte- asjakohane. Üldiselt vaadatakse õppija poolt asjakohaseks märgistatud dokumendid käsitsi uuesti läbi. Käesolev käsitsi läbivaatamine kujutab endast väikest osa kogust ja seega väikest osa ammendava käsitsi läbivaatamise ajast ja maksumusest.

TAR töövood (11)

TAR töövood esindavad ennustavate kodeerimistehnoloogiate ja protokollide praktilist rakendamist, et määratleda lähenemisviisid ennustavate kodeerimistoimingute Kolm TAR töövoogude näidet on järgmised:

TAR 1.0 hõlmab koolitusetappi, millele järgneb läbivaatamise faas, mille optimaalse punkti määramiseks kasutatakse kontrollkomplekti, kui peaksite koolituselt üle vaatama. Süsteem ei õpi enam, kui koolitusetapp on lõpule viidud. Juhtkomplekt on juhuslik dokumentide kogum, mis on läbi vaadatud ja märgistatud asjakohasteks või mitteasjakohasteks. Kontrollkomplekti dokumente ei kasutata süsteemi koolitamiseks. Neid kasutatakse süsteemi ennustuste hindamiseks, et koolitus saaks lõpetada, kui lisakoolituse eelised ei ületa enam lisakoolituse kulusid. Koolitus võib olla juhuslikult valitud dokumentidega, mida nimetatakse Simple Passiivse õppe (SPL) nime all, või see võib hõlmata süsteemi poolt valitud dokumente õpituõhususe optimeerimiseks, mida nimetatakse Simple Active Learning (SAL).

TAR 2.0 kasutab lähenemist nimega Pidev Active Learning® (CAL®), mis tähendab, et koolituse ja läbivaatamise vahel ei ole eraldatud — süsteem jätkab õpinguid kogu vältel. Kuigi dokumentide ülevaatamiseks võib kasutada mitmeid lähenemisviise, on CAL® -i oluliseks komponendiks palju iteratsioone, mis ennustavad, millised dokumendid on kõige tõenäolisemalt asjakohased, nende läbivaatamine ja prognooside ajakohastamine. Erinevalt TAR 1.0-st kipub TAR 2.0 olema väga tõhus ka siis, kui levimus on väike. Kuna koolituse ja läbivaatamise vahel puudub eraldamine, ei vaja TAR 2.0 kontrollkomplekti. Juhtkomplekti loomine võib hõlmata suure (eriti siis, kui levimus on väike) mitteasjakohaste dokumentide arvu ülevaatamist, seega on soovitav kontrollkomplektide vältimine.

TAR 3.0 nõuab kvaliteetset kontseptuaalset klasterdumisalgoritmi, mis moodustab kontseptsiooniruumis kitsalt fokuseeritud fikseeritud suurusega klastreid. See rakendab TAR 2.0 metoodikat ainult klastrikeskuste jaoks, mis tagab, et mitmekülgne potentsiaalselt asjakohaste dokumentide kogum vaadatakse läbi. Kui asjakohasemaid klastrikeskusi ei leita, kasutatakse ülevaadatud klastrikeskusi koolitusdokumentidena, et teha ennustusi kogu dokumendi elanikkonna jaoks. Juhtimisseadet pole vaja — süsteem on hästi koolitatud, kui täiendavaid asjakohaseid klastrikeskusi ei leia. Analüüs klastri keskused, mis olid läbi vaadatud, annab hinnangu levimus ja mitmed mitteasjakohased dokumendid, mis oleks koostatud, kui dokumendid koostatakse puhtalt ennustused ilma inimese läbivaatamise. Kasutaja võib otsustada koostada dokumente (ei ole tuvastatud potentsiaalselt privilegeeritud) ilma läbivaatamiseta, sarnaselt TAR 1.0 SAL (kuid ilma kontrollkomplektita), või ta võib otsustada vaadata läbi dokumendid, mis on liiga suur risk olla mitteasjakohased (mida saab kasutada süsteemi täiendava koolitusena, st CAL®). Oluline on see, et kasutaja on info, mida ta peab tegema otsuse selle kohta, kuidas jätkata pärast läbivaatamist klastri keskused, mis on tõenäoliselt asjakohane, ja midagi teha enne, kui see punkt muutub kehtetuks otsuse (võrrelda alustades TAR 1.0, vaadates kontrolli komplekt, leidmine , et ennustused ei ole piisavalt head dokumentide koostamiseks ilma läbivaatamiseta, ja seejärel üleminek TAR 2.0, mis muudab juhtelemendi komplekti praktiliselt kasutuks).

TAR Kasutused (12)

TAR tehnoloogiaid, protokolle ja töövooge saab tõhusalt kasutada, et aidata e-juurdluse spetsialistidel täita paljusid andmetuvastuse ja juriidilise tuvastuse ülesandeid. Üheksa levinud TAR kasutamise näited on järgmised:

Asjakohaste dokumentide tuvastamine

Varane kohtuasjade hindamine/uurimine

Ülevaatamise prioriteetiseerimine

Kategoorimine (küsimuste, konfidentsiaalsuse või privaatsuse järgi)

Õiguste ülevaade

Kvaliteedikontroll ja kvaliteedi tagamine

Sissetulevate lavastuste ülevaade

Dispositsioon/uuringu ettevalmistamine

Teabehaldus ja andmete likvideerimine

Uuringu teave (13,14,15,18, 19, 20)

Viited

(1) Grossman, M. ja Cormack, G. (2013). Grossman-Cormack Sõnastik Tehnoloogia Abistatud Review. [ebook] Föderaalkohtud Law Review. Saadaval aadressil: http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Ligipääs 31 august 2018].

(2) Dimm, B. (2018). Ekspertiisi ennustav kodeerimine. [e].

(3) Roitblat, H. (2013). Sissejuhatus ennustav kodeerimine. [ebook] OrcaTec. Saadaval aadressil: 31 aug. 2018].

(4) Tredennick, J. ja Pickens, J. (2017). Sügav õppimine e-Discovery: Liikumine minevikus Hype. [Internetis] CatalystSecure.com. Saadaval aadressil: 31 aug. 2018].

(5) Grossman, M. ja Cormack, G. (2017). Tehnoloogia-abistab ülevaade elektroonilise avastamise. [ebook] Saadaval aadressil: 31 august 2018].

(6) Grossman, M. ja Cormack, G. (2016). Pidev aktiivne õppimine TAR. [ebook] Praktiline seadus. Saadaval aadressil: 31 aug. 2018].

(7) Grossman, M. ja Cormack, G. (2016). Pideva aktiivse õppe skaleeritavus usaldusväärse kõrge tagasikutsumise teksti klassi [ebook] Saadaval aadressil: 3 Sept 2018].

(8) Losey, R., Sullivan, J. ja Reichenberger, T. (2015). e-avastamise meeskond TREC 2015 Total Recall Track. [ebook] Saadaval aadressil: 1 Sept 2018].

(9) „Pidev aktiivne õppe kaubamärk Maura Grossman ja Gordon V. Cormack — Registreerimisnumber 5876987 — seerianumber 86634255። Justia kaubamärgid”. Trademarks.Justia.com, 2020, 12. veebruar 2020].

(10) „CAL kaubamärk Maura Grossman ja Gordon V. Cormack — registreerimisnumber 5876988 — seerianumber 86634265። Justia kaubamärgid”. Trademarks.Justia.com, 2020, 12. veebruar 2020].

(11) Dimm, B. (2016), TAR 3.0 jõudlus. [Internetis] Klastifitseerige blogi - e-juurdlus, dokumentide klasterdamine, ennustav kodeerimine, teabe otsimine ja tarkvaraarendus. Kättesaadav aadressil: 18 veebr 2019].

(12) Elektrooniline Discovery Reference Mudel (EDRM) (2019). Tehnoloogia Abistatud Review (TAR) juhised. [Internetis] Saadaval aadressil: 18 veebruar 2019].

(13) Dimm, B. (2018). TAR, proportsionaalsus ja halvad algoritmid (1-NN). [Internetis] Klastifitseerige blogi - e-juurdlus, dokumentide klasterdamine, ennustav kodeerimine, teabe otsimine ja tarkvaraarendus. Saadaval aadressil: 31 aug. 2018].

(14) Robinson, R. (2013). Jooksvad tulemused: ennustav kodeerimine ühe küsimuse pakkuja rakendamise uuring. [Internetis] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: 31 aug. 2018].

(15) Robinson, R. (2018). Töötav nimekiri: Top 100+ e-juurdluse pakkujad. [Internetis] ComplexDiscovery: e-juurdluse teave. Saadaval aadressil: 31 aug. 2018].

(16) Robinson, R. (2018) Suhteliselt Rääkides: Ennustav kodeerimine Technologies ja protokollid uuringu tulemused [Internetis] ComplexDiscovery: eDiscovery Information. Kättesaadav aadressil: 18 veebr 2019].

(17) Robinson, R. (2019) Aktiivselt õppimine? Prognoositav kodeerimise tehnoloogiad ja protokollide uuringu tulemused [online] ComplexDiscovery: e-juurdluse teave. Kättesaadav: 22 aug 2019]

(18) Robinson, R. (2019) Alates platvormidest töövood: ennustav kodeerimine tehnoloogiad ja protokollid Survey — Sügis 2019 Tulemused [Internetis] ComplexDiscovery: eDiscovery Information. Saadaval aadressil: 12. veebr 2020].

(19) Robinson, R. (2020) Kas see kõik on suhteline? Ennustav kodeerimise tehnoloogia ja protokollide uuring - Spring Results [online] ComplexDiscovery: e-juurdluse teave. Kättesaadav aadressil: [Ligipääs 7. august 2020].

(20) Robinson, R. (2020) Casting laiem Net? Prognoositav kodeerimise tehnoloogiad ja protokollide uuring — sügisel 2020 [Internetis] ComplexDiscovery: e-juurdluse teave. Kättesaadav aadressil: 5. veebruar 2021].

Konkreetsete täienduste, paranduste ja värskenduste pakkumiseks klõpsake siin.

* Prognoositav kodeerimine uuringu vastanutest: kuus uuringut

0 — Ennustav kodeerimine uuringu vastanutest (individuaalne ja agregaat) — kuus uuringut

Allikas: ComplexDiscovery

Esimene juriidiline omandab e-juurdluse pakkuja Redpoint

According to Alex Martinez, CEO of First Legal, “Both First Legal...

Veristar omandab planeedi andmed

According to Veristar company founder, CEO, and president Rick Avers, “We...

Questel omandab Doelegal

doeLEGAL today announced that it has been acquired by intellectual property...

Pärast raha? Mike Bryant annab Solid pilk Legal Tech ühinemise ja omandamise aktiivsus

From seed and venture capital investments to private equity and Special...

Uus ajastu e-juurdluse? Turukasvu raamimine kuue ajastute objektiivi kaudu

There are many excellent resources for considering chronological and historiographical approaches...

E-juurdluse turu suurus Mashup: 2020-2025 ülemaailmne tarkvara ja teenuste ülevaade

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

Lähtestamine lähtestamine? e-juurdluse turu suuruse kohandused aastaks 2020

An unanticipated pandemeconomic-driven retraction in eDiscovery spending during 2020 has resulted...

Kodu või eemal? e-juurdluse kollektsiooni turu suuruse ja hinnakujunduse kaalutlused

One of the key home (onsite) or away (remote) decisions that...

Viis suurt lugemist e-juurdluse kohta veebruar 2021

From litigation trends and legal tech investing to facial recognition and...

Viis suurt lugemist e-juurdluse kohta jaanuar 2021

From eDiscovery business confidence and operational metrics to merger and acquisition...

Viis suurt lugemist e-juurdluse kohta detsember 2020

May the peace and joy of the holiday season be with...

Viis suurt lugemist e-juurdluse kohta november 2020

From market sizing and cyber law to industry investments and customer...

HayStacKid tunnustatud IDC MarketsCape for eDiscovery Services

According to HaystackID CEO Hal Brooks, “We are proud to once...

Kaugturbe põlvkonna vaade? HayStacKid™ väljaanded 3.0 turvalisuse täiustused läbivaatamise tehnoloogia

According to HaystackID's Senior Vice President and General Manager for Review...

Ainult aja küsimus? HayStacKid käivitab uue teenuse andmete rikkumise avastamise ja läbivaatamise

According to HaystackID's Chief Innovation Officer and President of Global Investigations,...

See on Match! Keskendudes e-juurdluse ülevaate kogumaksumusele ReviewRight Match

As a leader in remote legal document review, HaystackID provides clients...

Külma ilmaga saagi? Prognoositav kodeerimise tehnoloogiate ja protokollide uuring — 2021. aasta kevad tulemused

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual...

Tulevad metsast välja? Kaheksateist tähelepanekut e-juurdluse ettevõtete usalduse kohta 2021. aasta talvel

In the winter of 2021, 85.0% of eDiscovery Business Confidence Survey...

E-juurdluse äritegevust mõjutavad probleemid: Winter 2021 ülevaade

In the winter of 2021, 43.3% of respondents viewed budgetary constraints...

Ei ole nii silmapaistev? e-juurdluse operatiivmõõdikud 2021. aasta talvel

In the winter of 2021, eDiscovery Business Confidence Survey more...