Onko se kaikki suhteellista? Ennakoiva koodausteknologioita ja protokollia koskeva kysely — kevään 2020 tulokset

The Predictive Coding Technologies and Protocols Survey is a non-scientific survey designed to help provide a general understanding of the use of predictive coding technologies, protocols, and workflows by data discovery and legal discovery professionals within the eDiscovery ecosystem.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Toimittajan huomautus: Tämä on neljäs Predictive Coding and Technologies and Protocols Survey suorittaa ComplexDiscovery. Syksyllä 2018 aloitettua ja puolivuosittain päivitettyä kyselyn iterointia sisälsi 63 datan ja juridisen löytämisen ammattilaista, jotka jakavat ymmärrystään ja kokemustaan osana nelikyselyä. Seuraavassa esitetään kevään 2020 kyselyn tulokset toivoen, että yleiset, ei-tieteelliset tutkimustulokset voivat auttaa eDiscoveryn ammattilaisia, kun he pitävät ennakoivia koodausalustoja, teknologioita, protokollia, työnkulkuja ja käyttötarkoituksia.

Ennustava koodausteknologia ja protokollat kevään 2020 tutkimus

Predictive Coding Technologies and Protocols Survey on ei-tieteellinen tutkimus, jonka tarkoituksena on auttaa ymmärtämään ennakoivan koodausteknologian, protokollien ja työnkulkujen käyttöä eDiscovery-ekosysteemissä. Kevään 2020 kysely oli avoinna 10.2.2020 alkaen 12.2.2020, ja siihen osallistui henkilöitä, jotka olivat suoraan ComplexDiscovery.

Tutkimuksessa pyrittiin antamaan yleinen käsitys ennakoivasta koodaustekniikasta ja protokollasta, ja se oli kaksi ensisijaista opetuksen tavoitetta:

Voit tarjota konsolidoidun luettelon mahdollisista ennakoivista koodaustekniikasta, protokollasta ja työnkulkumäärityksistä. Vaikka listaus ei ole kattavaa tai kattavaa, se tarkistettiin valikoiduilla alan ennakoivan koodauksen asiantuntijoilla täydellisyyden ja tarkkuuden vuoksi, joten se näyttää olevan kannattava käytettäväksi opetukseen.

Voit kysyä eDiscoveryn ekosysteemien ammattilaisilta heidän mieltymyksensä, jotka koskevat ennakoivia koodausalustoja, tekniikoita, protokollia, työnkulkuja ja käyttöalueita.

Kysely tarjosi vastaajille mahdollisuuden tarjota ennakoivaa koodaustaustatietoa, mukaan lukien niiden ensisijainen ennakoiva koodausalusta, sekä esittää neljä erityistä kysymystä vastaajille. Nämä kysymykset ovat:

Mitä ennakoivia koodaustekniikoita eDiscovery-alustasi hyödyntää?

Mitä teknologiaavusteisia tarkistusprotokollia käytetään ennakoivan koodauksen toimituksessa?

Mikä on ensisijainen teknologiaavusteinen tarkistustyönkulku, jota käytetään ennakoivan koodauksen toimituksessa?

Mitkä ovat alueet, joilla käytät teknologiaavusteisia tarkistustekniikoita, protokollia ja työnkulkuja?

Kevään 2020 kyselyssä oli mukana 63 vastaajaa 12.2.2020.

Keskeiset tulokset ja havainnot

Ensisijainen ennustava koodausalusta (kuvio 1)

Vastaajista 90, 47% ilmoitti, että heillä on ainakin yksi ensisijainen alusta ennakoivaa koodausta varten.

Vastaajat ilmoittivat 20 eri alustaa ensisijaisena ennakoivana koodausalustana.

Suhteellisuusteoria raportoitiin ensisijaisena ennakoivana koodausalustana 38,10% kyselyyn vastanneista.

Kaksi parasta alustaa raportoitiin ensisijaisena ennustava koodausalustana 53,97% kyselyyn vastanneista.

9, 52% vastanneista ilmoitti, ettei heillä ollut ensisijaista alustaa ennakoivaa koodausta varten.

Ennustava koodausteknologian työllisyys (kuvio 2)

Kaikkia lueteltuja ennakoivia koodaustekniikoita raportoitiin käyttävän vähintään yksi kyselyyn vastanneista.

Aktiivista oppimista raportoitiin eniten käytetyksi ennakoivana koodaustekniikaksi, ja 85,71% vastaajista käytti sitä ennakoivassa koodauksessa.

34, 92% vasteista ilmoitti käyttäneensä vain yhtä ennakoivaa koodaustekniikkaa ennakoivassa koodaustoiminnassaan.

57,14% vasteista ilmoitti käyttäneensä ennustavassa koodaustoiminnassaan useampaa kuin yhtä ennakoivaa koodaustekniikkaa.

7, 94 prosenttia vastanneista ei käyttänyt mitään erityistä ennakoivaa koodaustekniikkaa.

Teknologia-avusteinen tarkistus Protocol Työllisyys (kuvio 3)

Kaikkia ennustekoodausta varten lueteltuja teknologiaavusteisia protokollia ilmoitettiin käyttävän ainakin yksi kyselyvastanneista.

Continuous Active Learning® (CAL®) raportoitiin eniten käytetyksi ennustekoodausprotokollaksi, ja 90,48% vastanneista käytti sitä ennakoivissa koodauspyrkimyksissään.

57, 14% vastaajista ilmoitti käyttäneensä vain yhtä ennakoivaa koodausprotokollaa ennakoivassa koodauspyrkimyksissään.

41, 27% vasteista ilmoitti käyttäneensä ennustavaa koodausprotokollaa ennustavassa koodauspyrkimyksissään useampaa kuin yhtä.

1, 59% vasteista ilmoitti käyttämättä mitään ennakoivaa koodausprotokollaa.

Teknologia-avusteinen tarkastelu työnkulun työllisyys (kaavio 4)

73,02% vastaajista ilmoitti käyttäneensä TAR 2.0:ta ensisijaisena työnkuluna ennakoivan koodauksen toimittamisessa.

7, 94% vasteista ilmoitti käyttäneensä TAR 1.0: ta ja 9, 52% vasteista ilmoitti käyttäneensä TAR 3.0: ta ensisijaisena työnkuluna ennakoivan koodauksen toimituksessa.

9, 52% vastanneista ei raportoinut TAR 1.0-, TAR 2.0- tai TAR 3.0- tai TAR 3.0- ensisijaisena työnkuluna ennakoivan koodauksen toimituksessa.

Teknologia-avusteinen tarkastelu käyttää (kaavio 5)

93,65% vastaajista ilmoitti käyttäneensä teknologiaavusteisen tarkastelun useammalla kuin yhdellä osa-alueella tietoa ja oikeudellista löytämistä.

96,83 prosenttia vastaajista ilmoitti käyttäneensä teknologiaavusteista tarkastelua asiaankuuluvien asiakirjojen tunnistamisessa.

14,29% vastaajista ilmoitti käyttäneensä tietohallinnon ja tietojen käsittelyn teknologiaavusteista arviointia.

Ennakoiva koodaustekniikka ja protokollatutkimuksen vastaajan yleiskatsaus (kuvio 6)

41,27%% vastaajista oli asianajotoimistoista.

38,10% vastaajista oli ohjelmisto- tai palveluntarjoajaorganisaatioita.

Loput 20,63% vastaajista kuului joko konsulttiyritykseen (14,29%), yritykseen (4,76%), hallitukseen (0%) tai muuntyyppiseen yksikköön (1,59%).

Kyselykaaviot

(Kaavioita voidaan laajentaa yksityiskohtaiseen katseluun.)

Kuvio 1: Ensisijaisen ennustavan koodausalustan nimi

1-Ensisijainen-ennustettava-koodausalusta-Kevät-2020

pöytä 2: Mitä ennakoivia koodaustekniikoita eDiscovery-alustasi hyödyntää?

2-Ennustava koodaustekniikka-Käytetty-kevät-2020

pöytä 3: Mitkä teknologia-avusteinen tarkastelu protokollia käytetään toimituksen ennustava koodaus?

3-Teknologia-avusteinen tarkistus-protokolla-Käytetty-kevät-2020

pöytä 4: Mikä on ensisijainen teknologiaavusteinen tarkastelu työnkulun käytetään toimituksen ennustava koodaus?

4-Teknologia-avusted-Review-Workflow-Käyttö-Kevät-2020

Kaavio 5: Mitkä ovat alat, joilla käytät teknologiaavusteisia tarkistustekniikoita, protokollia ja työnkulkuja?

5-Technology-avusted-Review-Käyttö- Kevät-2020

Kuvio 6: Kyselyvastaajan yleiskatsaus

6-Ennustava-koodausteknologiat-ja-protokolla-Survey-yleiskatsaus-kevät-2020

Ennakoiva koodausteknologiat ja -protokollat (Survey Backgrounder)

Kuten Grossman-Cormack Sanasto of Technology-Assisted Review (1) on määritelty, Predictive Coding on toimialakohtainen termi, jota käytetään yleensä kuvaamaan teknologiaavusteista arviointiprosessia, jossa käytetään koneoppimisalgoritmia erottamaan merkitykselliset ei-relevanteista asiakirjoista, jotka perustuvat aiheeseen asia asiantuntijan koodaus koulutuksen joukko asiakirjoja. Tämä ennakoivan koodauksen määritelmä tarjoaa perustason kuvauksen, jossa yksilöidään yksi tietty toiminto, jota yleisesti hyväksyttyjen koneoppimisalgoritmien yleinen joukko voi käyttää teknologiaavusteisessa tarkastelussa (TAR).

Ennakoivan koodauksen kasvavan tietoisuuden ja käytön myötä vaikuttaa siltä, että sähköisten löytöjen ammattilaisten on yhä tärkeämpää saada yleinen käsitys tekniikoista, joita voidaan toteuttaa sähköisissä hakualustoissa ennakoivan koodauksen helpottamiseksi sähköisesti tallennettuja tietoja. Tämä yleinen ymmärrys on olennaista, koska jokaisella mahdollisella algoritmisella lähestymistavalla on tehokkuusetuja ja haittoja, jotka voivat vaikuttaa ennakoivan koodauksen tehokkuuteen ja tehokkuuteen.

Auttaa kehittämään yleistä ymmärrystä ennakoivasta koodaustekniikasta ja tarjota sähköisen hakupalvelun tarjoajille mahdollisuus jakaa teknologioita ja protokollia, joita he käyttävät alustoillaan ja niiden kanssa ennakoivan koodauksen suorittamiseen, seuraavat valmisteluluettelot ennakoivasta koodauksesta -tekniikat ja TAR-protokollat ovat käytettävissä käyttöösi. Ennakoivan koodauksen työnkulkuja ja käyttötarkoituksia koskevat työluettelot sisällytetään myös harkintasi mukaan, koska ne auttavat määrittämään, miten ennustavat koodaustekniikat ja TAR-protokollat toteutetaan ja käytetään.

Ennakoivan koodaustekniikan työluettelo (1,2,3,4)

Sähköisten löytöjen asiantuntijoista, jotka perustuvat ammatillisiin julkaisuihin ja henkilökohtaisiin keskusteluihin, on yhteenlaskettu luettelo yksilöidyistä koneoppimistekniikoista, joita on sovellettu tai joita voidaan soveltaa eDiscoveryn tieteenalaan helpottaakseen Ennustava koodaus. Tämän työluettelon tarkoituksena on tarjota vertailukohta yksilöityille ennakoiville koodaustekniikoille, ja se voi ajan mittaan sisältää lisäyksiä, mukautuksia ja muutoksia, jotka perustuvat asiantuntijoilta ja organisaatioilta saatuun palautteeseen, jotka soveltavat ja toteuttavat näitä valtavirtatekniikoita eDiscovery-alustoillaan.

Luetteloitu aakkosjärjestyksessä

Aktiivinen oppiminen: Prosessi, tyypillisesti iteratiivinen, jossa valitaan algoritmia, jonka avulla valitaan asiakirjoja, jotka on tarkistettava koulutukseen perustuen strategiaan, joka auttaa luokittelualgoritmia oppimaan tehokkaasti.

Päätöspuu: Vaiheittainen menetelmä asiaankuuluvien ja ei-merkityksellisten asiakirjojen erottamiseksi sen mukaan, mitä sanoja (tai muita ominaisuuksia) ne sisältävät. Päätöspuu, jossa määritetään johdannaisiin liittyvät asiakirjat, saattaa ensin määrittää, sisälsikö asiakirjassa sana ”swap”. Jos näin olisi, päätöspuu saattaa sitten määrittää, sisälsikö asiakirja ”luotto” ja niin edelleen. Päätöspuu voidaan luoda joko tietotekniikan tai koneoppimisen avulla.

K-lähin naapuriluokitus (K-nn): Luokitusalgoritmi, joka analysoi k esimerkkiasiakirjat, jotka ovat eniten samanlaisia (lähimpänä) kuin luokiteltava asiakirja, jotta voidaan määrittää asiakirjan paras luokitus. Jos k on liian pieni (esim. k=1), korkean takaisinvedon saavuttaminen voi olla erittäin vaikeaa.

Latentti semanttinen analyysi (LSA): Matemaattinen esitys asiakirjoista, joissa käsitellään erittäin korreloivia sanoja (eli sanoja, joita yleensä esiintyy samoissa asiakirjoissa) kuin ne ovat tietyssä mielessä samanarvoisia tai keskenään vaihdettavissa. Tämän vastaavuuden tai vaihdettavuuden avulla algoritmit voivat tunnistaa dokumentit käsitteellisesti samanlaisiksi silloinkin, kun ne eivät käytä samoja sanoja (esim. koska synonyymit saattavat korreloida hyvin), vaikka se myös hylkää joitakin mahdollisesti hyödyllisiä tietoja ja voi johtaa ei-toivottuihin tuloksiin, jotka johtuvat - Harhaluuloja korrelaatiota.

Logistinen regressio: Huippuluokan valvottu oppimisalgoritmi koneoppimiseen, jossa arvioidaan todennäköisyyttä, että dokumentti on merkityksellinen sen sisältämien ominaisuuksien perusteella. Toisin kuin Naïve Bayes, algoritmi, Logistic Regression tunnistaa ominaisuuksia, jotka erottavat merkitykselliset ja ei-relevantit asiakirjat.

Naïve Bayesian Classifier: Järjestelmä, joka tutkii todennäköisyyttä, että jokainen sana uudessa asiakirjassa on peräisin sanan jakelusta, joka on johdettu koulutetusta reagoivasta asiakirjasta tai koulutetuista ei-reagoivista asiakirjoista. Järjestelmä on naiivi siinä mielessä, että se olettaa, että kaikki sanat ovat toisistaan riippumattomia.

Neuraaliverkko: Keinotekoinen hermoverkko (ANN) on laskennallinen malli. Se perustuu biologisten hermoverkkojen rakenteeseen ja toimintoihin. Se toimii kuten ihmisen aivot käsittelevät tietoa. Se sisältää suuren määrän yhdistettyjä käsittelyyksiköitä, jotka toimivat yhdessä tietojen käsittelemiseksi.

Todennäköisyysperusteinen piilevä semanttinen analyysi (PLSA): Tämä on hengeltään samankaltainen kuin LSA, mutta se käyttää todennäköisyyspohjaista mallia saavuttaakseen tuloksia, joiden odotetaan olevan parempia.

Satunnaiset metsät: Ensemble -oppimismenetelmä luokittelu-, regressio- ja muita tehtäviä varten, jotka toimivat rakentamalla useita päätöksentekopuita harjoittelun aikana ja suorittamalla luokan, joka on yksittäisten puiden luokkien (luokittelu) tai keskimääräinen ennustus (regressio). Satunnainen päätös metsät oikea päätös puiden tapana overfit niiden koulutus asettaa.

Merkityksellisyys Palaute: Aktiivinen oppimisprosessi, jossa ihminen koodaa dokumentit, joilla on suurin todennäköisyys merkitykselle, ja lisätään harjoitussarjaan.

Tuki Vector Machine: Matemaattinen lähestymistapa, joka pyrkii löytämään rivin, joka erottaa reagoivan ei-reagoivista asiakirjoista siten, että ihanteellisesti kaikki reagoivat asiakirjat ovat rivin toisella puolella ja kaikki ei-reagoivat ovat toisella puolella.

Yleiset TAR-protokollat (5, 6, 7, 8 9,10)

Lisäksi näitä tekniikoita käytetään yleensä osana TAR-protokollaa, joka määrittää, miten tekniikoita käytetään. Esimerkkejä TAR-protokollasta ovat:

Luetteloitu aakkosjärjestyksessä

Continuous Active Learning® (CAL®): CAL® -menetelmässä Maura R. Grossman ja Gordon V. Cormack ovat kehittäneet, käyttäneet ja kannattaneet TAR-menetelmää peruskoulutuksen jälkeen, oppija valitsee toistuvasti seuraavaksi todennäköisimmin oleelliset asiakirjat (joita ei ole vielä otettu huomioon) tarkistettaviksi, koodaukseksi ja koulutukseen, ja jatkaa niin, kunnes se ei enää löydä merkityksellisempiä asiakirjoja. Toisenlaisia arvosteluja ei yleensä tehdä, sillä kun oppija lopettaa oppimisen, kaikki oppijan merkityksellisiksi katsomat asiakirjat on jo tunnistettu ja tarkastettu manuaalisesti.

Hybrid Multimodal Method: E-Discovery Team (Ralph Losey) kehittämä lähestymistapa, joka sisältää kaikentyyppiset hakumenetelmät. Ensisijaisesti riippuvainen ennakoivasta koodauksesta ja korkea-arvoisten asiakirjojen käyttö jatkuvaan aktiiviseen harjoitteluun.

Scalable Continuous Active Learning (S-CAL): S-CAL ja CAL® välinen olennainen ero on se, että S-CAL on valittu merkitsemistä varten vain rajallinen otos kustakin peräkkäisestä erästä, ja prosessi jatkuu, kunnes keräys — tai suuri satunnaisnäyte kokoelmasta — loppuu. Yhdessä äärelliset otokset muodostavat ositetun otoksen asiakirjapopulaatiosta, josta voidaan johtaa tilastollinen estimaatti ρ.

Simple Active Learning (SAL): Sal-menetelmissä oppija valitsee peruskoulutuksen jälkeen asiakirjat, jotka opettajan on tarkastettava ja koodattava, ja niitä käytetään harjoitusesimerkkeinä ja valitsee edelleen esimerkkejä, kunnes se on riittävän koulutettu. Tyypillisesti oppijan valitsemia asiakirjoja ovat ne, joista oppija on vähiten varma ja joista siksi se oppii eniten. Kun oppija on koulutettu riittävästi, sen jälkeen käytetään merkitsemään kaikki kokoelman asiakirjat. Kuten SPL:ssä, merkityksellisiksi merkityt asiakirjat tarkistetaan yleensä manuaalisesti.

Simple Passive Learning (SPL): Yksinkertaisissa passiivisissa oppimismenetelmissä opettaja (eli ihminen) valitsee koulutusesimerkkeinä käytettävät asiakirjat; oppija on koulutettu näitä esimerkkejä käyttäen, ja kun se on riittävän koulutettu, sitä käytetään merkitsemään kaikki kokoelman asiakirjat asiaankuuluviksi tai ei- merkityksellistä. Yleensä oppijan merkityksellisiksi merkitsemät asiakirjat tarkistetaan manuaalisesti. Tämä manuaalinen tarkastelu edustaa pientä murto-osaa kokoelmasta ja siten pienen murto-osan perusteellisen manuaalisen tarkastelun ajasta ja kustannuksista.

TAR työnkulut (11)

TAR-työnkulut edustavat ennakoivien koodaustekniikoiden ja protokollien käytännön soveltamista ennakoivan koodaustehtävien suorittamiseen. Kolme esimerkkiä TAR-työnkuluista ovat:

TAR 1.0 sisältää harjoitusvaiheen, jota seuraa tarkistusvaihe, jossa ohjainjoukkoa käytetään määrittämään optimaalisen pisteen, kun harjoittelusta vaihdetaan tarkistukseen. Järjestelmä ei enää opi, kun harjoitusvaihe on suoritettu. Tarkastusryhmä on satunnainen joukko asiakirjoja, jotka on tarkastettu ja merkitty merkityksellisiksi tai ei-merkityksellisiksi. Ohjausjoukon asiakirjoja ei käytetä järjestelmän kouluttamiseen. Niitä käytetään arvioimaan järjestelmän ennusteita, jotta koulutus voidaan lopettaa, kun lisäkoulutuksen hyödyt eivät enää ylitä lisäkoulutuksesta aiheutuvia kustannuksia. Koulutus voi tapahtua satunnaisesti valituilla dokumenteilla, jotka tunnetaan nimellä Simple Passive Learning (SPL), tai siihen voi kuulua asiakirjoja, jotka järjestelmä valitsee optimoimaan oppimisen tehokkuutta, eli Simple Active Learning (SAL).

TAR 2.0 käyttää Continuous Active Learning® (CAL®) -menetelmää, mikä tarkoittaa, että koulutuksen ja tarkastelun välillä ei ole eroa — järjestelmä oppii jatkuvasti koko ajan. Vaikka asiakirjojen valinnassa voidaan käyttää monia lähestymistapoja tarkistettavaksi, CAL® -järjestelmän merkittävä osa on useita toistoja siitä, mitkä asiakirjat ovat todennäköisimmin merkityksellisiä, niiden tarkistaminen ja ennusteiden päivittäminen. Toisin kuin TAR 1.0, TAR 2.0 on yleensä erittäin tehokas myös silloin, kun esiintyvyys on alhainen. Koska koulutuksen ja tarkastelun välillä ei ole eroa, TAR 2.0 ei edellytä ohjausjoukkoa. Ohjausjoukon muodostamiseen voi kuulua useiden muiden kuin merkityksellisten asiakirjojen lukumäärän tarkistaminen (erityisesti silloin, kun esiintyvyys on alhainen), joten kontrollien välttäminen on toivottavaa.

TAR 3.0 vaatii laadukkaan käsitteellisen klusterointialgoritmin, joka muodostaa suppeasti keskittyneitä kiinteän kokoisia klustereita konseptitilassa. Se soveltaa TAR 2.0 -menetelmää vain klusterikeskuksiin, mikä varmistaa, että monipuoliset potentiaalisesti relevantit asiakirjat tarkistetaan. Kun enää relevantteja klusterikeskuksia ei löydy, tarkistettuja klusterikeskuksia käytetään harjoitusasiakirjoina, joiden avulla voidaan ennustaa koko asiakirjajoukolle. Ohjauslaitteelle ei ole tarvetta — järjestelmä on hyvin koulutettu, kun muita relevantteja klusterikeskuksia ei löydy. Tarkastettujen klusterikeskusten analyysi antaa arvion esiintyvyydestä ja sellaisten ei-merkityksellisten asiakirjojen määrästä, jotka tuotettaisiin, jos asiakirjat olisi tuotettu pelkästään ennusteiden perusteella ilman ihmisen arviointia. Käyttäjä voi päättää tuottaa asiakirjoja (joita ei ole tunnistettu mahdollisesti etuoikeutetuiksi) ilman tarkastusta, kuten TAR 1.0:n SAL (mutta ilman ohjausjoukkoa), tai hän voi päättää tarkistaa asiakirjoja, joilla on liian suuri riski olla merkityksetön (jota voidaan käyttää järjestelmän lisäkoulutuksena eli CAL®). Tärkeintä on, että käyttäjällä on tarvittavat tiedot tehdäkseen päätöksen siitä, miten edetä sen jälkeen, kun klusterikeskukset ovat todennäköisesti merkityksellisiä, eikä mitään tehdä ennen kuin päätös mitätöi kyseisen kohdan (vertaa TAR 1.0: n alkamista, kontrolliresarjan tarkistamista, etsimistä että ennustukset eivät ole riittävän hyviä tuottamaan asiakirjoja ilman tarkistusta ja vaihtamalla TAR 2.0:een, mikä tekee ohjausobjektin käytännöllisesti katsoen hyödyttömäksi).

TAR käyttötarkoitukset (12)

TAR-teknologioita, protokollia ja työnkulkuja voidaan käyttää tehokkaasti auttamaan eDiscoveryn ammattilaisia suorittamaan monia tiedonkeruu- ja oikeudellisia hakutehtäviä. Yhdeksän yleisesti tarkasteltua esimerkkiä TAR-käytöstä ovat:

Asianomaisten asiakirjojen tunnistaminen

Varhaisen tapauksen arviointi/tutkinta

Arvioinnin priorisointi

Luokitelu (ongelmien, luottamuksellisuuden tai yksityisyyden mukaan)

Oikeuksien tarkistus

Laadunvalvonta ja laadunvarmistus

Saapuvien tuotantojen tarkastelu

Hävittämisen/kokeiden valmistelu

Tietohallinto ja tietojen luovutus

Kyselyn tiedot (13,14,15,16,17,18)

Viittauksia

(1) Grossman, M. ja Cormack, G. (2013). Grossman-Cormack Sanasto teknologia-avusteinen Review. [eBook] Liittovaltion tuomioistuimet Law Review. Saatavilla osoitteessa http://www.fclr.org/fclr/articles/html/2010/grossman.pdf [Pääsy 31. elokuuta 2018].

(2) Dimm, B. (2018). Ennakoivan koodauksen asiantuntemusta. [sähköposti].

(3) Roitblat, H. (2013). Johdatus ennustavaan koodaukseen. Orcatec. Saatavilla osoitteessa: 31.8.2018].

(4) Tredennick, J. ja Pickens, J. (2017). Deep Learning in E-Discovery: Liikkuvat ohi Hype. [verkossa] CatalystSecure.com. Saatavilla osoitteessa: 31.8.2018].

(5) Grossman, M. ja Cormack, G. (2017). Teknologia-avusteinen tarkastelu sähköisen löytämisen. [eBook] Saatavilla osoitteessa: 31 elokuu 2018].

(6) Grossman, M. ja Cormack, G. (2016). Jatkuva aktiivinen oppiminen TAR. [eBook] Käytännön laki. Saatavilla osoitteessa: 31.8.2018].

(7) Grossman, M. ja Cormack, G. (2016). Jatkuvan aktiivisen oppimisen skaalautuvuus luotettavaan korkean Recall Text Classification. [eBook] Saatavilla osoitteessa: 3 syyskuu 2018].

(8) Losey, R., Sullivan, J. ja Reichenberger, T. (2015). e-Discovery Team TREC 2015 Total Recall Track. [eBook] Saatavilla osoitteessa: [Pääsy 1 syyskuu 2018].

(9) ”Jatkuva aktiivinen oppiminen tavaramerkki Maura Grossman ja Gordon V. Cormack - Rekisterinumero 5876987 - Sarjanumero 86634255:: Justia Tavaramerkit”. Tavaramerkkejä.Justia.com, 2020, [Käytetty 12.2.2020].

(10) ”CAL Tavaramerkki Maura Grossman ja Gordon V. Cormack - Rekisterinumero 5876988 - Sarjanumero 86634265:: Justia Tavaramerkit”. Tavaramerkkejä.Justia.com, 2020, [Käytetty 12.2.2020].

(11) Dimm, B. (2016), TAR 3.0 Suorituskyky. [online] Klustify Blogi — eDiscovery, Dokumenttiklusterointi, Ennakoiva koodaus, Tiedonhaku ja ohjelmistokehitys. Saatavilla osoitteessa: 18.2.2019].

(12) Sähköinen löytö viitemalli (EDRM) (2019). Teknologiaavusteisen tarkastelun (TAR) ohjeet. [verkossa] Saatavilla osoitteessa: 18.2.2019].

(13) Dimm, B. (2018). TAR, suhteellisuus ja huonot algoritmit (1-NN). [online] Klustify Blogi — eDiscovery, Dokumenttiklusterointi, Ennakoiva koodaus, Tiedonhaku ja ohjelmistokehitys. Saatavilla osoitteessa: 31.8.2018].

(14) Robinson, R. (2013). Juoksevat tulokset: Ennakoiva koodaus yhden kysymyksen tarjoajan toteutustutkimus. [online] ComplexDiscovery: eDiscovery-tiedot. Saatavilla osoitteessa: 31.8.2018].

(15) Robinson, R. (2018). Running List: Top 100+eDiscovery-palveluntarjoajat. [online] ComplexDiscovery: eDiscovery-tiedot. Saatavilla osoitteessa: 31.8.2018].

(16) Robinson, R. (2018) Suhteellisesti puhuminen: Predictive Coding Technologies ja protokollat Survey tulokset [online] ComplexDiscovery: eDiscovery Information. Saatavilla osoitteessa: 18.2.2019].

(17) Robinson, R. (2019) Aktiivisesti oppiminen? Ennakoiva koodaus teknologiat ja protokollat kyselyn tulokset [online] ComplexDiscovery: eDiscovery Information. Saatavilla osoitteessa: 22.8.2019]

(18) Robinson, R. (2019) Alustoista työnkulkuihin: Predictive Coding Technologies and Protocols Survey - Syksy 2019 Tulokset [online] ComplexDiscovery: eDiscovery Information. Saatavilla osoitteessa: [Pääsy 12.2.2020].

Napsauta tätä, jos haluat antaa tiettyjä lisäyksiä, korjauksia ja päivityksiä.

Lähde: ComplexDiscovery

eDiscovery Business Luottamuskyselyn tulokset — Kesä 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Voimaannuttamisen tukipilari? GDPR-tietosuojan arviointi ja tarkistaminen

The general view is that two years after it started to...

Pisteiden yhdistäminen: eDiscoveryn harkitseminen aloittajista ekosysteemiin

From a macro perspective, connecting the dots in eDiscovery is to...

XDD hankkii RVM:n

According to XDD CEO Bob Polus, “Merging forces with RVM further...

A Running List: Top 100+ eDiscovery Providers

Based on a compilation of research from analyst firms and industry...

eDisclosure Systems Buyers Guide — 2020 Edition (Andrew Haslam)

Authored by industry expert Andrew Haslam, the eDisclosure Buyers Guide continues...

Kisa lähtöviivalle? Viimeaikaiset Secure Remote Review -ilmoitukset

Not all secure remote review offerings are equal as the apparent...

EtäeDiscoveryn ottaminen käyttöön? Tilannekuva DAAasista

Desktop as a Service (DaaS) providers are becoming important contributors to...

Kotiin vai pois? eDiscovery Malliston markkinoiden mitoitukseen ja hinnoitteluun liittyvät näkökohdat

One of the key home (onsite) or away (remote) decisions that...

Tarkistuksia ja päätöksiä? Uusia huomioita eDiscovery Secure Remote -arvosteluille

One of the key revision and decision areas that business, legal,...

Makrokatsaus menneisyyteen ja ennustettuun eDiscoveryn markkina-kokoon 2012—2024

From a macro look at past estimations of eDiscovery market size...

eDiscovery Market Size Mashup: 2019-2024 Maailmanlaajuiset ohjelmistot ja palvelut yleiskatsaus

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

eDiscovery Business Luottamuskyselyn tulokset — Kesä 2020

This is the nineteenth quarterly eDiscovery Business Confidence Survey conducted by...

Kysymys hinnoittelusta? Puolivuotisten eDiscovery-hinnoittelukyselyn vastausten käynnissä oleva päivitys

First administered in December of 2018 and conducted four times during...

Pandemtaloudellinen indikaattori? Kesä 2020 eDiscovery -hinnoittelukyselyn tulokset

Based on the complexity of data and legal discovery, it is...

COVID-19 rajoitettu? Kuuden kysymyksen vaikutus eDiscoveryn liiketoimintaan

In the spring of 2020, 51.2% of respondents viewed budgetary constraints...

XDD hankkii RVM:n

According to XDD CEO Bob Polus, “Merging forces with RVM further...

Ipro hankkii NetGovernin

According to Dean Brown, CEO at Ipro Tech, “We are thrilled...

Morae hankkii oikeudellisen johdon konsultointi Janders Dean

According to Janders Dean founder Justin North, "Now more than ever,...

eDiscovery Sulautumiset, yritysostot ja investoinnit Q2 2020 -ohjelmassa

From UnitedLex to Onna, ComplexDiscovery findings, data points, and tracking information...

Viisi suurta lukua eDiscovery-ohjelmassa kesäkuulle 2020

From collection market size updates to cloud outsourcing guidelines, the June...

Viisi suurta lukua eDiscovery-ohjelmassa toukokuulle 2020

From review market sizing revisions to pandemeconomic pricing, the May 2020...

Viisi suurta lukua eDiscoverystä huhtikuussa 2020

From business confidence to the boom of Zoom, the April 2020...

Viisi suurta lukua tiedonkeruusta ja oikeudellisesta löydöstä maaliskuussa 2020

From business continuity considerations to cybersecurity attacks, the March 2020 edition...