Desafíos de ciberseguridad para la inteligencia artificial: considerando el ciclo de vida de la IA

Artificial Intelligence (AI) is influencing people’s everyday lives and playing a key role in digital transformation through its automated decision-making capabilities. The benefits of this emerging technology are significant, but so are the concerns. In this recent report, The EU Agency for Cybersecurity (ENISA) warns that AI may open new avenues in manipulation and attack methods, as well as new privacy and data protection challenges.

en flag
nl flag
et flag
fi flag
fr flag
de flag
pt flag
ru flag
es flag

Nota del editor: La Agencia de Ciberseguridad de la Unión Europea, ENISA, es la agencia de la Unión dedicada a lograr un alto nivel común de ciberseguridad en toda Europa. En diciembre de 2020, ENISA publicó el informe AI Ciberseguridad Challenges - Threat Landscape for Artificial Intelligence. En el informe se presenta la cartografía activa del Organismo del ecosistema de seguridad cibernética de la IA y su paisaje de amenazas. Como parte del informe, se proporciona un modelo genérico de referencia del ciclo de vida para la IA a fin de permitir un enfoque estructurado y metódico para comprender las diferentes facetas de la IA. Este ciclo de vida de IA genérico puede ser beneficioso para los profesionales legales, empresariales y de seguridad de la información en el ecosistema de eDiscovery que empiezan a considerar la ciberseguridad y su relación con la IA.

Desafíos de la Ciberseguridad AI - Agencia de Ciberseguridad de la Unión Europea

Extracto de informe sobre el ciclo de vida de IA compartido con permisión*

Fases del ciclo de vida de la IA

Figura - Modelo de referencia genérico del ciclo de vida de la IA

Modelo genérico de referencia del ciclo de vida de la IA

En esta sección, proporcionamos una definición corta para cada etapa del ciclo de vida de la IA y recapitulamos los pasos individuales que implica («Fase in a Shell»).

Definición de objetivos de negocio

Antes de llevar a cabo cualquier desarrollo de aplicación/sistema de IA, es importante que la organización del usuario comprenda completamente el contexto comercial de la aplicación/sistema de IA y los datos necesarios para alcanzar los objetivos empresariales de la aplicación de IA, así como las métricas de negocio que se utilizarán para evaluar el grado en que estos objetivos se han logrado.

Fase de definición de objetivos de negocio en pocas palabras: Identifique el propósito empresarial de la aplicación/sistema de IA. Vincular el propósito con la pregunta a responder por el modelo de IA que se utilizará en la aplicación/sistema. Identifique el tipo de modelo en función de la pregunta.

Ingestión de datos

La ingestión de datos es la etapa del ciclo de vida de la IA en la que los datos se obtienen de múltiples fuentes (los datos brutos pueden ser de cualquier forma estructurado o no estructurado) para componer puntos de datos multidimensionales, denominados vectores, para su uso inmediato o para su almacenamiento con el fin de ser accedidos y utilizados posteriormente. La ingestión de datos se encuentra en la base de cualquier aplicación de IA. Los datos se pueden ingerir directamente de sus fuentes en tiempo real, de una manera continua también conocida como streaming, o importando lotes de datos, donde los datos se importan periódicamente en macrolotes grandes o en microlotes pequeños.

Diferentes mecanismos de ingestión pueden estar activos simultáneamente en la misma aplicación, sincronizando o desacoplando la ingestión de lotes y flujos de los mismos flujos de datos. Los componentes de ingestión también pueden especificar la anotación de datos, es decir, si la ingestión se realiza con o sin metadatos (diccionario de datos o ontología/taxonomía de los tipos de datos). A menudo, el control de acceso funciona durante la ingestión de datos modelando el estado de privacidad de los datos (datos personales o no personales), eligiendo técnicas adecuadas de preservación de la privacidad y teniendo en cuenta la compensación alcanzable entre el impacto en la privacidad y la precisión analítica. En todos los casos debe garantizarse el cumplimiento del marco jurídico aplicable de la UE en materia de privacidad y protección de datos.

El estado de privacidad asignado a los datos se utiliza para definir el Acuerdo de Nivel de Servicio (SLA) de aplicación AI de acuerdo con el marco legal de protección de datos y privacidad de la UE aplicable, incluyendo, entre otras cosas, la posibilidad de inspeccionar/auditar a las autoridades reguladoras competentes (como la Protección de Datos Autoridades). Es importante señalar que, al ingerir datos, puede surgir un conflicto de gobernanza de TI. Por un lado, los datos son compartimentados por sus propietarios para garantizar el control del acceso y la protección de la privacidad; por otro lado, deben integrarse para permitir el análisis. A menudo, diferentes políticas y reglas de política se aplican a los elementos de la misma categoría. En el caso de las fuentes de datos multimedia, los protocolos de acceso pueden incluso seguir un enfoque de Administración de Derechos Digitales (DRM) en el que la prueba de retención debe negociarse primero con los servidores de licencias. Es responsabilidad del diseñador de aplicaciones de IA asegurarse de que la ingestión se lleva a cabo respetando las políticas de los proveedores de datos sobre el uso de datos y el marco legal aplicable de privacidad y protección de datos de la UE.

Fase de recopilación de datos/ingestión en pocas palabras: Identifique los datos de entrada (dinámicos) que se recopilarán y los metadatos de contexto correspondientes. Organice la ingestión de acuerdo con los requisitos de la aplicación de IA, importando datos en secuencia, por lotes o multimodales.

Exploración de datos

Exploración de datos es la etapa en la que los conocimientos comienzan a tomarse de los datos ingeridos. Aunque se puede omitir en algunas aplicaciones de IA donde los datos se conocen bien, suele ser una fase muy lenta del ciclo de vida de la IA. En esta etapa, es importante comprender el tipo de datos que se recopilaron. Debe hacerse una distinción clave entre los diferentes tipos posibles de datos, siendo numérico y categórico las categorías más destacadas, junto con los datos multimedia (por ejemplo, imagen, audio, vídeo, etc.). Los datos numéricos se prestan a trazar y permiten calcular estadísticas descriptivas y verificar si los datos se ajustan a distribuciones paramétricas simples como la gaussiana. Los valores de datos faltantes también se pueden detectar y manejar en la etapa de exploración. Las variables categóricas son aquellas que tienen dos o más categorías pero sin un orden intrínseco. Si la variable tiene un orden claro, entonces se considera como una variable ordinal.

Validación/Exploración de datos en pocas palabras: verifique si los datos se ajustan a una distribución de estadísticas conocida, ya sea por componente (distribuciones mono-variadas) o como vectores (distribución multivariante). Estime los parámetros estadísticos correspondientes.

Procesamiento previo de datos

La etapa de preprocesamiento de datos emplea técnicas para limpiar, integrar y transformar los datos. Este proceso tiene como objetivo mejorar la calidad de los datos que mejorará el rendimiento y la eficiencia del sistema de IA en general, ahorrando tiempo durante la fase de formación de los modelos analíticos y promoviendo una mejor calidad de los resultados. Específicamente, el término limpieza de datos designa técnicas para corregir inconsistencias, eliminar el ruido y anonimizar/seudonimizar datos.

La integración de datos reúne datos procedentes de varias fuentes, mientras que la transformación de datos prepara los datos para alimentar un modelo analítico, normalmente codificándolo en un formato numérico. Una codificación típica es la codificación en caliente utilizada para representar variables categóricas como vectores binarios. Esta codificación requiere primero que los valores categóricos se asignen a valores enteros. A continuación, cada valor entero se representa como un vector binario que es todos los valores cero excepto la posición del entero, que está marcado con un 1.

Una vez convertidos en números, los datos pueden estar sujetos a otros tipos de transformación: re-escalado, estandarización, normalización y etiquetado. Al final de este proceso, se obtiene un conjunto de datos numéricos, que servirá de base para entrenar, probar y evaluar el modelo de IA.

Dado que tener un conjunto de datos lo suficientemente grande es uno de los factores clave de éxito cuando se capacita correctamente un modelo, es común aplicar diferentes técnicas de aumento de datos a aquellos conjuntos de datos de capacitación que son demasiado pequeños. Por ejemplo, es común incluir en un dataset de entrenamiento diferentes versiones escaladas o giradas de imágenes, que ya estaban en ese dataset. Otro ejemplo de la técnica de aumento de datos que se puede utilizar al procesar texto es reemplazar una palabra por su sinónimo. Incluso en los casos en que el conjunto de datos de entrenamiento es lo suficientemente grande, las técnicas de aumento de datos pueden mejorar el modelo entrenado final. También se pueden aumentar los datos para aumentar su cantidad y la diversidad de escenarios abarcados. El aumento de datos generalmente consiste en aplicar transformaciones que se sabe que conservan etiquetas, es decir, el modelo no debe cambiar su salida (es decir, la predicción) cuando se presenta con los elementos de datos transformados. El aumento de datos puede servir para mejorar el rendimiento de un modelo y, en particular, su robustez a perturbaciones benignas. Una tarea en la que el aumento de datos se utiliza de forma predeterminada es la clasificación de imágenes, donde los datos se pueden aumentar aplicando, por ejemplo, traducciones, rotaciones y filtros de desenfoque.

Procesamiento previo de datos en pocas palabras: convertir datos ingeridos a un formato métrico (numérico), integrar datos de diferentes fuentes, manejar valores faltados/nulos por interpolación, densificar para reducir la dispersión de datos, desruido, filtrar valores atípicos, cambiar el intervalo de representación, datos anónimos o pseudonimizar, aumentar los datos.

Selección de elemento

La selección de características (en ingeniería general de características) es la etapa en la que se reduce el número de componentes o entidades (también denominadas dimensiones) que componen cada vector de datos, identificando los componentes que se cree que son los más significativos para el modelo de IA. El resultado es un conjunto de datos reducido, ya que cada vector de datos tiene menos componentes que antes. Además de la reducción de costes computacionales, la selección de características puede traer modelos más precisos.

Además, los modelos construidos sobre datos de dimensiones inferiores son más comprensibles y explicables. Esta etapa también se puede incrustar en la fase de creación del modelo (por ejemplo, cuando se procesan datos de imagen o voz), que se discutirá en la siguiente sección.

Selección de entidades en pocas palabras: Identifique las dimensiones del conjunto de datos que representan un parámetro global, por ejemplo, la varianza general de las etiquetas. Proyecte el conjunto de datos a lo largo de estas dimensiones, descartando las demás.

Selección de modelo/construcción

Esta etapa realiza la selección/construcción del mejor modelo o algoritmo de IA para analizar los datos. Es una tarea difícil, a menudo sujeta a prueba y error. Basándose en el objetivo empresarial y el tipo de datos disponibles, se pueden utilizar diferentes tipos de técnicas de IA. Las tres categorías principales identificadas comúnmente son el aprendizaje supervisado, el aprendizaje no supervisado y los modelos de aprendizaje de refuerzo. Las técnicas supervisadas tratan los datos etiquetados: el modelo de IA se utiliza para aprender el mapeo entre los ejemplos de entrada y las salidas de destino.

Los modelos supervisados se pueden diseñar como Clasificadores, cuyo objetivo es predecir una etiqueta de clase, y Regresores, cuyo objetivo es predecir una función de valor numérico de las entradas. Aquí algunos algoritmos comunes son las máquinas vectoriales de soporte, Bayes naïve, el modelo oculto de Markov, las redes bayesianas y las redes neuronales.

Las técnicas no supervisadas utilizan datos de capacitación no etiquetados para describir y extraer relaciones de ella, ya sea con el objetivo de organizarlo en clústeres, resaltar la asociación entre el espacio de entrada de datos, resumir la distribución de los datos y reducir la dimensionalidad de los datos (este tema ya se abordó como un para la preparación de datos en la sección sobre selección de entidades). El aprendizaje de refuerzo mapea situaciones con acciones, aprendiendo comportamientos que maximizarán una función de recompensa deseada.

Si bien el tipo de datos de capacitación, etiquetados o no, es clave para el tipo de técnica que se va a utilizar y seleccionar, los modelos también pueden construirse desde cero (aunque esto es bastante poco probable), con el científico de datos diseñando y codificando el modelo, con las técnicas inherentes de ingeniería de software; o construyendo un modelo por combinando una composición de métodos. Es importante señalar que la selección del modelo (es decir, elegir el modelo adaptado a los datos) puede desencadenar una mayor transformación de los datos de entrada, ya que los diferentes modelos de IA requieren diferentes codificaciones numéricas de los vectores de datos de entrada.

En términos generales, la selección de un modelo también incluye la elección de su estrategia de entrenamiento. En el contexto del aprendizaje supervisado, por ejemplo, la formación implica computar (una función de aprendizaje de) la diferencia entre la salida del modelo cuando recibe cada elemento de datos del conjunto de entrenamiento D como entrada, y la etiqueta de D. Este resultado se utiliza para modificar el modelo con el fin de disminuir la diferencia.

Muchos algoritmos de entrenamiento para minimizar errores están disponibles, la mayoría de ellos basados en el descenso de gradiente. Los algoritmos de entrenamiento tienen sus propios hiperparámetros, incluyendo la función que se utilizará para calcular el error del modelo (por ejemplo, error cuadrado medio), y el tamaño del lote, es decir, el número de muestras etiquetadas que se van a alimentar al modelo para acumular un valor del error que se utilizará para adaptar el modelo en sí.

Selección de modelo AI en pocas palabras: Elija el tipo de modelo de IA adecuado para la aplicación. Codificar los vectores de entrada de datos para que coincida con el formato de entrada preferido del modelo.

Formación modelo

Después de seleccionar un modelo de IA, que en el contexto de este modelo de referencia se refiere principalmente a un modelo de aprendizaje automático (ML), comienza la fase de entrenamiento del sistema de IA. En el contexto del aprendizaje supervisado, el modelo de ML seleccionado debe pasar por una fase de entrenamiento, donde los parámetros internos del modelo como pesos y sesgo se aprenden de los datos. Esto permite que el modelo adquiera comprensión sobre los datos que se están utilizando y así ser más capaz de analizarlos. Nuevamente, el entrenamiento implica calcular (una función de) la diferencia entre la salida del modelo cuando recibe cada elemento de datos del conjunto de entrenamiento D como entrada, y la etiqueta de D. Este resultado se utiliza para modificar el modelo con el fin de disminuir la diferencia entre el resultado inferido y el resultado deseado y, por lo tanto, conduce progresivamente a resultados más precisos y esperados.

La fase de entrenamiento alimentará al modelo ML con lotes de vectores de entrada y utilizará la función de aprendizaje seleccionada para adaptar los parámetros internos del modelo (pesos y sesgos) basados en una medida (por ejemplo, lineal, cuadrática, pérdida de registro) de la diferencia entre la salida del modelo y las etiquetas. A menudo, el conjunto de datos disponible se divide en esta etapa en un conjunto de entrenamiento, utilizado para establecer los parámetros del modelo, y un conjunto de pruebas, donde los criterios de evaluación (por ejemplo, tasa de error) solo se registran para evaluar el rendimiento del modelo fuera del conjunto de entrenamiento. Los esquemas de validación cruzada dividen aleatoriamente varias veces un conjunto de datos en un entrenamiento y una porción de prueba de tamaños fijos (por ejemplo, 80% y 20% de los datos disponibles) y luego repiten las fases de entrenamiento y validación en cada partición.

Formación de modelos de IA en pocas palabras: Aplique el algoritmo de entrenamiento seleccionado con los parámetros adecuados para modificar el modelo elegido de acuerdo con los datos de entrenamiento. Validar la formación del modelo en el conjunto de pruebas de acuerdo con una estrategia de validación cruzada.

Ajuste del modelo

El ajuste del modelo generalmente se superpone con el entrenamiento del modelo, ya que el ajuste generalmente se considera dentro del proceso de entrenamiento. Optamos por separar las dos etapas del ciclo de vida de la IA para resaltar las diferencias en términos de funcionamiento funcional, aunque es muy probable que en la mayoría de los sistemas de IA ambos formen parte del proceso de formación.

Ciertos parámetros definen conceptos de alto nivel sobre el modelo, como su función o modalidad de aprendizaje, y no se pueden aprender de los datos de entrada. Estos parámetros especiales, a menudo llamados hiperparámetros, deben configurarse manualmente, aunque en determinadas circunstancias se pueden ajustar automáticamente buscando en el espacio de los parámetros del modelo. Esta búsqueda, llamada optimización de hiperparámetros, a menudo se realiza utilizando técnicas de optimización clásicas como la búsqueda en cuadrícula, pero la búsqueda aleatoria y la optimización bayesiana se pueden usar. Es importante señalar que la etapa Model Tuning utiliza un conjunto de datos especial (a menudo llamado conjunto de validación), distinto de los conjuntos de entrenamiento y prueba utilizados en las etapas anteriores. También puede considerarse una fase de evaluación para estimar los límites de los productos y evaluar cómo se comportaría el modelo en condiciones extremas, por ejemplo, utilizando conjuntos de datos incorrectos o inseguros. Es importante tener en cuenta que, dependiendo del número de hiperparámetros a ajustar, probar todas las combinaciones posibles puede no ser factible.

AI Model Sintonización en pocas palabras: Aplique la adaptación del modelo a los hiperparámetros del modelo de IA entrenado utilizando un conjunto de datos de validación, de acuerdo con la condición de implementación.

Transferir aprendizaje

En esta fase, la organización de usuarios obtiene un modelo de IA preentrenado y ajustado y lo utiliza como punto de partida para la formación posterior para lograr una convergencia más rápida y mejor. Esto suele ser el caso cuando hay pocos datos disponibles para la capacitación. Cabe señalar que todos los pasos descritos anteriormente (ajuste, pruebas, etc.) también se aplican para el aprendizaje de transferencia. Además, dado que en muchos casos se está aplicando el aprendizaje de transferencia, uno puede considerar el aprendizaje de transferencia como parte de la fase de formación modelo, dado que el aprendizaje de transferencia suele servir como punto de partida del algoritmo de entrenamiento. Para garantizar un alcance más amplio, distinguimos el aprendizaje de transferencia en una fase distinta del ciclo de vida de la IA que se presenta aquí.

Transferir aprendizaje en pocas palabras: obtenga un modelo de IA preentrenado en el mismo dominio de aplicación y aplique capacitación adicional, según sea necesario para mejorar su precisión en producción.

Implementación de

Un modelo de aprendizaje automático traerá conocimiento a una organización solo cuando sus predicciones estén disponibles para los usuarios finales. La implementación es el proceso de tomar un modelo capacitado y ponerlo a disposición de los usuarios.

Implementación de modelos en pocas palabras: Genere una encarnación en producción del modelo como software, firmware o hardware. Implemente la encarnación del modelo en el perímetro o en la nube, conectando flujos de datos en producción.

Mantenimiento del modelo

Después de la implementación, los modelos de IA deben ser monitoreados y mantenidos continuamente para manejar los cambios de concepto y las posibles derivaciones conceptuales que puedan surgir durante su operación. Un cambio de concepto ocurre cuando cambia el significado de una entrada al modelo (o de una etiqueta de salida), por ejemplo, debido a las regulaciones modificadas. Una deriva de concepto ocurre cuando el cambio no es drástico sino que emerge lentamente. La deriva se debe a menudo a la incrustación del sensor, es decir, una evolución lenta a lo largo del tiempo en la resolución del sensor (la diferencia detectable más pequeña entre dos valores) o al intervalo de representación general. Una estrategia popular para manejar el mantenimiento del modelo es el reaprendizaje basado en ventanas, que se basa en puntos de datos recientes para crear un modelo ML. Otra técnica útil para el mantenimiento del modelo de IA es la prueba de vuelta. En la mayoría de los casos, la organización de usuarios sabe lo que sucedió después de la adopción del modelo de IA y puede comparar la predicción del modelo con la realidad. Esto pone de relieve los cambios de concepto: si cambia un concepto subyacente, las organizaciones ven una disminución del rendimiento. Otra forma de detectar estas derivas de conceptos puede implicar caracterizar estadísticamente el conjunto de datos de entrada utilizado para entrenar el modelo de IA, de modo que sea posible comparar este conjunto de datos de entrenamiento con los datos de entrada actuales en términos de propiedades estadísticas. Las diferencias significativas entre los conjuntos de datos pueden indicar la presencia de posibles derivas conceptuales que pueden requerir que se lleve a cabo un proceso de reaprendizaje, incluso antes de que la salida del sistema se vea afectada significativamente. De esta manera, los procesos de readiestramiento/reaprendizaje, que pueden consumir tiempo y recursos, sólo pueden llevarse a cabo cuando sea necesario en lugar de periódicamente, como en las estrategias de reaprendizaje basadas en ventanas antes mencionadas. El mantenimiento del modelo también refleja la necesidad de supervisar los objetivos y activos empresariales que podrían evolucionar con el tiempo y, en consecuencia, influir en el propio modelo.

Mantenimiento del modelo en pocas palabras: Monitorear los resultados de inferencia ML del modelo de IA implementado, así como los datos de entrada recibidos por el modelo, con el fin de detectar posibles cambios de concepto o derivas. Vuelva a entrenar el modelo cuando sea necesario.

Comprensión empresarial

Construir un modelo de IA a menudo es costoso y siempre requiere mucho tiempo. Plantea varios riesgos para el negocio, incluido el no tener un impacto significativo en la organización del usuario, así como la falta de plazos en producción después de completarse. La comprensión empresarial es la etapa en la que las empresas que implementan modelos de IA obtienen información sobre el impacto de la IA en su negocio e intentan maximizar la probabilidad de éxito.

Comprensión empresarial en pocas palabras: evalúe la propuesta de valor del modelo de IA implementado. Estime (antes de la implementación) y verifique (después de la implementación) su impacto en el negocio.

Desafío de ciberseguridad en inteligencia artificial

Leer el informe completo (PDF)

Informe ENISA: Desafíos de la Ciberseguridad de IA

Lea la comunicación original.

*Compartido con permiso bajo licencia Creative Commons — Attribution 4.0 International (CC BY 4.0) — licencia.

Lectura adicional

¿Costes en aumento? Considerando la economía de la violación de datos

La suerte de los irlandeses? La Comisión de Protección de Datos de Irlanda publica el Informe Anual

Fuente: CompleXDiscovery

¿Ataque SPAC? Cellebrite avanza hacia convertirse en una empresa pública

According to Adam Clammer, Chief Executive Officer of TWC Tech Holdings,...

Cobra Legal Solutions recibe inversión de Blue Sage Capital

According to Eric Weiner, Partner at Blue Sage, “We are excited...

Fusiones, adquisiciones e inversiones de eDiscovery en el primer trimestre de 2021

From Relativity and Reveal to Compliance (System One) and Veristar, the...

¿Riesgo cibernético y recompensa? Kroll adquiere Redscan

According to Redscan CEO, Mike Fenton, “Merging Redscan’s innovative culture and...

¿Una nueva era en eDiscovery? Enmarcar el crecimiento del mercado a través de la lente de las seis eras

There are many excellent resources for considering chronological and historiographical approaches...

Un Mashup de tamaño de mercado de eDiscovery: 2020-2025 Información general sobre software y servicios en todo el mundo

While the Compound Annual Growth Rate (CAGR) for worldwide eDiscovery software...

¿Restablecer la línea base? Ajustes de tamaño de mercado de eDiscovery para 2020

An unanticipated pandemeconomic-driven retraction in eDiscovery spending during 2020 has resulted...

¿A casa o a distancia? Consideraciones sobre el tamaño del mercado y los precios de la colección eDiscovery

One of the key home (onsite) or away (remote) decisions that...

Cinco excelentes lecturas sobre eDiscovery para marzo de 2021

From data breach economics and vulnerabilities to private-equity investments and vendor...

Cinco excelentes lecturas sobre eDiscovery para febrero de 2021

From litigation trends and legal tech investing to facial recognition and...

Cinco excelentes lecturas sobre eDiscovery para enero de 2021

From eDiscovery business confidence and operational metrics to merger and acquisition...

Cinco excelentes lecturas sobre eDiscovery para diciembre de 2020

May the peace and joy of the holiday season be with...

Cobra Legal Solutions recibe inversión de Blue Sage Capital

According to Eric Weiner, Partner at Blue Sage, “We are excited...

¿Corporación Z? ZApproved Versiones de ZDiscovery Platform

According to the announcement, Monica Enand, Zapproved Founder and CEO, shared,...

¿Cabeza en las Nubes? Actualizaciones de revisión de versiones CloudNine

According to Tony Caputo, CEO of CloudNine, “CloudNine is 100% dedicated...

¿Todos para Uno y Uno para Todos? Epiq lanza una experiencia de cliente digital unificada

According to the announcement, Epiq Access is available globally and provides...

¿Un optimismo calentador? Encuesta de confianza empresarial Spring 2021 eDiscovery

The eDiscovery Business Confidence Survey is a nonscientific quarterly survey designed...

¿Captura para clima frío? Encuesta de Tecnologías y Protocolos de Codificación Predictiva — Resultados de la primavera 2021

The Predictive Coding Technologies and Protocols Survey is a non-scientific semi-annual...

¿Saliendo del bosque? Dieciocho observaciones sobre la confianza empresarial de eDiscovery en el invierno de 2021

In the winter of 2021, 85.0% of eDiscovery Business Confidence Survey...

Problemas que afectan el rendimiento empresarial de eDiscovery: Una descripción general del invierno 2021

In the winter of 2021, 43.3% of respondents viewed budgetary constraints...