51吃瓜

Corpus paralelo de las Naciones Unidas

滨苍迟谤辞诲耻肠肠颈ó苍

El corpus paralelo de las Naciones Unidas (versión 1.0) se compone de los documentos oficiales y otros textos parlamentarios del dominio público de las Naciones Unidas. La mayoría de los documentos están disponibles en los seis idiomas oficiales de las Naciones Unidas. La presente versión del corpus contiene los textos redactados y traducidos manualmente desde 1990 hasta 2014, alineados por frases.

La creación del corpus obedece al compromiso de las Naciones Unidas con el multilingüismo, y a la importancia creciente de la traducción automática estadística en los servicios de traducción del Departamento de la Asamblea General y de Gestión de Conferencias (DAGGC), así como del sistema de traducción automática de las Naciones Unidas, denominado Tapta4UN.

La finalidad del corpus consiste en fomentar el acceso a un recurso lingüístico multilingüe y facilitar la investigación y el desarrollo en diversas labores de procesamiento del lenguaje natural, entre las cuales está la traducción automática. Para mayor flexibilidad, se distribuye no solo como corpus paralelo en seis idiomas sino también en paquetes de bitextos por pares de idiomas específicos.

Los usuarios del corpus de las Naciones Unidas deben acreditar que las Naciones Unidas son la fuente de los datos. Al citar el corpus paralelo de las Naciones Unidas se debe utilizar la siguiente referencia bibliográfica: 

Puede remitir sus consultas a la dirección siguiente: unovgtextsupport@un.org.

Estadísticas del corpus

Estadísticas para documentos alineados por pares:

Las celdas situadas por encima de la diagonal indican el número de documentos y de líneas para cada par de idiomas. Las celdas situadas por debajo de la diagonal indican el número de tokens (unidades indivisibles de significado) para cada par de idiomas. La cifra superior se refiere al idioma indicado en la columna y la cifra inferior al idioma indicado en la fila. Los tokens se contabilizaron después de haber procesado el texto con el segmentador de tokens de Moses. Para los textos en chino se utilizó Jieba antes de aplicar el segmentador de Moses con los parámetros por defecto.

Cláusula de exención de responsabilidad y condiciones de uso

La presente cláusula de exención de responsabilidad forma parte integrante del corpus paralelo de las Naciones Unidas (versión 1.0) y es de obligado cumplimiento para el uso del corpus (no se impone ninguna otra restricción):

• El corpus paralelo de las Naciones Unidas se distribuye sin garantía explícita o implícita de ningún tipo. En particular, las Naciones Unidas no dan garantías de ninguna clase ni responden de que la información que contiene el corpus de las Naciones Unidas sea exacta o completa.
• Las Naciones Unidas no asumirán responsabilidad alguna, en ninguna circunstancia, respecto de los da?os, perjuicios, pérdidas o responsabilidades causados o recibidos que puedan derivarse del uso del corpus de las Naciones Unidas. Se entiende que el usuario utiliza el corpus de las Naciones Unidas por su cuenta y riesgo. El usuario reconoce y acepta específicamente que las Naciones Unidas no son responsables de los actos de ningún usuario. Si el usuario no estuviera conforme con alguno de los materiales que contiene el corpus de las Naciones Unidas, el remedio único y exclusivo al que podrá recurrir será dejar de utilizarlo.
• Al utilizar el corpus de las Naciones Unidas, el usuario debe acreditar que las Naciones Unidas son la fuente de esa información. En la presente publicación se indica cómo citar y referenciar el corpus.
• Nada de lo dispuesto en las presentes cláusulas se considerará una limitación o una renuncia a las prerrogativas e inmunidades de las Naciones Unidas, que están reservadas específicamente.

Organización y formato de los archivos

Todos los documentos están organizados en carpetas por idioma, a?o de publicación y signatura. Las traducciones de cada documento a los demás idiomas se pueden encontrar siguiendo la estructura paralela de carpetas, es decir, para encontrar la traducción de un documento dado a cualquiera de los demás idiomas oficiales (si existe), basta con abrir la misma dirección de archivo (path) en la subcarpeta del idioma buscado.

Para los archivos de cada documento, se decidió utilizar el formato del corpus paralelo JRC-Acquis, basado en el formato TEI. Los documentos conservan la estructura de párrafos original y se han a?adido automáticamente las marcas de segmentación de frases. Los documentos que están disponibles en varios idiomas contienen los hipervínculos para cada uno de los pares de idiomas, de los cuales el máximo posible es 15.

Además de esta distribución con un archivo por documento, también ponemos a disposición de los usuarios bitextos en formato de texto simple que contienen todos los documentos existentes para un par de idiomas dado. Estos archivos son más prácticos para entrenar sistemas de traducción automática estadística.

Si desea obtener más información sobre el proceso de preparación del corpus, sírvase consultar la publicación siguiente: .

Sets de pruebas y de desarrollo

Con los datos de los documentos publicados en 2015 se crearon sets oficiales de desarrollo y de pruebas para todos los idiomas oficiales. De ese conjunto de documentos se hizo una selección aleatoria de 100 (50 para el set de desarrollo y 50 para el set de pruebas de cada par de idiomas). Al igual que en el subcorpus completo alineado, todas las frases que contienen los sets de desarrollo y de pruebas están disponibles en los seis idiomas oficiales, por lo que es posible evaluar cualquier traducción en ambas direcciones.

Los parámetros de referencia para traducción automática figuran en .

Metadatos de los documentos

Cada uno de los archivos en formato XML contiene los metadatos siguientes:

Signatura

Cada documento de las Naciones Unidas tiene una  única. Todas las traducciones de ese documento tienen la misma signatura. Las signaturas se componen de letras y números. Ciertos elementos de las signaturas tienen un significado concreto y otros no. En general, la signatura no indica necesariamente el tema del documento.

Número de trabajo de traducción

Es un identificador único para cada documento en un idioma concreto.

Fecha de publicación

Es la fecha de publicación original del documento con su signatura, y es igual para todos los idiomas. Esta fecha no coincide necesariamente con la fecha efectiva de publicación de cada una de las traducciones del documento.

Lugar de procesamiento

Puede ser Nueva York, Ginebra o Viena.

Palabras clave

Pueden referirse a un número indeterminado de temas con los que está relacionado el documento, y siguen la notación de temas del Sistema de Archivo de Documentos (ODS), que a su vez se basa en el