Quiero cargar un archivo rdf comprimido en un org.eclipse.rdf4j.repository.Repository. Durante la carga, los mensajes de estado deben registrarse en la consola. El tamaño de mi archivo rdf es ~ 1 GB de datos sin comprimir o ~ 50 MB de datos comprimidos.

java rdf gzip rdf4j
1
jschnasse 20 mar. 2017 a las 20:23

2 respuestas

La mejor respuesta

Variante 1

La siguiente muestra cargará un InputStream con datos comprimidos en un repositorio rdf en memoria. El formato comprimido es compatible directamente con rdf4j. Cada declaración número 100000 se imprimirá en stdout usando RepositoryConnectionListenerAdapter.

import java.io.InputStream;

import org.eclipse.rdf4j.model.IRI;
import org.eclipse.rdf4j.model.Resource;
import org.eclipse.rdf4j.model.Value;
import org.eclipse.rdf4j.repository.Repository;
import org.eclipse.rdf4j.repository.RepositoryConnection;
import org.eclipse.rdf4j.repository.event.base.NotifyingRepositoryConnectionWrapper;
import org.eclipse.rdf4j.repository.event.base.RepositoryConnectionListenerAdapter;
import org.eclipse.rdf4j.repository.sail.SailRepository;
import org.eclipse.rdf4j.rio.RDFFormat;
import org.eclipse.rdf4j.sail.memory.MemoryStore;

public class MyTripleStore {

    Repository repo;

    /**
     * Creates an inmemory triple store
     * 
     */
    public MyTripleStore() {
        repo = new SailRepository(new MemoryStore());
        repo.initialize();
    }

    /**
     * @param in gzip compressed data on an inputstream
     * @param format the format of the streamed data
     */
    public void loadZippedFile(InputStream in, RDFFormat format) {
        System.out.println("Load zip file of format " + format);
        try (NotifyingRepositoryConnectionWrapper con =
                new NotifyingRepositoryConnectionWrapper(repo, repo.getConnection());) {
            RepositoryConnectionListenerAdapter myListener =
                    new RepositoryConnectionListenerAdapter() {
                        private long count = 0;
                        @Override
                        public void add(RepositoryConnection arg0, Resource arg1, IRI arg2, 
                                         Value arg3, Resource... arg4) {
                            count++;
                            if (count % 100000 == 0)
                                    System.out.println("Add statement number " + count + "\n" 
                                    + arg1+ " " + arg2 + " " + arg3);
                        }
                    };
            con.addRepositoryConnectionListener(myListener);
            con.add(in, "", format);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }
}

Variante 2

Esta variante implementa un AbstractRDFHandler para proporcionar el informe.

import java.io.InputStream;

import org.eclipse.rdf4j.model.Statement;
import org.eclipse.rdf4j.repository.Repository;
import org.eclipse.rdf4j.repository.RepositoryConnection;
import org.eclipse.rdf4j.repository.sail.SailRepository;
import org.eclipse.rdf4j.repository.util.RDFInserter;
import org.eclipse.rdf4j.repository.util.RDFLoader;
import org.eclipse.rdf4j.rio.RDFFormat;
import org.eclipse.rdf4j.rio.helpers.AbstractRDFHandler;
import org.eclipse.rdf4j.sail.memory.MemoryStore;

public class MyTripleStore {
    Repository repo;

    /**
      * Creates an inmemory triple store
      * 
      */
    public MyTripleStore() {
        repo = new SailRepository(new MemoryStore());
        repo.initialize();
   }

    /**
     * @param in gzip compressed data on an inputstream
     * @param format the format of the streamed data
     */
    public void loadZippedFile1(InputStream in, RDFFormat format) {
        try (RepositoryConnection con = repo.getConnection()) {
            MyRdfInserter inserter = new MyRdfInserter(con);
            RDFLoader loader =
                    new RDFLoader(con.getParserConfig(), con.getValueFactory());
            loader.load(in, "", RDFFormat.NTRIPLES, inserter);
        } catch (Exception e) {
            throw new RuntimeException(e);
        }
    }

    class MyRdfInserter extends AbstractRDFHandler {
        RDFInserter rdfInserter;
        int count = 0;

        public MyRdfInserter(RepositoryConnection con) {
            rdfInserter = new RDFInserter(con);
        }

        @Override
        public void handleStatement(Statement st) {
            count++;
            if (count % 100000 == 0)
                System.out.println("Add statement number " + count + "\n"
                        + st.getSubject().stringValue() + " "
                        + st.getPredicate().stringValue() + " "
                        + st.getObject().stringValue());
            rdfInserter.handleStatement(st);
        }
    }
}

Aquí está, cómo llamar al código

MyTripleStore ts = new MyTripleStore();
ts.loadZippedFile(new FileInputStream("your-ntriples-zipped.gz"),
            RDFFormat.NTRIPLES);
2
jschnasse 19 may. 2017 a las 08:58

En realidad, un repositorio RDF4J procesará automáticamente un archivo comprimido (zip / gzip) correctamente, ya. Entonces simplemente puedes hacer esto:

   RepositoryConnection conn = ... ; // your store connection
   conn.add(new File("file.zip"), null, RDFFormat.NTRIPLES):

Si desea incluir informes, un enfoque diferente (algo más simple) es usar una clase org.eclipse.rdf4j.repository.util.RDFLoader en combinación con un RDFInserter:

RepositoryConnection conn = ... ; // your store connection
RDFInsert inserter = new RDFInserter(conn);
RDFLoader loader = new RDFLoader(conn.getParserConfig(), conn.getValueFactory());

loader.load(new File("file.zip"), RDFFormat.NTRIPLES, inserter));

El RDFLoader se encarga de descomprimir correctamente el archivo (zip o gzip).

Para obtener informes intermedios, puede ajustar su RDFInserter en su propio AbstractRDFHandler personalizado que realiza el recuento y los informes (antes de pasar al insertador de contenedor).

2
Jeen Broekstra 31 mar. 2017 a las 23:21

Preguntas relacionadas

2 Obtenga atributos de archivo GZIP (como 'gzip -l', básicamente relación de compresión)
1 gzip -l devuelve valores incorrectos para el tamaño del archivo sin comprimir

Nuevas preguntas

2 ¿Cómo hacer una lista de array de una cadena dentro de un arraylist?
2 Maven no puede compilar el proyecto con dependencia.
2 Compruebe si se corrigen múltiples afirmaciones si se corrigen, cuando no deben venir una acción
2 Cómo escribir un método de calcular para una calculadora Javafx
2 Java Invoca el hilo comienza en el mismo bucle
3 La consulta SQL devuelve la columna desconocida en donde la cláusula - Springboot
2 Traiga la identificación del líder de clase en la parte superior de la lista con los flujos de Java8
2 Transformar una cadena a una matriz
2 Tratando de ejecutar mi primer programa de lista vinculada en Java e IntelliJ Idea lanza estos errores
4 ¿Cómo implito implementar oyentes removibles cuando se pasan como referencias de lambdas o métodos?
Nuevas preguntas con la etiqueta java >

java

Java es un lenguaje de programación de alto nivel. Utilice esta etiqueta cuando tenga problemas para usar o comprender el idioma en sí. Esta etiqueta rara vez se usa sola y se usa con mayor frecuencia junto con [spring], [spring-boot], [jakarta-ee], [android], [javafx], [hadoop], [gradle] y [maven].

Más sobre java...