O uso da ferramenta pentaho data integration na migração de dados para implantação do SIGAD/UNICAMP

Abstract

Em 2015, no processo de implantação do novo sistema para gestão dos processos/dossiês produzidos pela Universidade, o Sistema de Gestão Arquivística de Documentos (SIGAD/Unicamp), foi necessário migrar dados do antigo Sistema de Protocolo, em uso desde 1993. Para isso, foi elaborado um projeto utilizando o Pentaho Data Integration, ferramenta open source de ETL (Extract Transform Load) para extração, transformação e carregamento de dados. Devido ao grande volume de dados do sistema legado, foram desenvolvidas 71 transformações para migração gradual e parcial dos dados. Após modelagem das transformações e realização de vários testes, a execução da migração de cerca de 18 milhões de registros levou pouco mais de 3 dias para ocorrer. Os resultados obtidos foram: recuperação dos dados do sistema legado no atual sistema de gestão de processos/dossiês; continuidade dos trabalhos no novo sistema sem interrupção ou necessidade de ter dois sistemas para controle; migração de aproximadamente 780 mil dados de processos/dossiês, de 5 milhões de dados de trâmites de processos/dossiês e de 11 milhões de registros de históricos de ocorrências de processos/dossiês; custo zero na aquisição da ferramenta com o uso da versão Community; desativação total do sistema legado, que fazia uso de ambiente com ferramentas proprietárias. Até o momento não foram encontrados problemas nos dados migrados. Todas as áreas, unidades e órgãos que utilizam o atual Sistema de Gestão Arquivística de Documentos, SIGAD/Unicamp, foram beneficiados com a execução desse trabalho, além de 344 unidades de protocolo e arquivo, que envolvem aproximadamente 1600 agentes cadastrados para a gestão documental.