Oficina Archivematica: Curso/Oficina de Archivematica - Repositório Arquivístico Digital Confiável - RDC-Arq para a Pinacoteca e SESC de São Paulo
Prof. Dr. Daniel Flores Líder do Grupo CNPq UFSM Ged/A Pequisador PQ2 CNPq Membro da CTDE do Conarq 08 de Novembro, 2016
a c i t a m e Archiv
OAIS model (Archivematica/Artefactual)
SIGAD’s GestãoDOC
PRO
AIP
RDC-Arq’s Repositórios Arquivísticos Digitais
SIP
OR DUT
AIP AIP
R
TRADO S I N I M D
e-ARQ Brasil/Moreq-JUS: Gestão de Documentos - Somente Idades Corrente e Intermediária:
A
Res. 43 CONARQ: Arquivo Permanente Digital, e Corrente e Intermediário para Docs. Complexos e Longas Temporalidades TRAC Auditoria e Certificação ISO 16.363, OAIS ou SAAI, Metadados METS, Empacotamento BAG-It
Nuxeo DM, KTree, Alfresco, SIE, SIE-Gad?, Archivematica, RODA, SEI, SIGAD-Aer,
DAD’s
DIP Plataformas de Acesso
IDOR M U S N CO
Acesso e Difusão: ISAD(g), NOBRADE, ISDF, ISDIAH, LAI Lei 12.527, EAD, EAC, EAG ICA-AtoM, AtoM, ArchivistToolKit, ContentDM, SepiaDES
FLORES, D., 2015 (Grupo CNPq Ged/A UFSM) 4
Micro-service architecture
Micro-service architecture
Workflow do Archivematica
• Spaces – Local filesystem – NFS – Pipeline local filesystem – LOCKSS – DuraCloud – Arkivum – Swift – Fedora
STORAGE SERVICE
No Storage Service ● ● ●
● ● ● ●
Storage Service entities and organization Archivematica Configuration Spaces ○ Local filesystem ○ NFS ○ Pipeline local filesystem ○ LOCKSS ○ DuraCloud, Amazon S3, Glacier (Cold DATA) ○ Arkivum ○ Swift ○ Fedora Locations Pipelines Packages Administration
RDC-Arq ● Diretrizes para a Implementação de Repositórios Arquivísticos Digitais Confiáveis1 ○ In English: Guideline for the Implementation of Trusted Digital Archival Repositories ○ Defines how to design, build, and deploy a repository that stores archival documents for long-term preservation ○ Promotes authenticity (identity and integrity), confidentiality, access, and preservation ● A Trusted Digital Archival Repository provides preservation AND access to documents for the long term
O Archivematica Integração com terceiros As Instituições de memória têm dedicado grandes recursos ao longo das duas últimas décadas para implementar várias plataformas de software e ferramentas para gerenciar objetos digitais. Por esta razão, busca-se alavancar a força de outras ferramentas de integração sempre que possível. Destaques: AtoM, DSpace, CONTENTdm, Islandora, LOCKSS, DuraCloud, Arkivum, OpenStack and Archivists' Toolkit As aplicações de software integradas em Archivematica são cada uma liberada sob a sua própria licença de código aberto. Estas são verificadas quanto à compatibilidade de licenças antes de serem integradas ao projeto. A lista completa de aplicações com sua respectiva licença está disponível na página de external software tools.
O Archivematica Desenvolvedores e parceiros Este projeto é gerenciado pela Artefactual Systems em colaboração com a UNESCO Memory of the World's Subcommittee on Technology, com a City of Vancouver Archives, Harvard Business School Baker Library, o Museum of Modern Art (MoMA), a University of Alberta Libraries, a University of British Columbia Library, a Rockefeller Archive Center, Simon Fraser University Archives and Records Management, Yale University Library, Zuse-Institute Berlin, Council of Prairie and Pacific University Libraries (COPPUL), Bentley Historical Library, University of Michigan e inúmeros outros colaboradores.
Desenvolvedores e Parceiros
Conhecendo
Transfer Transferência Processo de transformar qualquer conjunto de objetos e/ou diretórios digitais em um SIP. A transformação pode incluir metadados sobre avaliação, arranjo, descrição e identificação de doadores restrito, privado ou conteúdo confidencial. Na guia Transferência, o usuário move objetos digitais de diretórios de origem, acessíveis através do serviço de armazenamento em Archivematica. Uma vez carregado no painel de instrumentos, as transferências são executadas através de vários micro-serviços: atribuição UUID (Identificador Único Universal); verificação de checksum (se as somas de verificação estão presentes); extração pacote (descompactação de arquivos compactados ou não embalados); verificação de vírus; indexação; identificação formato e validação; e extração de metadados. No final da transferência, o usuário cria um SIP de um ou mais de transferência padrão. Uma vez feito isso, o SIP pode ser movido para ingerir ou enviados para uma lista de pendências para posterior processamento.
Preparando o Pacote: Tipo ● Standard; ● Unzipped Bag; ● Zipped Bag; ● DSpace; ● Disk Image.
Ingest Admissão / Submeter Ao fazer-se o Ingest os objetos digitais são empacotados em SIPs e executado através de vários micro-serviços, incluindo a normalização, a embalagem em uma AIP e geração de uma DIP. Se desejar pular alguns dos pontos de decisão padrão ou fazer escolhas pré-configuradas para o seu workflow desejado, consulte User administration - Processing configuration.
Archival Storage Armazenamento de Arquivos
Durante o armazenamento de arquivo, o AIP é movido para seu repositório de armazenamento no local especificado no sistema.
Preservation planning Planejamento e Preservação Estratégia de preservação primária de Archivematica é normalizar arquivos para preservação e acesso formatos mediante Ingest. As cópias de preservação são adicionados ao AIP e as cópias de acesso são usados para gerar um DIP, um upload para o sistema de acesso. Note que os arquivos originais são mantidos sempre, para permitir diferentes ações de preservação no futuro, tais como a normalização de diferentes formatos de arquivo ou emulação. Nem todos os objetos digitais podem ser normalizado em Ingerir. Por exemplo, para alguns objetos digitais, como desenhos CAD ou Microsoft Visio, não existem ferramentas baseadas em Linux de código aberto disponíveis para lidar com as conversões e/ou não acordadas formatos de preservação.
Access Acesso Durante a Ingest, cópias de acesso de objetos digitais são gerados e empacotados em um DIP. O usuário carrega o DIP para o sistema de acesso. O usuário deve criar a descrição em AtoM (ou outro sistema de acesso) antes de fazer o upload do DIP. O usuário terá de indicar parte da URL do descrição ou uma coleção de destino, a fim de enviá-lo para o local apropriado na descrição.
Administration Administração A página de administração do Archivematica, sob a guia Administração do painel, permitem configurar os componentes do aplicativo e gerenciar usuários. ● Processing configuration ● General ● Failures ● Transfer source locations ● AIP storage locations ● Processing storage usage ● AtoM DIP upload ● Archivists Toolkit DIP upload ● PREMIS agent ● REST API ● Users
Administration Administração
Administration Administração
Archivematica Como fazer backup No Archivematica há três tipos de dados para fazer backup: ● Filesystem (em particular os diretórios de armazenamento); ● MySQL; ● ElasticSearch. MySQL é usada para armazenar dados de processamento de curto prazo. Você pode fazer backup do banco de dados MySQL usando o seguinte comando: mysqldump -u -p -c MCP> ElasticSearch é usada para armazenar dados de longo prazo. Instruções e scripts para backup e restauração de ElasticSearch estão disponíveis here.
BagIt - LoC BagIt é uma especificação para empacotar diretórios de arquivos, hierarquicamente, para armazenamento a longo prazo ou para a transferência entre ambientes de armazenamento. Sua característica mais importante é que ele gera e registra checksums (somas de verificação de bytes) para cada arquivo armazenado em uma bag, o que torna muito fácil de verificar a integridade dos arquivos depois que eles foram movidos. O Archivematica armazena os seus AIPs como um Bag, assim como ingere Bags criadas por outros sistemas.
BagIt Bag-Pacote-UFSM/ |-| | | | |-| 49afbd86a1ca9f34b677a3f09655eae9 | 408ad21d50cef31da4df6d9ed81b01a7 \--
data \-27613-h \-images \-q172.png \-q172.txt manifest-md5.txt data/27613-h/images/q172.png data/27613-h/images/q172.txt bagit.txt BagIt-Version: 0.97
Tag-File-Character-Encoding: UTF-8 A instituição que quiser elaborar seus pacotes, tem disponível código no GitHub: ● Archive::BagIt: Perl, BagIt Library: Java, BagIt gem: Ruby, bagit: Python, pybagit: Python, BagIt GUI: JRuby, BagItPHP: PHP.
Lista de Desejos Archivematica
https://www.archivematica.org/wiki/Development_roadmap:_Archivematica#Wish_list
Sample Transfers https://github.com/artefactual/archivematica-sampledata/tree/master/SampleTransfe rs
Standard: Com CSV Dublin Core ● Podem ser diversas pastas; ● Deve ter uma pasta “metadata”; ● Dentro da mesma: ○ metadata.csv; ● Os objetos digitais na pasta principal (objects); ○ 1ª coluna: “filename”: “objects/FotografiaUFSM001.jpg”, se for conjunto / série: ○ “parts”: “objects/FundoUFSMClasse400_EnsBasico” ● Podem fazer qquer Editor ou mesmo Excel/Calc LibreOffice; ● os MD Dublin Core, iniciados por dc.title.
Arquivo .CSV
Arquivo METS
METS - METADADA ENCODING AND TRANSMISSION STANDART (Padrão de Codificação e Transmissão de Metadados) - http://www.loc.gov/standards/mets ●
●
●
●
●
Empacotamento de objetos digitais que permite organizar, em um único arquivo compactado, tanto dados quanto metadados descritivos, administrativos e estruturais; O METS é mantido pela Biblioteca do Congresso Americano. É utilizado basicamente como formato de intercâmbio entre repositórios ou como formato de gestão de dados/informação de objetos digitais; Implementações OAIS (Open Archival Information System) utilizam o METS para estruturar os pacotes: SIP (Submission Information Package), AIP (Archival Information Package) e DIP (Dissemination Information Package); Alguns repositórios digitais utilizam o METS para intercâmbio de objetos, como DSPACE com a exportação de objetos digitais para o formato METS e o FEDORA na exportação quanto na importação de objetos digitais. A estrutura é METS é definida por um modelo descrito em um XML: obrigatoriamente um cabeçalho (header) e até seis seções: dmdSec – Seção de Metadados Descritivos; amdSec – Seção de Metadados Administrativos; fileSec – Seção de Arquivo; structMap - Mapa Estrutural; structLink –Vinculação de Mapa Estrutural e behaviorSec – Seção de Comportamento.
PREMIS: Preservation Metadata - Especificação que apresenta conjunto básico de elementos de metadados de preservação Visa apoiar sistemas que gerenciam objetos digitais. Tem ampla aplicação pela comunidade de preservação digital, e seu principal documento de referencia é o PREMIS Data Dictionary. The Preservation Metadata: Implementation Strategies Working Group. Seus metadados: - Contribuem para a viabilidade, disponibilidade, clareza, autenticidade e identidade de objetos no contexto da preservação digital. - Representam as informações sobre os documentos digitais que a maioria dos repositórios precisa saber para preservar esses documentos ao longo do tempo. - Prestam especial atenção aos metadados rigorosamente definidos, com base em diretrizes para a criação, gestão e uso, voltados para fluxos de trabalho automatizados. - São tecnicamente neutros, ou seja, não assumem o uso em particular de qualquer tecnologia de preservação, estratégias, sistemas de armazenamento, gerenciamento de metadados etc.
Inclui um modelo de esquema em XML, que permite incorporar o Dicionário de Dados em sistemas de gestão de objetos digitais. Mantida pelo Network Development and MARC Standards Office da Biblioteca do Congresso dos EUA Library of Congress.
Arquivos .CSV para importações ■ RAD archival description CSV template ■ ISAD archival description CSV template ■ Authority record CSV template ■ Accessions CSV template ■ Authority record aliases CSV template ■ Authority record relationships CSV template ■ Events CSV template ■ CSV transformation script - Qubit para ICA-AtoM.
Notas
A configuração do Sword no AtoM (Plugin) e Archivematica e a opção de versão no Archivematica (Version=2).
Upload to AtoM É um serviço implementado através de um script Python que quando fornecido um UUID este deposita o correspondente DIP em um Servidor AtoM (ICA-AtoM). O protocolo de comunicação entre ambos é chamado de SWORD, e o script aceita um número de argumentos e que pode ser executado manualmente sendo que todavia é chamado pelo Archivematica. Pode ser usado pelo SIGAD para enviar Pacotes DIP de Acesso e Difusão
1. Envia o DIP UUID usando --uuid. 2. Envia os detalhes do ICA-AtoM AtoM usando --url, --email and --password. 3. (opcional) Por padrão, este serviço inclui o DIP com o requisito de depósito. Com rsync: --rsync-command and --rsync-target. 4. (opcional) Se enfrentar problemas, use --debug.
Argumentos do AtoM DIP Upload: --url="http://gillean.accesstomemory.org/index.php" \ --email="
[email protected]" \ --password="dippy" \ --uuid="%SIPUUID%" \ --rsync-target="gillean.accesstomemory.org:/tmp" \ --debug \ --version=2
CSV e-ARQ ● Pode-se elaborar um .CSV com todos os metadados do e-ARQ Brasil; ● do e-PMG; ● Mas, todos os CSV vão ser transformados em METS; ● CENÁRIO IDEAL: ○ METS gerado pelo SIGAD, dando assim MANUTENÇÃO À CADEIA DE CUSTÓDIA;
Exercício no DEMO ● Submeta um pacote e peça geração de DIP para o ICA-AtoM (AtoM); ● Archivematica: http://sandbox.archivematica.org/ Usuário:
[email protected] Senha: demodemo ● AtoM: http://gillean.accesstomemory.org/ Usuário:
[email protected] Senha: dippy
Bug da versão 1.4 ao deletar AIP - reindexar ElasticSearch Bug #8533 Ticket: https://projects.artefactual.com/issues/8533 > curl -XDELETE http://localhost:9200/aips Delete AIPS: > cd /var/archivematica/sharedDirectory/www/AIPsStore/ > ls | grep -v transferBacklog | xargs rm -rf
● ● ● ● ● ● ● ● ● ● ● ● ● ● ●
● ●
Organização do pacote SIP com recurso de arrastar e soltar para 1 ou mais transferências para 1 SIP (Simon Fraser University); Submissão (SIP) de Imagem de Disco FORENSE (Yale University Libraries); Navegação em árvore do diagrama (Baker Library at Harvard Business School); Gerar OCR dos arquivos e adicionar ao DIP (Baker Library at Harvard Business School); Armazenar DIPs para uma localização de futuros uploads (Baker Library at Harvard Business School); Visualizar ponteiros dos arquivos do AIP Storage; Configurar via comando o FPR - Registro de Política de Formatos; Adicionar comandos de verificação (frame-level fixity and lossless compression); Nova validação dos micro-serviços com a versão atualizada do Jhove; Melhorias para as Transferências e Escalabilidade; Uso de JVM para melhorar performance (FITS, nailgun, TIKA, DROID); Uso do MediaInfo e Exiftool para Caracterização e Metadados; Dublin Core para os formatos JSON - RAW; Update Bagit, fido, ffmpeg, fits, ImageMagick, etc.; O Storage Service conta com check de fixidade dos AIPs (Museum of Modern Art), Armazenamento LOCKSS (Simon Fraser University Library), visualizar METS dos AIPs; Mais detalhes: https://www.archivematica.org/wiki/Archivematica_Release_Notes Instalação/código fonte: https://www.archivematica.org/wiki/Installation
Archivematica e o Storage Service! 1.3
Melhora e facilita a integração com sistemas de acesso e armazenamento, incluindo CONTENTdm, Islandora e DSpace. New features ■ ■ ■ ■ ■ ■ ■ ■ ■ ■
Sponsored (University of Saskatchewan Library) Fedora/Islandora Integration Sponsored (GE Aviation) Bag ingest improvements (#8309, PR191) Sponsored (University of British Columbia Library) DSpace Ingest improvements (#6273, #5889, PR154) Sponsored (University of British Columbia) CONTENTdm dip upload enhancements (#8039, PR148) Transfer/SIP Creation feedback (#7853, PR171) SIP Arrange enhancements (improved transfer METS) (#7714, PR145) Review/Download DIP objects (See CONTENTdm DIP upload enhancements, #8039) Processing location cleanup via dashboard (#7921, PR199) Improved logging (backend only, no user-facing functionality) (#6647, PR34, PR201) Sponsored (Columbia University) Extract Packages Recursively (#8438, PR164)
Storage Service 0.7 - New features: ■ ■
Sponsored (Museum of Modern Art) AIP Recovery (SS PR 47) Sponsored (University of Saskatchewan Library) Fedora/Islandora Integration (#7918)
Archivematica 1.4 - 27/05/2015
e c i v r e S Storage
O Archivematica Storage Service, possibilita a configuração dos espaços de armazenamento (storage spaces) associados com múltiplos Pipelines Archivematica. Ele possibilita ao Administrador do Storage a configurar qual STORAGE é disponível para cada Instalação do Archivematica, sejam locais ou remotos, tais como o Archivematica para a fase de Gestão de Documentos (idades corrente e intermediária), ou a Permanente.
PACKAGES O Storage Service é destinado para o armazenamento de pacotes. Um "pacote" é um conjunto de um ou mais arquivos transferidos de um serviço externo; por exemplo, um pacote pode ser um AIP, uma transferência backlogged, ou um DIP. Cada pacote é armazenado num local. SPACES Um space modela um dispositivo específico de armazenamento. Esse dispositivo pode ser um disco localmente acessível, uma rede compartilhada ou um sistema remoto acessível através de um protocolo como o Fedora, SWIFT, DuraCloud, ou LOCKSS. Ele oferece o serviço de armazenamento com configuração para ler e/ou escrever dados armazenados. Os pacotes não são armazenados diretamente dentro de um space, e sim, dentro de locais, que são subdivisões de um space organizado. LOCATIONS Os locais são uma subdivisão de um espaço. A cada local é atribuído um propósito específico, como o armazenamento AIP, armazenamento DIP, fonte de transferência ou log de transferência, a fim de proporcionar uma forma organizada para estruturar o conteúdo dentro de um espaço.
No Storage Service ● ● ●
● ● ● ●
Storage Service entities and organization Archivematica Configuration Spaces ○ Local filesystem ○ NFS ○ Pipeline local filesystem ○ LOCKSS ○ DuraCloud ○ Arkivum ○ Swift ○ Fedora Locations Pipelines Packages Administration
Fluxograma dos Pacotes SIP/AIP/DIP Repositório Arquivístico Digital Confiável:
Empacotamento dos SIPs: Direto do SIGAD ou Memorandos, Ofícios, e-mails, Fotografias, etc. + Metadados (.CSV Excel - Dublin Core, METS)
- Ao receber o pacote SIP, submete-o aos: - micro-serviços: anti-virus, validação, formatos, metadados, etc … - para então gerar o Pacote de Armazenamento, o AIP; Submetido
Passa permanentemente por: - Políticas de Preservação; - Estratégias de Preservação; - Atualização de Formatos: - FPR (PREMIS); Pacote DIP
para o ICA-AtoM
Pacote AIP
gerado
do ma r i f n Co são u Dif
Acesso e Difusão dos Documentos Arquivísticos Descritos, normalizados via Web.
DICAS e FUNCIONALIDADES A SEREM IMPLEMENTADAS
Archivematica - Reiniciar serviços Restart Services sudo service uwsgi restart sudo service nginx restart sudo /etc/init.d/apache2 restart sudo /etc/init.d/gearman-job-server restart sudo restart archivematica-mcp-server sudo restart archivematica-mcp-client sudo restart fits Note, depending on how your Ubuntu system is set up, you may have trouble restarting gearman with the command in the block above. If that is the case, try this command instead: ● sudo restart gearman-job-server
Backup do MySQL
mysqldump -u root -p MCP > ~/am_backup.sql
Requerimentos Mínimos ● Processador: CPU dual core i5 3ª geração ou superior; ● Memória: 8GB ou + ● Espaço em Disco: 20GB mais o espaço em disco para os Documentos Arquivísticos, seus objetos digitais e metadados.
Não pode haver bloqueio de portas e serviços: ● http, mysqld, gearman, nfs, ssh
Sword para o ICA-AtoM ●
update atom dip upload configuration in the Archivematica dashboard
●
confirm atom-worker is configured on the Atom server (copy the atom- worker.conf file from atom source to /etc/init/)
●
enable the Sword Plugin in the AtoM plugins page
●
enable job scheduling in the AtoM settings page
●
confirm gearman is installed on the AtoM server
●
configure ssh keys to allow rsync to work for the archivematica user, from the Archivematica server to the Atom server
●
start gearman on the Atom server
●
start the atom worker on the AtoM server
LOCKSS - Configura-se no Storage SERVICE Archivematica can store AIPs in a LOCKSS network via LOCKSS-O-Matic, which uses SWORD to communicate between the Storage Service and a Private LOCKSS Network (PLN). Fields: ● Size: (Optional) Maximum size allowed for this space. Set to 0 or leave blank for unlimited. ● Path: Absolute path to the space on the remote machine. ● Staging path: Absolute path to a staging area. Must be UNIX filesystem compatible, preferably on the same filesystem as the path. ● Service document IRI: URL of LOCKSS-o-matic service document IRI, eg.http://lockssomatic.example.org/api/sword/2.0/sd-iri ● Content Provider ID: On-Behalf-Of value when communicating with LOCKSS-o-matic ● Externally available domain: Base URL for this server that LOCKSS will be able to access. Generally this is the URL for the home page of the Storage Service. ● Keep local copy? Check the box if you wish to store a local copy of the AIPs even after they are stored in LOCKSS.
ARKIVUM Archivematica can use Arkivum’s A-Stor as an access protocol in version 0.7 and higher. A-Stor can expose a CIFS share to the Storage Service so that the storage service can copy files to an A-Stor datapool for AIP storage, for example. Add an entry to /etc/fstab on the Storage Service, then mount the A-Stor CIFS share. Example: //ARK00092/astor /mnt/astor cifs defaults,guest,file_mode=0666,dir_mode=0777,uid=archivematica,gid =archivematica,forcegid,forceuid,rw 0 1 In this example, ARK00092 is the name of the appliance and should be resolvable through DNS or be set as an entry in /etc/hosts. Then, choosing Arkivum as the access protocol, create a new space in the Storage Service: Fields ● ●
Size: (Optional) Maximum size allowed for this space. Set to 0 or leave blank for unlimited. Path: local path on the Storage Service machine to the CIFS share.
Example: /mnt/astor ●
Staging Path: Absolute path to a staging area. Must be UNIX filesystem compatible, preferably on the same filesystem as the path.
Example: /mnt/astor/archivematica1/tmp ● ● ●
Host: Arkivum appliance hostname or IP address with port. Remote user: (Optional) Username on the remote machine accessible via passwordless ssh. Remote name: (Optional) Name or IP of the remote machine.
Spaces que podem ser CONFIGURADOS: ● Local filesystem ● NFS ● Pipeline local filesystem ● LOCKSS ● DuraCloud ● Arkivum ● Swift ● Fedora
https://www.archivematica.org/en/docs/archiv ematica-1.5/user-manual/transfer/dspace/#ds pace
Importação DSpace
https://www.archivematica.org/en/docs/archivematica-1.4/ user-manual/preservation/preservation-planning/#fpr
Alterar o FPR - Plano de Preservação Digital
https://www.artefactual.com/services/development/
Como Desenvolver Código para o Archivematica
Storage Service LOCAIS
WishList Archivematica Dashboard ●
User interface ○ ○
○ ○ ○ ○
○ ○ ○ ○ ○
Upload submission documentation during transfer upload #1910 Administrative dashboard interface for system monitoring, including status, restart services, maintenance of backups, tools for restoring, automatic indexing of ElasticSearch index Indicator in dashboard of decision made at decision points Indicator that Archivematica is currently processing Status indicator to show current status of transfer/job Reconsider icons and access to the Add Metadata / Rights templates (currently the icon matches the ‘report’ icon and it’s unclear when is the ‘right’ time to add metadata) and the Reminder: add metadata micro-service Access tab, Archival Storage tab, Preservation Planning tab should have description of purpose of tab Treat each tab as its own web application Administrative access to Storage Service from Access tab Task cogs containing no information should have a short descriptive indicator of why there is none (ie no tool output available) Ability to choose a fallback identification tool when the selected tool fails
WishList Archivematica Dashboard ●
●
●
SIP arrangement See also #6791 ○ Visualization of transfer contents - #1578, Transfer and SIP creation#File visualization reporting page ○ Clean up of transfer backlog once arrangement is complete - in dashboard Admin? in Ingest? ○ Increase icon size and fix 'jumpiness' of content indicators ○ Include tooltips for buttons ○ Consider name change of 'originals' pane to 'transfer backlog search results' or the like ○ Create delete package request from Transfer backlog Deposit tool ○ Configure transfer in GUI rather than in local filesystem for complex workflows (ie. adding metadata files, checksums, manually normalized content, etc) ○ Upload submission documentation (see above, may consider in Transfer dashboard tab) Email ingest workflow ○ Improvements to e-mail ingest workflow (maildir)
WishList Archivematica ● Metadata ● Capture PREMIS from external systems ● Field validation in PREMIS rights templates - #1519 ● METS refactoring and METS generation improvements ○ develop standalone Python METS reader/writer application and distribute separately from and integrated with Archivematica [edit] Format Policy Registry
WishList Archivematica Format Policy Registry ● Format Policy Registry (FPR) public site UI ● Ability to send local format policy changes to the FPR public site #5074
WishList Archivematica Storage Service Storage Service ● ● ● ● ● ● ● ● ●
Automated deletion of content in transfer source once a successful AIP has been created and stored Ability to send AIPs/DIPs to duplicate locations Re-index transfer backlog, AIPs and DIPs - ElasticSearch re-indexing Ability to select multiple packages from SS to download at once Persistent data about stored AIPs and DIPs DIP generation/upload info logged to pointer file SAMBA plugin for Storage API Move ElasticSearch to SS Research management of processing space, so a transfer cannot be run if it's too big for the allotted space
WishList Archivematica Fixity APP ● Add flag specifying number of AIPs to check simultaneously
WishList Archivematica Integration ● ● ● ●
AtoM - Send PREMIS rights metadata with DIP Hydra (Ingest, AIP storage, API plugin) DSpace (Ingest, DIP upload) BitCurator integration: packages, bulk extractor reporting, how much functionality/data can be integrated/re-used prior to Archivematica ingest #1869
[edit]
Release 1.5 Storage Service 0.8.0 ● ● ●
Sponsored (Zuse Institut) Changes to support AIP re-ingest Unicode/METS fix Pull Request 38 Update Django to version 1.7
[edit] Archivematica 1.5.0 ● ●
Sponsored (Rockefeller Archive Center) ArchivesSpace integration ○ Send DIP object metadata to ArchivesSpace Sponsored (Zuse Institute) AIP DC and Rights MD Re-ingest Full AIP re-ingest requirements ○ Sponsored supports AIP versioning (METS file updates) #1564 ○ Sponsored generate DIP from AIP after processing is complete - Issue #1843 ○ does not support re-normalization ○ note that this work is only part of the entire AIP re-ingest feature, the rest is not yet sponsored
Release 1.5 ●
●
●
Sponsored (National Library of Wales) #8678 ○ Sponsored Add levels of description to Submission Information Packages using AtoM REST endpoint to enforce controlled vocabulary ○ Sponsored Generate hierarchical structMap in Archival Information Package METS file ○ This development is concurrent with AtoM development including the following: generate hierarchical arrangement based on METS structMap, map levels of description in hierarchical METS structMap to Level of description element in AtoM information object, and display hierarchical arrangement in AtoM treeview Sponsored (MIT Libraries) Revision to DIP storage procedures ○ This revision to the DIP storage feature will allow users to store a DIP after it (or its metadata) has been sent to the Access system. See DIP storage to designated location#Revision for version 1.5 Backend - Not user-facing ○ Update Django to 1.7
Próximo Release 1.6 Storage Service 0.9.0 ●
● ●
Move some/all DIP upload responsibilities to SS (proposed) ○ Backend - not user-facing ○ move Index AIP micro-service to SS (proposed) Sponsored (MoMA) Improved Arkivum integration Sponsored (Simon Fraser University Archives) Fixity checking and reporting ○ Modify Storage Service to record time and results of fixity checks ○ Add script to send email alerts to administrator(s) when a fixity check fails
Próximo Release 1.6 [edit] Archivematica 1.6 ●
●
●
Sponsored (Bentley Historical Library University of Michigan) Appraisal/Arrangement tab ○ New tab to facilitate analysis of transfer contents and arrangement of SIPs. Includes: ■ Visualization of transfer contents (number/size of files, file types, extensions) ■ Bulk Extractor report analysis (in tabular format) ■ Tagging content as an "aide memoire" during processing Sponsored (Bentley Historical Library University of Michigan) ArchivesSpace integration ○ This integration with ArchivesSpace will include pulling accession record and rights information from ArchivesSpace to facilitate arrangement of SIPs, as well as sending SIP metadata from Archivematica to ArchivesSpace to update or create digital objects and digital object components. Sponsored (Simon Fraser University Archives) Improvements to transfer backlog management ○ Ability to search transfers from archival storage tab ○ Ability to download copies of transfers or selected files from archival storage tab ○ Ability to perform transfer deletion requests from archival storage tab
Próximo Release 1.6/0.9 Note that some of these items may be moved up for inclusion in 1.6/0.9. ●
●
●
Sponsored (Simon Fraser University Archives) DIP upload to AtoM improvements ○ Add AtoM REST API endpoints to GET archival hierarchy and PUT archival description ○ Add Archivematica REST API calls to AtoM endpoints to GET archival hierarchy and PUT archival description ○ Show AtoM level of description in Archivematica appraisal Tab ○ Upload a stored DIP to AtoM from the Archivematica access tab Sponsored (Simon Fraser University Archives) WARC file ingest ○ Analyze WARC header information and prepare metadata mapping to Archivematica AIP METS file ○ Add Archivematica micro-services to parse WARC header information to Archivematica METS file Sponsored (Ontario Council of University Libraries) Dataverse integration (proof of concept) ○ The scope of sponsored work is a proof of concept model for integration of Dataverse with Archivematica. As design/development progresses, we will update the development roadmap accordingly.
Próximo Release 1.6/0.9 ●
●
●
Sponsored (University of York/University of Hull) Automated DIP generation workflow ○ Change workflow so that the ‘upload DIP’ choice can be preconfigured ○ Update AIP reingest workflow to allow uncompressed AIPs to be reingested. ○ Enhance the callback functionality in the Storage Service, to notify third party apps when a DIP is ready to be used. Sponsored (University of York/University of Hull) METS parsing tools ○ Develop the public facing API of the REST service and define the API to return answers as JSON-LD or another linked data format ○ Develop a python METSReader library that would live behind the REST service ○ Write documentation for the REST service Sponsored (University of York/University of Hull) Generic search REST API (proof-of-concept) ○ Develop the public facing API of the REST service, a read-only API to provide a small number of endpoints to answer basic questions about the number of files in storage, their formats, date of ingest, etc. ○ Develop functionality in the Archivematica Storage Service to implement this API ○ Write documentation for the REST API
Próximo Release 1.6/0.9 ●
●
●
Sponsored (University of York/University of Hull) Support multiple checksum algorithms ○ Allow user to select alternate or additional checksum(s) ○ Capture alternate or additional checksum(s) in appropriate PREMIS entities in AIP METS file Sponsored (University of York/University of Hull) Enhance PRONOM integration ○ Allow a user to manually assign pronom IDs to non-identified files; record manual selection in the AIP METS file ○ Provide report of non-identified files in a SIP or AIP, with access to the file identification tool output ○ Provide direct access to the PRONOM submission form from within Archivematica. Sponsored (University of York/University of Hull) Automation tools documentation
[edit] Fixity app ●
Sponsored (Simon Fraser University Archives) Better end-user documentation for the fixity app.
Obrigado
Prof. Dr. Daniel Flores Pesquisador PQ-2 CNPq Departamento de Documentação
[email protected] Líder dos Grupos de Pesquisa CNPq - UFSM: Ged/A e Patrimônio Documental Arquivístico; Membro da Câmara Técnica de Documentos Eletrônicos - CTDE-CONARQ; http://documentosdigitais.blogspot.com http://facebook.com/dfloresbr
