el proveïdor de serveis de digitalització què cal demanar ... · ci dades que l'arxiu es...
TRANSCRIPT
El proveïdor de serveis de digitalització Què cal demanar? Què cal oferir?
Models i exemples pràctics
Segones Jornades sobre el Patrimoni Sonor i Audiovisual
Biblioteca de Catalunya - Barcelona, 24 d’octubre de 2019
Enric Giné - [email protected]
què cal oferir?
del proveïdor de serveis al client
I. adscripció a un marc de referència: model de preservació OAIS
II. adscripció a unes directrius generals: IASA TC-04 (àudio)
III. capacitat per comprendre i implementar els principals elements del model (exemples)
IV. qualitat tecnològica en el hardware de reproducció analògica (calibració, manteniment,
etc.) i equips de conversió A/D
V. qualitat de servei (QoS) i controls de qualitat (QC) d’acord amb els requeriments de nivell
de servei (SLR) signats entre client i proveïdor l’acord de nivell de servei (SLA)
VI. gestió de l’excepció: preparació, reproducció i digitalització dels suports
malmesos/excepcionals, especialment en digitalitzacions a petita escala o amb un gran
nombre de variables (discs de pedra, acetat)
VII. capacitat per oferir i distingir entre restauració no intencional i intencional, tant en el
domini físic/analògic com digital
què cal oferir?
del proveïdor de serveis al client
VIII. capacitat per generar i imbricar metadades tècniques, descriptives i estructurals amb
granularitat variable
IX. generació de màsters (AIPs) empaquetats amb medatades i encriptació
X. capacitat per recopilar, interpretar i documentar informació secundària (galetes de disc,
CD, retalls de premsa, cartes, nombres de matriu i altres símbols)
XI. possibilitat de generació de paquets de divulgació (DIPs) , per defecte o sota petició
XII. capacitat per formar el personal del client, cursos específics de formació, etc.
XIII. pòlissa de responsabilitat civil (per cobrir les conseqüències econòmiques derivades de
pèrdues o danys) i clàusula de confidencialitat en el tractament de les dades
XIV. capacitat d’innovació i reciclatge formatiu, transferència tecnològica universitat - empresa
XV. certificació en gestió de serveis TiC (ITIL Certification, etc.)
què cal demanar, o esperar?
del proveïdor de serveis al client
I. requeriments de nivell de servei per part del client (Service Level Requeriments, SLR) ben
definits i calendaritzats
II. adscripció i comprensió del marc de referència convingut (model OAIS, directrius TC-04)
III. capacitat de preparació de SIPs per a la ingestió de dades en outsourcing: revisió de
documentació, estat i neteja del formats, preparació per al transport físic, etc.
IV. generació o aportació de metadades descriptives el més clares possibles
V. definició d’un responsable o interlocutor per al projecte de digitalització
VI. compromís en el seguiment del workflow previst i control de qualitat extern (monitoratge)
per part del client... què (més) caldria demanar, a banda del que el proveïdor hauria
d’oferir
quadre resum
client (institució patrimonial) proveïdor de serveis
què cal demanar?
SLA (acord de nivell de servei) metadades administratives (tècniques i estructurals) QoS (software i hardware) model OAIS, IASA TC-03 (general) pòlissa de responsabilitat civil, confidencialitat, etc.
SLR (requeriments de nivell de servei) metadades descriptives, QoS, QC (double-check) interlocutor per al projecte
què cal oferir?
SLR (requeriments de nivell de servei) metadades descriptives SIPs QoS, QC (double-check) interlocutor per al projecte
QoS (soft i hardware), monitoratge model OAIS, IASA TC-04 (àudio) gestió de l’excepció (formats malmesos) documentació informació secundària restauració no intencional i intencional certificació ITIL, formació, innovació
SIPs AIPs
AIPs DIPs
el model OAIS com a marc de referència
Open Archival Information System (model OAIS, ISO/CCSDS, 1999)
el centre del model és objecte (digital) de dades, interpretable i comprensible mitjançant informació de representació
entorn de l'objecte d'informació interactuen tres agents
productor
gestor
consumidor
OAIS
El model OAIS estableix un marc de referència global per al repositori digital en la preservació a llarg termini de dades i metadades associades
objecte de
dades
representació d’informació
objecte
d’informació interpretat segons... resulta en...
el model OAIS com a marc de referència
model d’informació de l’objecte d’informació al paquet d’informació
el paquet d'informació (sigui SIP, AIP o DIP)
el conformen 4 objectes d'informació : CI, PDI, PI, DI
CI dades que l'arxiu es compromet a preservar (Content Data Object) - exemple: codi binari “cru”
+ Informació de representació (Representation Information) – exemple: extensió/format de l’arxiu
PDI informació de referència (codis ISBN/EAN, ISRC, URN, etc.)
informació de provinença i estructural (amb quins altres paquets s'associa?)
informació de fixació o integritat (signatura digital, parity checksum)
PI vinculació entre el CI i el PDI (contenidor o warper)
DI informació d'accés (disseminació) al paquet (eines de cerca)
Informació d'empaquetament (PI)
(Objecte de) Informació de contingut (CI)
Informació descriptiva i de
preservació (PDI)
Informació descriptiva del paquet (DI)
paquet d'informació
(SIP, AIP o DIP) CI PDI PI DI
el model OAIS com a marc de referència
paquets d’informació la informació continguda en un paquet variarà en funció del procés o destinatari (productor, gestor,
consumidor). Per exemple, el consumidor de l'objecte d'informació no té perquè conèixer tots les metadades associades a l'objecte
Submission Information Package (paquet de presentació - entrada)
paquet d'informació enviat pel productor de contingut i negociat amb la gestió d’OAIS. Pot ser un paquet parcial, part d'un AIP més gran
Archive Information Package (paquet d’arxiu - màster)
paquet creat per la gestió d’OAIS com a resultat de la ingestió i complementació (PDI) d'un o més SIPs
Dissemination Information Package (paquet de divulgació - sortida)
paquet creat per la gestió d’OAIS com tot o part d'un AIP per al consumidor final. Pot tenir DIPs parcials i presentar-se en diferents formats (còpies d’accés)
SIP
AIP
DIP
el model OAIS com a marc de referència
SIP = Submission Information Package / paquet de presentació AIP = Archival Information Package / paquet d’arxiu DIP = Dissemination Information Package / paquet de divulgació
SIP
Informació descriptiva
(PDI)
Administració
consultes
resultats
Ingestió de dades
Accessibilitat
Gestió de dades
Preservació
comandes
Informació descriptiva
(PDI)
model funcional
AIP AIP
DIP
Magatzem en arxiu
model funcional
funcions "productives" (core)
Ingestió de dades
Gestió de dades
Emmagatzematge en arxiu
accessibilitat
funcions administratives (back office)
(Planificació de) Preservació
Administració
acceptació de SIPs, preparació i generació d'AIPs i actualització de dades en Gestió de dades i Gestió d'emmagatzematge
generació, manteniment i accés a informació descriptiva i de preservació (PDIs), així com dades per a la gestió de l'arxiu. Administració i actualització de les funcions de la base de dades
inclusió d'AIPs a l’emmagatzematge permanent, monitoratge i control d'errors i resposta a desastres. Provisió de AIPs per Accessibilitat a consumidors
servei al consumidor. Informació sobre l'existència, vista general, localització i accessibilitat de dades en OAIS. Acceptació de peticions, help desk, generació i lliurament de DIPs
garantia d'accessibilitat davant canvis de medi o formats. Recomanació sobre migracions digitals
negociació d'acords de cessió de dades i/o drets. Manteniment de maquinari i programari de gestió. Definició de les polítiques i estàndards de l'arxiu (com el mateix model OAIS)
Ingestió de dades
Gestió de dades
Magatzem en arxiu
Accessibilitat
Preservació
Administració
IASA TC-03 (4ed, 2017)
marc de referència per als documents més específics (TC-04, 05, 06), inclou
consideracions ètiques
la tasca dels arxius sonors
informació primària i secundària
la inestabilitat i vulnerabilitat dels portadors d’àudio
obsolescència de formats
salvaguarda de la informació
selecció de la millor còpia i restauració del suport
recuperació de senyal òptima a partir dels suports originals
transferència transparent a un nou format de destí
millores en la tecnologia de transferència de senyal
formats digitals i resolució
reducció de dades (codifcació, compressió)
etc.
IASA TC-04 (2ed, 2009)
adreçat als responsables d'arxius audiovisuals , aporta directrius de preservació dels objectes d'àudio digital
resultat pràctic del document previ IASA-TC 03
enginyeria audiovisual i multimèdia (telecomunicacions)
informàtica de sistemes, telemàtica, processat
biblioteconomia i documentació
conservació i restauració (àmbits físic i químic)
definició i gestió de metadades i identificadors únics
sistemes d'emmagatzematge digital massiu (DMSS)
definició i aplicaciódel model OAIS
nous formats i suports digitals
etc.
qualitat tecnològica del hardware de reproducció i A/D
per a gran part dels formats sonors o audiovisuals dedicats no disposem d’equips de reproducció moderns
alguns formats (K7 i bobina oberta, DAT, DCC, MD, etc.) requereixen equips dels anys 70s-90s, que cal revisar, mantenir i calibrar periòdicament Magnetic Tape Alert Project (MTAP) Survey - http://www.mtap.iasa-web.org/
cal també guarantir la QoS per a equipament de conversió analògica a digital ADCTest (AVP) - https://www.weareavp.com/products/adctest/
FADGI Audio Analog-to-Digital Converter Performance Specification and Test Method
IASA TC-04 capítol 2 - https://www.iasa-web.org/tc04-ca/2-principis-digitals-b%C3%A0sics
control de qualitat (QC) i monitoratge del servei (QoS)
cal que es trobi ben definida en l’acord de nivell de servei entre client i proveïdor
el proveïdor de serveis hauria de poder documentar, i el client monitoritzar, l’estat dels equips de reproducció (especialment bobina oberta i cassette)
idealment, el procés tècnic de monitoratge hauria de ser automatitzat
exemple: Cube-Tec Trusted Playback
preparació i reproducció de suports malmesos
disc Berliner (novembre de 1900) – agulla 2,3CT; anti-skating 3gr; EQ FLAT; modulació LATERAL; velocitat de reproducció 70rpm
postals sonores
preparació i reproducció de suports malmesos
disc d’acetat de la Guerra Civil (1937) amb delaminació severa
preparació i reproducció de suports especials
disc Pathé (1913) – agulla PATHÉ SAFFIRE; anti-skating 10gr; EQ FLAT; modulació VERTICAL; velocitat 90rpm; reproducció de dins a fora
data de galvanoplàstia sota la "P" de PATHÉ; disc anterior a 1916, que és quan la velocitat de reproducció passaria de 90rpm a 80rpm
solucions per a problemàtiques especials
cassets amb SBS (Soft Bynder Syndrome)
alteracions habituals
com menor sigui la finestra teòrica de resolució del medi original, més gran haurà de ser la del processat digital
mar
ge d
inàm
ic
0dB
150dB
ample de banda 0Hz 30000Hz
restauració en el domini digital (opcional per a )
compensació d'alteracions no intencionals, amb l'objectiu d'aconseguir objectivitat i transparència
compensació d'alteracions intencionals, amb l'objectiu d'aconseguir subjectivitat i alteració (re-masterització)
Detall del solc d’un disc estereofònic de vinil vist a través d’un microscopi d’electrons. Chris Supranowitz. Institute of Optics, University of Rochester. http://www.optics.rochester.edu/workgroups/cml/opt307/spr05/chris/
DIPs
processos de restauració no intencionals - causes
degradacions causades per l'emmagatzematge i l'estat de conservació del format portador
fongs (en cilindres, discs de transcripció, bobines) que consumeixen matèria orgànica, processos d’exudació d’àcid palmític/esteàric, marques a la superfície que deriven en “crackles” en reproducció, danys no eliminables en processos fisico-químics de restauració o neteja
degradacions causades pel sistema de reproducció
distorsions no lineals en el suport de disc causades per la geometria de l'agulla, càpsula i braç, wow per bombament del disc, wow&flutter en cinta magnètica, jitter digital
desajustos d’azimuth en capçals magnètics (pèrdua d’alta freqüència)
degradacions pròpies del medi audibles durant la reproducció
soroll per densitat magnètica no uniforme (drop-outs), hiss de cinta
desgast propi de la contínua reproducció del portador (pèrdua de resposta en alta freqüència), resultat de còpies consecutives, etc.
processos de restauració no intencionals – conseqüències
sorolls de tipus HVAC (sistemes elèctrics de calefacció, ventilació i aire condicionat)
sorolls harmònics d'alta freqüència a causa de
imperfeccions en el cablejat de subministrament d'energia (hum)
fonts de soroll en el sistema d'energia elèctrica, com ara reguladors de llum (buzz)
camps magnètics dels transformadors d'equips electrònics aliens
equalització (deconvolució cega, etc.) per compensar la falta de linealitats en la resposta de freqüència
reconstrucció de drops mitjançant interpolació, audio inpainting (xarxes neuronals)
reducció de sorolls de superfície: clics, crackles, scratches, glitchs, clips, etc.
reducció del soroll de cinta (hiss), sorolls tonals (hum, buzz, thumps), etc.
compensació de la influència del dispositiu d’enregistrament, la posició i dinàmica de la font acústica
degradacions audibles en còpia de transcripció propis del procés de gravació
soroll d'encesa i apagada de màquina
imperfeccions en el tall del solc (ajust d’azimut)
processos de restauració intencionals
basats en criteris subjectius de reinterpretació orientats a satisfer el gust estètic actual
equalització estètica
reducció de soroll de fons / soroll de sala
compressió, limitació, normalització
de la dinàmica
excitació freqüencial (aural exciter)
reverberació, espaialització, auralització
reproducció amb equips “d'època“
el procediment de restablir el so “original” mitjançant la recreació d’equips, tècniques i/o espais històrics no està avalat per la IASA en els seus documents TC03 i TC04
restauració intencional - proposta terminològica
caldria denominar "reedició o re-masterització" a qualsevol tractament individual d'un registre en base al gust contemporani, per tal d'adaptar el registre històric a l'estètica del so modern
caldria dir-ne "reinterpretació o re-mescla" al resultat d'aplicar, amb el mateix enfocament que en el cas anterior, nous processos des de la mateixa mescla, afegint per això tot el que es convingui (nous instruments, parts, efectes, etc.)
[Nadja Wallaszkovits, 2009]
identificadors únics (UIDs)
la creació d'un paquet de contingut d’informació només és comprensible i interrelacionable mitjançant un identificador únic que vinculi tots els objectes digitals que composen el paquet
l'estàndard RDF (Resource Description Framework) el defineix com URI (Universal Resource Location)
de la mateixa manera que a Internet s'implementen URLs per a accés a fitxers, disposarem d’UIDs construïts a partir d'un identificador arrel (Root ID), que serà sovint una localització física o topogràfic en el repositori (p.ex: una cinta DLT, un format analògic)
un bon UID hauria de ser
(globalment, universalment) únic
estandarditzat
de longitud fixa (nombre de bytes)
extensible i modular (cicle de vida)
expressiu (humanament comprensible)
assignable des del procés d’enregistrament/producció del so
URI
PID
UID
Universal Resource Name
Universal Resource Location
URN
URL
Persistent IDentifier
Unique IDentifier
objecte digital (LTO)
metadades (METS XML)
objecte físic (vinil p.ej.)
Root ID
nomenclatura d’obres
nomenclatura de fitxers
identificadors únics (UIDs) - exemple
estàndars de preservació digital de dades i metadades
estàndards de preservació
fitxers d’audio master
Microsoft RIFF WAV
BWF (límit 4GB)
MBWF/RF64 (més de 4GB)
fitxers de video master
video sense compressió YUY2 4:2:2
en AVI o QuickTime
FFV1 en Matroska (MKV)
JPEG2000 lossless en MXF OP1a
estàndar de metadades
integració en chunk BeXT de BWF + LIST/INFO RIFF o en header específic de MXF
i /o ... fitxers en XML i estàndard METS amb warpping de metadades descriptives (DC) i administratives / preservació (METS), també integrables al chunk axml de fitxers BWF
principals paràmetres del camp BeXT (Broadcast eXTension chunck) BWF
camp contingut
descripció ASCII lliure fins 256 caràcters: UID?
origen nom del creador/productor (DAW) del fitxer
referència del creador/productor (DAW)
data i hora creació del fitxer [any-mes-dia] i [hh:mm:ss]
historial de codificació text ASCII no restringit. Metadades preservació
imbricació de metadades – eines i recomenacions
freeware: FADGI BWF Metaedit (AVP)
eines comercials: Wavelab Pro, Sound Forge, altres
tipus de metadades – exemples descriptius
http://www.dlib.indiana.edu/projects/sounddirections/papersPresent/sd_bp_07.pdf
imbricació de metadades en fitxers d’àudio – exemple
chunk camp descripció exemple
BWF/BEXT Description descripció lliure (256 caràcters ASCII) FPC_V014_ZZABM0.wav
BWF/BEXT Originator originador o productor del fitxer (32 caràcters ASCII)
Pro Tools
BWF/BEXT Coding History dades tècniques de la digitalització (ASCII ilimitat, sovint 256)
Revox B77, NAB 7,5ips, 1/4 track; stereo quarter-track; recorded squealing, but not squealing tape, SSS discarded (acetate-based tape type)
WAV/INFO IARL ubicació física de l’arxiu, institució que el guarda
Arxiu Nacional de Catalunya
WAV/INFO IART noms dels artistes Schneider, Cohen, Thomas, Casals, Piatigorsky
WAV/INFO ICMT comentaris generals Rehearsal; VIDEO: Yes (only concert)
WAV/INFO ICOP informació de copyright Fundacio Pau Casals
WAV/INFO ICRD data original de creació del contingut 28/05/1967
WAV/INFO
INAM nom descriptiu del contingut de l’arxiu SCHUBERT; Quintet D. 956
WAV/INFO
ITCH nom del tècnic de digitalització Tasso Laboratori de so; 20190328
FPC_V014_ZZABM0.wav
imbricació de metadades en fitxers d’àudio – exemple
FADGI aporta recomanacions d’estandarització del format per a cada camp
BWF MetaEdit inclou un manual on-line que detalla el significat de cada camp
eines com MediaInfo o MediaTab permeten comprovar les metadades imbricades
FPC_V014_ZZABM0.wav
documentació d’informació secundària
documents fotogràfics amb UID comú als corresponents fitxers d’àudio i metadades
documentació d’informació secundària
nombres de matriu (Disco Gramófono AA175 – Cançó y Dança num.3 Federico Mompou)
BJ = disc de 10” enregistrat a Barcelona pel tècnic de HMV Harold E. Davidson (actiu a Espanya i Portugal, 1925-1930) nombres de matriu BJ2781 a BJ2865, del 2-12-29 al 20-12-29 (i després 21-01-30) I, II = primera i segona versions, enregistrades el 20-12-29 III i “IIII” = tercera i quarta versions, enregistrades el 21-01-30 publicada la quarta versió (descartades les tres primeres) Δ = enregistrament elèctric, corba de compensació WESTREX (1924)
[Alan Kelly – EMI Music Archive]
empaquetament, encriptació, transmissió, monitorització
metadades externes en formats Excel, CSV, XML
UID compartit entre tots els objectes d’informació – exemple: BNA_DPG_00002_BZZ
AIP
empaquetament, encriptació, transmissió, monitorització
eines freeware per a l’empaquetament: Bagger (Bag-It), Exactly (AVP)
eina freeware per al monitoratge de la integritat dels arxius: Fixity (AVP)
Fixity
empaquetament, encriptació, transmissió, monitorització
exemple d’empaquetament amb Exactly (AVP) – BNA_DPG_00002_BZZ
AIP
Moltes gràcies!