TheaterEncyclopedie:Koppeling met Nationaal Archief
Deze pagina is een vervolg op TE:Koppeling met beeldbanken#Koppeling met Nationaal Archief. Zie ook Nationaal Archief - Theaterfoto's
Inleiding
In december 2022 heeft I-trainee Jaime Boer, werkzaam bij het Nationaal Archief een datastory opgeleverd waarin zij een koppeling legt tussen gegevens van de Theaterencyclopedie en foto’s van het Nationaal Archief. Zie deze datastory en een meer (technisch) verslag van het project en zoek naar: Projectverslag Nationaal Archief en Theaterencyclopedie.
Dit project “Theaterencyclopedie: Koppeling met foto’s Nationaal Archief” is een vervolg op de datastory van Jaime Boer. De datastory staat op de NDE site en staat los van de website van de Theaterencyclopedie en/of de website van het Nationaal Archief. Het was een geslaagd experiment om de mogelijkheden van Linked open data in deze context te onderzoeken maar de gewenste situatie is de foto’s van het NA duurzaam te linken naar de Theaterencyclopedie.
Zie ook: Beschrijving van de datasets in Triply.
Doelstellingen
- De doelstelling voor het project zoals gedefinieerd in het projectplan
- Doel van dit project is de foto’s van het NA (FNA) te publiceren op de website van de Theaterencyclopedie (TE) en dit ook duurzaam en conform de DERA te doen.
- Doelstellingen uitgewerkt (voorstel BM)
- Tot stand brengen van technische koppeling tussen TE en NA-beeldbank, conform DERA en aansluitend op de TE-ontologie.
- Het (kunnen) publiceren van afbeeldingen uit de NA-beeldbank op een pagina in de TE als foto-galerij behorend bij een persoon, productie of theater.
- Het (automatisch) ondersteunen van de redactie van de TE bij het ontdekken van relevante foto's in de NA-beeldbank.
Resultaten
- Project Start Architectuur om de oplossing voor dit project ook conform de DERA en aansluitend op de ontologie van de TE te realiseren.
- NA foto’s gepubliceerd op de website van de theaterencyclopedie:
- Op enkele persoonspagina's en productiepagina's
- Op Help-pagina ter ondersteuning van TE-redactie (zoek-functionaliteit)
- (Zo mogelijk... in concept op Test-TE) op bewerkingsformulieren ter ondersteuning van de TE-redactie)
Resultaten buiten scope:
- Lokaal bewerken en toevoegen van annotaties aan beeldmateriaal
- Toevoegen van nieuw beeldmateriaal (in NA)
- Tools voor synchroniseren van data tussen TE en NA
Aanpak
Uitgangspunten:
- De ervaring met het ontwikkelen van koppelingen is beperkt en tevens is het belang ervan voor de nabije toekomst groot; er zal dus nadrukkelijk gekeken worden naar alternatieve scenario's.
- Het project heeft als doel om de technologie te ontwikkelen voor het koppelen van informatiebestanden, binnen het kader van Linked Open Data en DERA. In de aanpak zal dus ook extra aandacht zijn voor het ontwikkelen van deze technologie
Fasering
- Onderzoek & inventarisatie van verschillende scenario's
- Inventarisatie
- Besluitvorming
- Planning vervolg (ontwikkeling)
- Ontwikkeling van PoC / Test
- Ontwikkelingen binnen de omgeving van Test-TE en (beperkt, query?) binnen de NA-beeldbank
- Testen binnen projectgroep
- Evaluatie
- Planning vervolg (ontwikkeling/implementatie)
- Implementatie
- Migratie/implementatie van ontwikkelde onderdelen naar Productie-TE
- Invoering van benodigde informatie (aanmaken pagina's)
- Testen met gebruikers
- Evaluatie
- Planning Vervolg (?)
Ontologie
- Relevante onderdelen van DERA
- Binnen DERA zijn ontwerp principes vastgesteld
- Het Datasetregister en/of het termennetwerk spelen (op dit moment) geen rol in dit project.
- Relevante onderdelen van TE-Ontologie
- Concept Audiovisueel; Categorie:Audiovisueel/Categorie:Multimedia, Sjabloon:Multimedia, Formulier:Multimedia - Documentatie: TE:Ontologie_van_de_TheaterEncyclopedie/Multimedia
- Concept Foto; Categorie:Foto, Sjabloon:Foto, Formulier:Foto, Eigenschap:Afbeelding ...
- Concept Affiche; Categorie:Affiche
- Adlib / Axiell (??) Het Nationaal Archief maakt gebruik van Mais/Flexis. Heeft echter geen rol in dit traject.
Aanpassing ontologie - april 2024
Om de TE-ontologie eenduidiger te maken en in lijn met Wikidata worden de volgende wijzigingen geïmplementeerd:
- Eigenschap:IsVervaardigdDoor / test:Eigenschap:IsVervaardigdDoor (om onderscheid te maken met Eigenschap:IsGemaaktDoor voor werken) - equivalent met P170 - Maker
- Eigenschap:BeeldtAf / test:Eigenschap:BeeldtAf (geen vergelijkbare eigenschap - inverse van Eigenschap:Afbeelding) - equivalent met P180 - Beeldt af
Ontwerp & PSA
Eerste inventarisatie van de ontwerpscenario's / Project Start Architectuur (PSA):
- "Wikimedia Commons"-scenario (waarschijnlijk niet haalbaar)
- "TheaterKrant"-scenario
- "Multimedia/Adlib"-scenario
- "Afbeeldingen/Adlib"-scenario
- "Theater / Wikidata"-scenario
- LinkedWiki-scenario (t.b.v discovery?)
- RDF/Triple-Store-scenario
- ...
Verdere uitwerking van de ontwerpscenario's op de pagina: TheaterEncyclopedie:Koppeling met Nationaal Archief/Ontwerp.
Planning
N.T.B.
Overgenomen uit PvA (Ed de Heer):
Kick off | 23 februari 2023 |
Projectplan af | 1 april |
Inventarisatie (stap 1) | 1 mei |
Project Start Architectuur (stap 2) | 15 mei |
Realisatie (stap 3) | 1 juli |
Vervolg planning d.d. 7-9-2023
- Demo van PoC - Evaluatie ontwerp en werking
- Ontwikkeling van tools voor gebruikers
- Tab met hints op formulier (Formulier:Persoon, Voorstelling, Werk, Foto
- Query / To-do lijst voor editor met beschikbare foto's
- Ontwikkeling van import/aanmaak-procedure op Test-TE (ca. 100 afbeeldingen)
- Migratie beschikbare content naar Productie-TE
Realisatie
Update 26 juni 2023
Uitgevoerd:
- Testen (en uitbreiden/aanpassen) van de Sparql-queries die zijn gemaakt door Jamie. Later verplaatst naar account Nationaal Archief.
- Overzicht van alle Fotorecords en (verkorte) Titels in Triply t.b.v. het aanmaken van pagina's in de TE - link
- Overzicht van alle in Triply aan het Fotorecord gekoppelde (TE- en NA-) gegevens, t.b.v. het (per afbeelding/pagina) importeren van afbeeldingsgegevens in de TE (inmiddels aangepast; zie hieronder)
- Maken van oplossing voor beperkte uitvoer (zoekfunctie in query en daarmee ook in de API-call; niet standaard in Triply )
- De sleutel (het zoekwoord) is de URI van het Fotorecord
- Zie TE:Koppeling_met_Nationaal_Archief/Fotorecord#Query om een voorbeeld te zien van de API-query en de response van Triply
- Oplossen van probleem URI vs Mediawiki-paginatitel - URI-resolver was alleen beschikbaar via Speciale pagina Speciaal:URIResolver. Eigen ontwikkeling in de vorm van een test:Sjabloon:URI-resolver
- Oplossen van probleem a.g.v. gebruik meervoudige TRIPLES tegenover een meervoudige VELDEN in Semantisch Mediawiki - m.n. voor afgebeelde Personen
- Zie ontwerp/voorbeeld: TE:Koppeling met Nationaal Archief/Fotorecord-2
- Implementatie van nieuw type Property (sinds SMW 3.0): External Identifier (en , speciaal gericht op verwerking van (externe) URI’s in
- test:Eigenschap:HeeftNAFotoRecordID - nieuwe oplossing: opslag van URI als (nieuw) datatype EXTERNAL IDENTIFIER (gelinkt en evt beschikbaar voor gebruik via API)
- test:Eigenschap:HeeftNAFotoRecordURI - (tijdelijke) oplossing: opslag van URI als datatype TEXT (t.b.v. verwerking in wikitext...)
- test:Eigenschap:HeeftNAFotoID - URI van bestand; zie boven voor uitleg
- test:Eigenschap:HeeftNAFotoThumbID - Nog niet geïmplementeerd
- Ontwikkeling van nieuwe Infobox in test:Sjabloon:Multimedia_NA met test:Formulier:Multimedia NA t.b.v. aanmaken/weergeven/vewerken van Audiovisueel:NA (Fotorrecord_ID)-pagina’s
- test:Audiovisueel:PoC_1_(a9cd003a-d0b4-102d-bcf8-003048976d84)
- test:Audiovisueel:PoC_2_(a88af5a6-d0b4-102d-bcf8-003048976d84)
- Extra test, zie bijv. 321dc314-4e46-1979-a45b-896a2291cf34
- Ontwikkeling van nieuw Widget in test:Widget:Afbeelding_NA t.b.v. het weergeven van de externe afbeelding uit Archief.nl in de infobox
- Ontwikkeling van nieuwe Fotogalerij in test:Sjabloon:Fotogalerie_NA - werkt momenteel alleen voor weergaven van een enkele afbeelding op Persoonspagina’s (oorzaak mogelijk in aantal queries op pagina…)
- Testpagina’s voor weergeven van de fotogalerij
- https://test.theaterencyclopedie.nl/wiki/Ernest_Hemingway#TEST_Fotogalerie_Nationaal_Archief - OK
- https://test.theaterencyclopedie.nl/wiki/Fred_Wiegman - OK
- https://test.theaterencyclopedie.nl/wiki/Joan_Remmelts - OK
- https://test.theaterencyclopedie.nl/wiki/De_vijfde_colonne_-_Toneelgroep_Comedia_-_1945-11-10 - NOK!
Vervolg vanaf september 2023
- Importeren van 100 testpagina's in de Test-TE - zie TE:Koppeling met Nationaal Archief/Paginatitels#Importeren_van_gegevens_m.b.v._Data-transfer
- Zie lijst toegevoegde pagina's
- NB: Na importeren moet nog een handeling aan test:Sjabloon:Multimedia NA worden uitgevoerd, zodat de geïmporteerde informatie m.b.t. test:Propertie:HeeftNAFotoURI (hulp-property - workaround) goed wordt opgeslagen. Bewerking als "comment" in betreffend sjabloon gedocumenteerd.
- Ontwikkelen van methode voor suggesties aan bewerkers/vrijwilligers voor het opnemen van foto's uit het NA:
- Toevoegen van tab aan het Formulier:Persoon - zie test:Formulier:Persoon en Voorbeeld Joan Remmelts (selecteer laatste tab, rechts)
- Ontwikkelen van een (uitgebreide) fotogalerie t.b.v. Persoonspagina, Productiepagina's en Locatiepagina's (etc.)
- Sjabloon: test:Sjabloon:Fotogalerie_NA met diverse subsjablonen, en test-pagina's:
- Open kwestie / nog uit te zoeken: grootte van gebruikte fotobestand
- Beschikbare "downloads vanaf fotorecord-pagina (https://www.nationaalarchief.nl/onderzoeken/fotocollectie/a8e37b4a-d0b4-102d-bcf8-003048976d84 )
- https://service.archief.nl/gaf/api/file/v1/render/c69d92c7-2dbe-4ca3-9f0c-27af3478210c - Genaamd: "origineel formaat"
- https://service.archief.nl/gaf/api/file/v1/img/c69d92c7-2dbe-4ca3-9f0c-27af3478210c?h=1000 - let op query-parameter: hoogte = 1000
- https://service.archief.nl/gaf/api/file/v1/original/c69d92c7-2dbe-4ca3-9f0c-27af3478210c - origineel bestand (verschil met render ???)
- Opgeslagen url (vanuit fotorecord api - "hasView" / isShownAt / isShownBy:
- https://service.archief.nl/gaf/api/file/v1/thumb/1ce2b689-0b25-4e6a-9a32-451b997a0f8d - hasView (geeft auto download... maar werkt ook in galerie)
- http://hdl.handle.net/10648/a9cd003a-d0b4-102d-bcf8-003048976d84 - isShownAt (http ipv https !!)
- https://service.archief.nl/gaf/api/file/v1/default/1ce2b689-0b25-4e6a-9a32-451b997a0f8d - isShownBy (nu gebruikt voor test:Eigenschap:HeeftNAFotoURI en is afgeleid van test:Eigenschap:HeeftNAFotoID (wordt op basis van URI-Prefix op deze pagina ingesteld - dus niet in test:Sjabloon:Multimedia NA ).
- Beschikbare "downloads vanaf fotorecord-pagina (https://www.nationaalarchief.nl/onderzoeken/fotocollectie/a8e37b4a-d0b4-102d-bcf8-003048976d84 )
- "Feature request" voor External Idintifier data-type van Semantic MediaWiki - easier handling in widgets and/or displaying of information in
[... xyz]
or[[xxx | xyz]]
-format and/or further processing in templates. {NB: Ook relevant in kader van Toekomst TE / ProdcutieDB plannen !!)- "Display as plain text"-optie (in de context van inline queries #ask en #show) - ID only (niet URI/URL)
- Display van prefix (text only):
https://domain.abc/path/
Vervolg vanaf (oktober) november 2023
- Importeren CSV / aanmaken totale set van 5061 afbeeldingspagina's
- Importeren verloopt zonder problemen - duur is ongeveer 30 minuten
- Vervolgens "resetten" van de Eigenschap:HeeftNAFotoURI, zodat die hierna wel goed wordt geannoteerd (deze handmatige correctie was al bekend uit de vorige "import"-test). Dit duurt nu iets langer agv grote aantal pagina's (ca. 30 minuten om alles te wissen en nogmaals 30 minuten om alles opnieuw te annoteren). NB: tijdens resetten is de weergave van bestaande galerijen verstoord!).
- Probleem "Dubbele weergave personen in Infobox" doet zich voor op sommige nieuwe pagina's. Voorbeelden:
- test:Audiovisueel:Afbeelding_NA_(adf22faa-d0b4-102d-bcf8-003048976d84)
- test:Audiovisueel:Afbeelding_NA_(adf15c88-d0b4-102d-bcf8-003048976d84)
- Oorzaken:
- In beide gevallen gaat het om twee afbeeldingen in één fotorecord (verschil informatiemodel NA vs. TE...). Het betreft voor- en achterzijde van een fotoafdruk.
- Bij de eerste foto zijn drie theaters gematcht in het NA (correct) - Bij ontwerp koppeling alleen rekening gehouden met meervoudige personen (niet met meervoudige theaters).
- Opmerking/probleem: "Ontbrekende afbeeldingen" - er zijn voorbeelden dat er in het NA een (veel) groter aantal foto's beschikbaar is dan dat wordt weergegeven in de TE. Voorbeeld(en):
- Andrea Domburg in NA (61) vs. test:Andrea Domburg in TE (10).
- Fotorecord ID, dat wèl voorkomt in NA: ab97f41a-d0b4-102d-bcf8-003048976d84 - link, maar niet in het overzicht voor de TE is opgenomen...
- Check: ook niet terug te vinden in resultaat query (Triply/NA): https://data.netwerkdigitaalerfgoed.nl/nationaal-archief/-/queries/Test-1---kopie-query-JBOER/1
- Overzetten van ontwikkelingen naar de Productie-TE
- Overzetten van Sjablonen etc. , waaronder vier galerij-opties:
- Eenvoudige "automatische" galerij - geeft alle gerelateerde/gekoppelde foto's uit het NA op eenvoudige wijze weer
- Eenvoudige "handmatige" galerij - geeft op basis van Foto-ID's foto's uit het NA op dezelfde wijze als boven weer (PS: mogelijk ook functioneel voor nog niet gekoppelde foto's)
- Uitgebreide "automatische" galerij - geeft alle gerelateerde/gekoppelde foto's uit het NA met infobox in POP-UP weer
- Uitgebreide "handmatige" galerij - geeft op basis van Foto-ID's foto's uit het NA op dezelfde wijze als boven weer
- Aanpassen van bewerkingsformulieren t.b.v. (Nog uit te voeren !!)
- Meer mogelijkheden om foto's uit NA te ontdekken (t.b.v. TE-bewerkers) en op te nemen in galerij op de TE; TE:Koppeling met Nationaal Archief/Lijsten
- Overzetten van Sjablonen etc. , waaronder vier galerij-opties:
Verstoring van de werking d.d. 4 juli 2023
- Op dinsdag 4 juli 2023 om 11:00u geconstateerd dat de P0C-pagina's niet meer werken als gevolg van een foutmelding in de API-response
- live link
- Er lijkt een probleem te zijn met de sparal-service bij NDE (zie screenshot api-response in fotogalerij)
- Zie de melding in het screenshot van de datastory op de site van NDE: "Could not show query result, the SPARQL endpoint is not accessible."
- De link naar het fotorecord op de site nationaalarchief.nl functioneert normaal
- Na een half uur zijn de eigenschappen nog normaal lokaal opgeslagen in de semantische database van de TE
- De foto's op de persoonspagina's worden normaal weergegeven
- De oorzaak van de verstoren bleek het aanpassen ("verplaatsen") van de accounts (van Jamie/Bart) bij NDE naar een algemene "nationaal-archief" account.
- Technisch gezien verandert hierdoor de API-call (zie bijv. benodigde aanpassing - live link op Test-TE). Oplossing was dus de volgende aanpassing van BartMulckhuijse in nationaal-archief
- Oorspronkelijke API-call:
{{#get_web_data: url=https://api.data.netwerkdigitaalerfgoed.nl/queries/BartMulckhuijse/Alle-fotorecords-met-alle-gematchte-attr/run?zoeken={{urlencode:https://archief.nl/doc/fotorecord/{{{uuid-fr}}}}}
- Aangepaste API-call:
{{#get_web_data: url=https://api.data.netwerkdigitaalerfgoed.nl/queries/nationaal-archief/Alle-fotorecords-met-alle-gematchte-attr/run?zoeken={{urlencode:https://archief.nl/doc/fotorecord/{{{uuid-fr}}}}}
- Oorspronkelijke API-call:
- Technisch gezien verandert hierdoor de API-call (zie bijv. benodigde aanpassing - live link op Test-TE). Oplossing was dus de volgende aanpassing van BartMulckhuijse in nationaal-archief
Wensenlijst / mancolijst voor toekomstige ontwikkelingen
Na de afronding van de implementatie van de eerste versie van de koppeling en het starten van het gebruik in de praktijk van de fotogalerij op diverse pagina's, zijn de volgende wensen voor verbetering of manco's aan de huidige werking naar boven gekomen:
- Verbeteren van de weergave-kwaliteit van "kleine" (thumbnail) afbeeldingen op diverse plekken
- Er wordt in de API-koppeling nu alleen gebruik gemaakt van de "volledige" afbeelding of de "thumbnail"-versie. De eerste zorgt voor performance problemen, de tweede is erg klein.
- in overleg met N.A. kijken wat er te doen is aan kwaliteit weergave foto's. Zie voorbeeld Test-TE test:Frascati (onder overzicht premières)
- Verbeteren ondersteuning gebruiker bij het kopiëren/plaatsen van de CID (het unieke nummer) voor het samenstellen van een maatwerk-galerij.
- Nadenken over oplossing hoe beter zichtbaar te krijgen op bewerkingsformulieren (Formulier:Persoon, -Productie, -Locatie) welke nummers horen bij welke afbeeldingen.
- Onderzoeken mogelijkheid tot vereenvoudigen van kopiëren van de nummers van de afbeeldingen (pop-up, click-to-copy ???)
- Nog overwegen in hoeverre het wenselijk is om 1) toch de hele afbeelding te zien i.p.v. slechts een strook, en 2) een onderschrift erbij te willen kunnen zetten.
- Verbeteren ontologie
- Eigenschap:Persoon bestaat niet, is niet eenduidig en wellicht dubbel gebruikt
- Eigenschap:Locatie bestaat al, is niet eenduidig en dubbel gebruikt
- Eigenschap:Productie bestaat al, is niet eenduidig en (dus) dubbel gebruikt
- Eigenschap:Titel bestaat al, is niet eenduidig en (dus) dubbel gebruikt
- Lijst met pagina's om een Fotogalerie te plaatsen
- Voorbeeld: /Personen met foto's in NA
Gebruik
De galerieën met foto's uit het NA worden op de volgende pagina's gebruikt:
- Sjabloon:Fotogalerie NA (← koppelingen)
- Sjabloon:Fotogalerie NA/handmatig-eenvoudig (ingevoegd als sjabloon) (← koppelingen)
- Steve Austen (ingevoegd als sjabloon) (← koppelingen)
- Ton van Duinhoven (ingevoegd als sjabloon) (← koppelingen)
- Wim Sonneveld (ingevoegd als sjabloon) (← koppelingen)
- Kees Brusse (ingevoegd als sjabloon) (← koppelingen)
- Josephine van Gasteren (ingevoegd als sjabloon) (← koppelingen)
- Rim Ram - Cabaret Wim Sonneveld - 1958-09-09 (ingevoegd als sjabloon) (← koppelingen)
- Frascati, Amsterdam (ingevoegd als sjabloon) (← koppelingen)
- Guus Verstraete sr. (ingevoegd als sjabloon) (← koppelingen)
- Sjabloon:Fotogalerie NA (← koppelingen)
- Sjabloon:Fotogalerie NA/handmatig-uitgebreid (ingevoegd als sjabloon) (← koppelingen)
- Johnny Jordaan (ingevoegd als sjabloon) (← koppelingen)
- Rick Nicolet (ingevoegd als sjabloon) (← koppelingen)
- Dolf de Vries (ingevoegd als sjabloon) (← koppelingen)
- Wim van den Brink (ingevoegd als sjabloon) (← koppelingen)
- Wim Hoddes (ingevoegd als sjabloon) (← koppelingen)
- Hetty Berger (ingevoegd als sjabloon) (← koppelingen)
- Wat een planeet - Impresariaat John de Crane - 1973-11-09 (ingevoegd als sjabloon) (← koppelingen)
- Als ik koning was - Toneelgroep Puck - 1950-12-16 (ingevoegd als sjabloon) (← koppelingen)
- De engel van Amsterdam - Cabaret Lurelei - 1975-10-09 (ingevoegd als sjabloon) (← koppelingen)
- Specul-aas - Studententoneel en Studentencabaret - 1963-07-01 (ingevoegd als sjabloon) (← koppelingen)
- Jean Atkinson (ingevoegd als sjabloon) (← koppelingen)
- Sjabloon:Fotogalerie NA (← koppelingen)
NB: Dit overzicht wordt automatisch bijgewerkt.
Links / externe documentatie
- Data story
- verslag project
- beschrijving sparql NA
- Voorbeelden:
- DERA
- PoC - kladblok Bart