TheaterEncyclopedie:Verbetering koppeling TheaterEncyclopedie en TheaterCollectie (2023)/Synchronisatie en kwaliteitsbeheer informatie
Uit TheaterEncyclopedie
In de doelstelling van plan voor verbetering van de koppeling tussen TC en TE is opgenomen dat er afspraken moeten komen over welke informatie leidend alsmede hoe de informatie gecontroleerd tussen beide bestanden kan worden uitgewisseld.
In de mailwisseling tus FM, BvdW en BM (zie e-mails d.d. 7 mei 2024 en eerder is het begrip van leidende informatie verder uitgewerkt. Hierbij is overigens de (voorlopige) conclusie getrokken dat voor veel van de (kern)informatie waarschijnlijk zal gelden dat zowel TE als TC zelfstandige informatiebronnen zullen zijn. Oftewel beiden bestanden zorgen zelfstandig voor kwaliteitsbeheer van de informatie (en de onderlinge synchronisatie).
Omdat tevens in de Uitwerking van de doelstellingen en in de Wensen & Eisen is gesteld dat Het verdubbelen van data-invoer moet voorkomen worden en Er moeten maatregelen komen voor kwaliteitsbeheer van de informatie (synchronisatie en ontdubbeling van informatie), blijven bestanden wel nauw aan elkaar gekoppeld en zijn er maatregelen nodig om gecontroleerd informatie uit te wisselen.
Uitwerking methodiek
Uitgaande van de Werkwijze aanvullingen en wijzigingen vanuit Theaterencyclopedie naar Axiell Collections TIN, Bianca de Waal, 3 februari 2025 (zie email d.d. 3-2025) is de volgende uitwerking opgesteld.
Terminologie
Enige uitleg over de in onderstaande tekst gebruikte termen:
- TE
- TheaterEncyclopedie gebaseerd op MediaWiki - Pagina's met (wiki)tekst en de (semantische) database met gestructureerde gegevens
- TC / AC / Axiell
- De TheaterCollectie gebaseerd op Axiell Collections - Gestructureerde informatie.
- Entiteit
- Benaming voor een informatierecord, met mogelijk verschillende attributen. Concreet kan dit bijvoorbeeld een Productierecord (?) zijn in de TC of een Productie-pagina in de TE. Voor een lijst van entiteiten op de TE, zie Categorie:Entiteit.
- Attribuut
- Informatie-eenheid behorend bij een entiteit. Concreet een veld in de TC (NB: kan 1 of meer informatie-eenheden of triples bevatten ! ) of een Eigenschap (Property) in de TE. Eigenschappen van producties op de TE, zie hieronder, of Categorie:Eigenschap van een productie.
- Synchronisatie/koppeling
- Informatie wordt technisch/automatisch of procedureel in overeenstemming met elkaar gehouden.
Leidende bron
Wanneer er afgesproken wordt dat 1 van de bronnen leidend is, dan is de methode van synchroniseren anders dan wanneer beide bronnen zelfstandig zijn.
- 1 leidende bron
- het volgend bestand kopieert letterlijk de data uit een veld van het leidende bestand, zodat informatie van gekoppelde entiteiten in beide bestanden altijd volledig synchroon is
- 2 zelfstandige bronnen, maar met bijvoorbeeld wel een ‘comply or explain’ strategie
- Beide bronnen vergelijken ‘zichzelf’ met de ander, maar nemen niet per definitie elkaars informatie over.
In het eerste geval moet nog wel rekening gehouden worden met het aanmaken of verwijderen van entiteiten (dit kan meestal technisch niet automatisch c.q. real-time gebeuren).
In het tweede geval kunnen er dus diverse situaties voorkomen:
- Voor gekoppelde entiteiten is het mogelijk dat:
- Geen verschillen zijn tussen beide bestanden; alle attributen/velden zijn identiek
- Er kunnen verklaarde verschillen zijn:
- meer/aanvullende informatie; extra attributen/velden en/of extra informatie in een veld
- minder/ontbrekende informatie; ontbrekende attributen/velden of ontbrekende informatie in een veld
- Verschillende codering van in principe dezelfde informatie
- Niet gekoppelde/gesynchroniseerde attributen/velden
- Niet gekoppelde entiteiten zullen/kunnen sowieso verschillen
- Voorlopige conclusie
- Op basis van de voorgaande discussie zal er tussen de TE en de TC vooral sprake zijn van het vergelijken van twee zelfstandige bronnen en is het dus nodig om aan beide kanten verschillenrapportages te kunnen opstellen.
De inhoud van de verschillen-rapportages en de procedure voor verwerking wordt verder uitgewerkt.
Lokale invoer, weergave & opslag vs. Linked Data
NB: DIT DEEL VERGT NOG KEUZES !! (met name over lokale opslag (en dus dubbele opslag) van gekoppelde informatie in de TE)
Om een goed begrip te krijgen van de veranderingen zijn de huidige en de (mogelijkheden voor) de toekomstige situatie verder uitgewerkt
Huidige situatie Tinbot voor theaterproducties:
- Lokale invoer, weergave en opslag in de TE van informatie, gekopieerd vanuit de TC ("in de infobox")
- Voor sommige velden niet aanpasbaar (wordt overschreven); voorbeeld: titel, producent premieredatum
- Voor sommige velden wel aanpasbaar ; voorbeeld: makers en uitvoerenden
- Lokale invoer, weergave en opslag van informatie in de TE, die niet is gekopieerd vanuit de TC ("buiten de infobox")
- Toevoegen van informatie aan op zich gekoppelde productie, maar “buiten de infobox”
- Toevoegen van geheel ongekoppelde theaterproducties
- Verwijderen c.q. niet overnemen van theaterproductie
- Nieuwe productie in de TC worden via Tinbot per batch aangemaakt in de TE, informatie (infobox) wordt gekopieerd
- Uit de TC verwijderde producties ??
- Lokaal aangemaakte productie (ongekoppeld) (??)
Opties bij Linked Data
- Gesynchroniseerde/gekoppelde entiteiten en bijbehorende informatie; hiervoor zijn er drie mogelijkheden:
- Copy, Paste - Inlezen & weergeven : dus nooit c.q. geen enkele lokale invoer, lokale weergave en opslag van de remote linked data (alleen mogelijk i.g.v. "Leidende bron", vergelijk NA fotorecords e.d.)
- Compare only - Inlezen ter info only: altijd c.q. complete lokale invoer (en dus ook weergave en opslag van de lokale data) - Ongewenst gezien doelstellingen van dit project !
- Copy & Correct: Gedeeltelijk lokale invoer; hybride weergave en opslag van linked data versus lokale (aangepaste/gecorrigeerde) data.
- Indien lokaal ingevoerd, dan lokaal ingevoerde informatie weergeven en opslaan
- Indien geen lokaal ingevoerde data, dan Linked Data weergeven en opslaan.
- Niet gesynchroniseerde/ongekoppelde informatie (velden, eigenschappen) van op zicht gekoppelde entiteiten:
- Lokale invoer, weergave en opslag van lokale data (NB: in TC of TE!)
- Ontbrekende informatie, c.q. niet overgenomen informatie
- Technisch niet gekoppelde c.q. lokale entiteiten(, maar wel met referentie naar elkaar)
- See also : Kijk voor eventueel aanvullende info op....
- Vergelijkbaar met Compare only, maar alleen op niveau van (aanvullende) velden en indien remote beschikbaar
NB: Zoals al gemeld is er in het geval van Linked Data nog specifieke aandacht nodig voor het synchroniseren van entiteiten (producties) in beide systemen.
Verdere toelichting
Voorbeelden, gezien vanuit het perspectief van de TE:
- Copy-Paste (volgend)
- Informatie uit de TC wordt ingelezen in de TE en in de TE opgeslagen in de semantische database. De informatie kan worden weergegeven op pagina's, maar kan niet aangepast worden (via bijv. een formulier). Voorbeelden: Referentienummers, URI's, ...
- Compare only (informatief)
- Informatie uit de TC wordt ingelezen, maar niet lokaal in de semantische database opgeslagen. Alle info in de TE wordt lokaal ingevoerd en opgeslagen in de Semantische database. De informatie uit de TC wordt bijv. naast de lokaal ingevoerde (gekopieerde) data in het bewerkingsformulier weergegevens. Voorbeelden: Opmerkingen-velden, administratieve velden (??). Dit gebeurt momenteel met locatie-informatie in Wikidata (dit wordt ook aan de voorzijde weergegeven, overigens. Kan nuttig zijn in geval van een niet betrouwbare / vertrouwde bron
- Copy & Correct (aanpasbaar)
- Informatie wordt ingelezen vanuit de TC en lokaal opgeslagen & weergegeven, tenzij er lokaal informatie is ingevoerd. In dat geval wordt de lokaal ingevoerde informatie opgeslagen en weergegeven. Eventueel kan signalering van verschillen plaatsvinden.
Logica per veld voor de "Copy & Paste" optie:
IF (axiell_referentie) THEN IF (<GEEN ERROR(remote_value)>) THEN ($remote_value) ELSE ( NULL ) ELSE ( NULL )
Logica per veld voor de "Copy & Correct" optie:
IF (local_input) THEN ($local_value) ELSE IF (axiell_referentie) THEN IF (<GEEN ERROR(remote_value)>) THEN ($remote_value) ELSE ( NULL ) ELSE ( NULL ) - Er kunnen ongekoppelde producties/records/pagina's bestaan (op de TE en in de TC) - Lokaal ingevoerde waarde overschrijft alle remote informatie - Meervoudige waarden worden "als geheel" overschreven; enkelvoudige aanvullingen niet mogelijk - Gekoppelde producties wijzigen lokaal automatisch met remote aanpassingen (tenzij een lokale waarde is ingevoerd) - zodra een lokale waarde is ingevoerd, worden remote aanpassingen niet meer automatisch weergegeven/opgeslagen - minimale dubbele registratie - op termijn toenemend moeizame synchronisatie
Vergelijken van data - verschillen
NB: DIT DEEL VERGT NOG KEUZES EN UITWERKING !
Uitgaande van geen enkele lokale invoer; dan zullen er nooit verschillen zijn.
Uitgaande van complete lokale invoer
- Rapportage per gesynchroniseerde pagina over verschillen tussen TE en TC; wanneer er in 1 of meer velden een verschil is tussen de data van de TE en de data van de TC, dan moet dat gesignaleerd worden.
- Dit levert ingewikkelde vergelijkingen in het geval van :
- Velden met verschillende schrijfwijzen en of “codering”, denk aan data en namen.
- Velden met meervoudige waarde(n), betekenisvolle volgorde van invullen van de waarden
- Rapportage per niet gesynchroniseerde pagina
Uitgaande van hybride situatie - "Copy & Correct" (met deels lokale invoer, deels niet) is het waarschijnlijk meest praktisch een andere aanpak te kiezen:
- Rapportage van gesynchroniseerde pagina’s met lokale invoer
- N.B.: dit is mogelijk toch nog dezelfde invoer als de Linked Data !!
- Die kan op termijn een omvangrijk bestand worden (met "gewenste verschillen/aanpassingen") - mogelijk is filteren op recente wijzigingen in de TE noodzakelijk.
- N.B.: Openstaande kwestie: wijzigingen in de TC (aan producties met lokale TE-invoer) - hoe rapporteren en afhandelen ??
- Rapportage van ongesynchroniseerde pagina’s (TE en TC)
Voor het synchroniseren van entiteiten (producties) in beide systemen:
- nieuwe entiteiten (concreet: nieuwe producties aangemaakt in de TE of TC)
- te verwijderen entiteiten (concreet: uit de TE of TC verwijderde producties)
- Inventaris,
- Verschillenlijst; entiteiten waarvan besloten is dat ze alleen in de TE of alleen in de TC voorkomen. EN/OF
- Koppellijst; entiteiten waarvan besloten is dat ze in beiden systemen zijn gesynchroniseerd/gekoppeld
Inventarisatie van attributen
NB: Bij deze inventarisatie wordt de situatie geregistreerd zoals deze "nu" (In 2025, in de uitvoering van het project "Verbetering koppeling TE en TC") moet worden. Er kunnen dus (tijdelijke) verschillen ontstaan tussen deze inventarisatie en de "huidige gang van zaken" (in 2025 en daarvoor).
TO DO:
- Toevoegen in overzicht:
- Gekoppelde bron (specifiek: TheaterCollectie) - DONE
- Gekoppelde data (specifiek: Record/veld - DONE (grotendeels...)
- Wijze van koppeling (Leidende bron / (Volgend bestand), Informatief, "Copy & Correct", ...) - IN UITVOERING
- Typering toevoegen aan velden als:
- Enkelvoudig - Hoogsten 1 waarde
- Meervoudig (mogelijk) - Mogelijk meer dan 1 waarde
Overzicht van attributen (velden) van de entiteit productie:
- De bovenstaande tabel is het resultaat van een query en kan als zodanig niet direct bewerkt worden. Aanpassingen gaan als volgt:
- Klik op de naam van de eigenschap (linker kolom); je komt dan op de wiki-pagina van de eigenschap.
- Klik op de eigenschapspagina op de knop boven de tabel: “Bewerk deze tabel (met formulier)” ; Je komt dan in het scherm “Eigenschap bewerken"
- Pas de gewenste velden in het formulier aan
- Wanneer je klaar bent klik je onderaan op een van de knoppen: “Pagina opslaan”, “Bewerking ter controle bekijken”, “Wijzigingen bekijken” of “Annuleren”
Opmerkingen/kwesties ter bespreking in overleg 14-4-25
- Let op verschil InVertalingVan (=horend bij productie, persoon in functie Vertaling) en IsVertalingVan (=verwijzend naar een ander werk. De laatste hangt ongebruikt op productiepagina onder IsGebaseerdOp, en op Werkpagina. Wordt handmatig ingevuld op TE. Is dat dan Informatief? en Blijft HasLinkedData dan leeg?. En verwijst dus in principe alleen naar een Werk, dus moet Productie weg bij 'Heeft als object'?
- IsGebaseerdOp, IsGeinspireerdOp, IsVertalingVan en IsBewerkingVan heb ik (MF) op Informatief gezet, omdat we dit op productiepagina's zelf invullen.
- NB: Het veld "Soort koppeling" wordt alleen ingevuld (met bijv. "informatief"), als er werkelijk een koppeling met een andere bron (zoals Axiell) bestaat. Als een eigenschap alleen lokaal gebruikt is, dan blijft dit veld dus leeg. - Bmulckhu (overleg) 14 apr 2025 12:05 (CEST)
- Nu hebben we Producent als 'Volgend' en Co-producent als 'Aanpasbaar', maar uiteindelijk wil je, indien nodig, beide velden kunnen wisselen (het voorbeeld met Senf en Albert Verlinde Producties)?
- BehoortTotTheaterCollectieSelectie: nu 'Volgend' en inhoudelijk is dat zo, maar het is op dit moment een handmatige aanvinking op een pagina. Willen we dit automatisch laten meekomen? Of moet dit 'Informatief' worden?
- Onderwerp, Oorspronkelijke Titel en Opmerkingen staan nog als 'Informatief', maar zitten wel 'vast' in de infobox, dus zijn op dit moment 'Volgend'. Willen we dit aanpassen?
- IsBedachtNaar komt overeen met het 'naar...van'-veld. Op dit moment ingevuld als 'cast.naam (cz)' en aanpasbaar, omdat alleen de persoon meekomt. BdW had het ingevuld als 'cast.personage (cw) of uit oorspronkelijke_titel (oT)?', omdat het werk waarnaar het bedacht is, in Axiell ook wordt ingevuld. BdW 15-04-2025: Het stukje van oorspronkelijke titel klopt niet. De informatie over waarop een productie is gebaseerd staat in het veld cast.personage (cw) en de auteur daarvan staat dan in het veld cast.naam (cz) met als functie cast.soort_rol (cy) naar ... van. Voorbeeld: cz: Shakespeare, William cy: naar ... van cz: naar 'Hamlet' van
- Bij Eigenschap:AxiellCollections: Komt hier het nieuwe recordnummer of willen we hier straks de PID hebben? Voor premières die na de overgang naar Axiell zijn ingevoerd, is het originele recordnummer leeg.
- Om wat voor afbeelding gaat Eigenschap:Afbeelding?
- Wat zijn Eigenschap:Gallery caption en Eigenschap:HeeftAxiellRef? Zie ook: overlegpagina - Bmulckhu (overleg) 9 apr 2025 13:20 (CEST)
- NB (algemeen voor boven/onderstaande) (BM): In de (huidige) PoC-fase is het doel de bestaande werkwijze voor producties (m.b.v. Tinbot en bijbehorende procedures) 1:1 om te zetten naar een LinkedData-werkwijze (c.q. een API-koppeling en nieuwe procedures). En dit voor 1 enkele pagina. Dit houdt in (check):
- Gegevens in de infobox zijn en blijven in principe gekoppeld als "volgend" (we kijken of we ze technisch ook meteen Aanpasbaar kunnen maken...)
- Gegevens buiten de infobox zijn in de huidige situatie (hoogstens) gekoppeld als Informatief (check ?); ze worden eenmalig geplaatst, maar er zijn geen procedures om ze te synchroniseren met Axiell.
- Aanpassingen in de koppeling en bijbehorende ontwikkelingen, documenteren we nu en ontwikkelen we (technisch, procedureel) in een later stadium.
Aanvullingen BM:
- Voor sommige velden geldt dat de wijze van invulling een bepaalde semantische betekenis heeft. Voorbeelden zijn:
- Seizoenen / Onderwerp (content.subject (ip)) - BdW 15-04-2025 - Het is lastig om de seizoenen in een apart veld te zetten omdat dit consequenties heeft voor andere presentaties zoals bijvoorbeeld de publiekscatalogus. Ik weet dat er ooit wel de wens was om de seizoenen in een apart veld te zetten. Dat bespreek ik vandaag binnen de Catalogusredactie. Alternatief is dat er in de mapping naar de TE een regel geschreven wordt voor onderwerpen die beginnen met seizoen.
- Er is tevens een beschrijving nodig van wat er nog meer in dit veld opgenomen kan zijn (en op welke manier - codering, volgorde - dit wordt ingevuld). BdW 17-04-2025: Er is geen logische volgorde en de waarden zijn allemaal onderwerpstrefwoorden. Of bedoel je iets anders?
- Producent; In de API van Axiell kunnen hier meer dan 1 waarden zijn ingevuld (als <producent> <company>);
- voor zover ik begrepen heb is de eerste waarde de "hoofdproducent" en zijn de (eventuele) vervolgwaarden "co-producenten". Tenminste 1 waarde is verplicht (?), en onbeperkt veel extra waarden zijn mogelijk. BdW 17-04-2025: Er is geen hoofd- en co-producent. Wij maken geen hiërarchisch verschil. De TE doet dit op dit moment wel maar in een gesprek onlangs met Milco, gaf hij aan hier ook niet zo aan te hangen en ook dit onderscheid niet meer te maken maar dit heeft consequenties voor de reeds bestaande pagina's. Daar moeten Bart en Milco het even over hebben.
- Kleine nuance MF: ik hecht er in de infobox niet zoveel waarde aan; daar kunnen alle producenten wat mij betreft in één veld. Maar: ik hecht er voor de vindbaarheid wel waarde aan als de producent in de (huidige) URL en paginatitel de bekendste/hoofdproducent is. Het voorbeeld van de producties van Albert Verlinde en Senf Theaterpartners: Albert is 'naar buiten toe' de belangrijkste producent, dus Grease - Albert Verlinde Producties doet bij meer mensen een belletje rinkelen dan Grease - Senf Theaterpartners, zoals nu het geval is.
- Splitsen in twee velden (hoofdproducent en co-producent(en)) heeft de technische voorkeur hier.
- voor zover ik begrepen heb is de eerste waarde de "hoofdproducent" en zijn de (eventuele) vervolgwaarden "co-producenten". Tenminste 1 waarde is verplicht (?), en onbeperkt veel extra waarden zijn mogelijk. BdW 17-04-2025: Er is geen hoofd- en co-producent. Wij maken geen hiërarchisch verschil. De TE doet dit op dit moment wel maar in een gesprek onlangs met Milco, gaf hij aan hier ook niet zo aan te hangen en ook dit onderscheid niet meer te maken maar dit heeft consequenties voor de reeds bestaande pagina's. Daar moeten Bart en Milco het even over hebben.
- Het is vanuit informatie-technisch oogpunt wenselijk om dit aan te passen, of indien niet mogelijk, in ieder geval goed te documenteren en (zonodig) op te schonen.
- Seizoenen / Onderwerp (content.subject (ip)) - BdW 15-04-2025 - Het is lastig om de seizoenen in een apart veld te zetten omdat dit consequenties heeft voor andere presentaties zoals bijvoorbeeld de publiekscatalogus. Ik weet dat er ooit wel de wens was om de seizoenen in een apart veld te zetten. Dat bespreek ik vandaag binnen de Catalogusredactie. Alternatief is dat er in de mapping naar de TE een regel geschreven wordt voor onderwerpen die beginnen met seizoen.
- De informatie betreffende het premièreseizoen is een doublure van de informatie over de premièredatum; de datum bepaalt immers 1:1 het seizoen. Het is wenselijk deze "dubbele registratie" te verwijderen. Mogelijkheden:
- Première-seizoen op de TE afleiden van Premiè-datum op de TE (Vast/volgend, dus niet aanpasbaar) - geen koppeling met de TC - technische voorkeur.
- Première-seizoen op de TE afleiden van Premiè-datum op de TC (Vast/volgend, dus niet aanpasbaar)
- VRAAG (BM): Alle info m.b.t. de uitvoerenden etc. (in cast.personage (cw) ) is momenteel toch "informatief" ? Oftewel, het wordt eenmalig door Tinbot op de pagina geplaatst en wordt niet meer overschreven na lokale (TE) aanpassingen ?
- MF: Klopt, hooguit nog overschreden als de TE pagina niet is aangepast, maar na aanpassing is het inderdaad losgekoppeld.
- BM: Dus:
- In het lopende project deze velden nog als informatief implementeren (dus geen automatische import/link met Axiell)
- Na de afronding van het project de benodigde aanpassingen ontwikkelen om ze gekoppeld en aanpasbaar te maken (de uiteindelijk gewenste situatie)
- VRAAG (BM): Datatype van Eigenschap:Onderwerp handhaven als "Pagina" (gelinkt, en met Categorie:Onderwerp als objecten) of aanpassen in "Tekst" (niet gelinkt)
- MF: Mag als "Pagina" blijven (ivm uitleg van de trefwoorden)
- De bijbehorende pagina Onderwerp (definitie, uitleg en doorverwijzingen) en de Categorie:Onderwerp (nog leeg !!!) zijn als "beginnetje" aangemaakt, maar vergen nog wel wat uitwerking. Met name ook het verschil met trefwoorden verdient nog enige uitleg. - Bmulckhu (overleg) 15 apr 2025 10:51 (CEST)
- PS: Er is ook nog een mogelijkheid om Onderwerpen gelijk te stellen aan Trefwoorden (dus een doorwijzing op de categorie-pagina te plaatsen) - Bmulckhu (overleg) 15 apr 2025 10:51 (CEST)
- VOORSTEL (BM): Datatype van Eigenschap:Titel aanpassen in "Tekst" (niet gelinkt).
Verdere aanvullingen MF en BdW n.a.v. veldenvergelijking Axiell en TE (d.d. 23-04-2025):
De volgende velden uit Axiell zijn op dit moment nog niet in de TE aanwezig, en kunnen wel relevant zijn:
- premieredatum.maand (Dn) (was tot op heden niet relevant, omdat alleen een volledige premièredatum doorgang tot TE gaf, maar straks op basis van PID-koppeling kunnen evt. ook onvolledige data door)
- cast.personage (cw) = rol bij creatives (dus de specificering van bijv. Auteur, Regie, Begeleiding, etc)
- doelgroep (tg)
- leeftijd_vanaf (af)
- leeftijd_tot (aT)
- evenement (eN) = Festival
- tin_collectieselectie (xG) (aanvinkveld bestaat al in TE, maar nog niet gekoppeld)
- Functies onderzoek en koordirigent ontbreken nog in de TE