Zoek resultaten voor 'openrefine'

[Rolf]

Dag Marjolijn,

Binnen Collections (of Designer) zijn de mogelijkheden beperkt. Misschien is ChatGPT deel van de oplossing: maak een export naar XML, uploadt die en stel je vraag.

Tot zover de executive summary, nu even wat toelichting.

Stel dat je al je schilderijen bij elkaar hebt op objectnaam OB = schilderij in het eerste zoekresultaat in Geavanceerd zoeken, dus set 1.

Zijn je standplaats-datumvelden netjes ingevuld? Dat is zelden zo. Een overzichtje van de desbetreffende velden:

2A is huidige standplaats, 2C is datum huidige standplaats, LD is standplaats controledatum
ST is vroegere standplaats, SS is standplaatshistorie.begindatum, SE standplaatshistorie.einddatum
(ik werk liefst met tags, dat scheelt typfouten)

In Geavanceerd zoeken:

Set 1 and 2A = * (geeft alle schilderijen met een huidige standplaats)
Set 1 and 2A = * and 2C = * (geeft idem met bovendien datum ingevuld)

Ditzelfde doe je voor ST, SS en SE.

Dit geeft een indruk hoeveel schilderij-records überhaupt bruikbare gegevens bevatten. Zoals gezegd, als het allemaal netjes is ingevuld, dan zou ChatGPT (oid) uitkomst kunnen bieden. Het is het proberen waard.

Nu nog wat uitleg wat het zo lastig maakt. Wat is “op 1 maart 2026”? Als Gezicht op Delft na de restauratie (eind jaren ’80, meen ik?) niet van zijn plaats geweest is, dan vind je dat hopelijk met

set 1 and 2C <= "2026-03-01"

Maar een schilderij dat half februari verplaatst is en eergisteren weer, voldoet aan

set 1 and (SS > "2026-02-14" WHEN SE < "2026-08-11")

WHEN zoekt binnen de occurrence van een veldgroep. AND zoekt door alle occurrences, dat wil je in dit geval niet. Opmerking: WHEN heeft nogal eens kuren.

Merk op dat de datums die je moet opgeven heel verschillend kunnen zijn, om toch de schilderijen op te leveren die je zoekt.

De mogelijkheden in Collections zijn dus nogal beperkt. Zonder ChatGPT zou ik een export maken en een tijdje puzzelen met OpenRefine. Dat wordt een ander verhaal, maar als je wilt kunnen we daar zeker nog op doorgaan.

Ik hoop dat dit enigszins antwoord op je vraag is.

Groeten,
Rolf

 

• Deze reactie is gewijzigd 4 dagen, 7 uren geleden door Rolf.

[Rolf]

Hallo Stephanie,

ik zou verwachten dat je via een URI van geonames of wikidata ook de coördinaten kunt vinden. Dus dan zou je je instellingen eerst moeten reconcilen in geonames, en daarvandaan de coördinaten moeten kunnen vinden.

Ik zal deze vraag ook even onder de aandacht brengen in onze OpenRefine werkgroep. Daar zitten mensen in die hier meer van weten.

Hoe dan ook zul je inderdaad velden voor die coördinaten bij moeten maken, dus een licentie moeten hebben die dat mogelijk maakt (mbv Axiell Designer), of het door Axiell laten doen.

Groeten,

Rolf

PS: 10 jaar geleden hadden we een presentatie van het British Film Institute over een dergelijk project, waarbij echter alle locaties met de hand werden ingevoerd, met behulp van diverse aanpassingen in Adlib. Dat is waarschijnlijk niet de oplossing die je zoekt, maar wellicht toch aardig om even in te zien.

[Rolf]

Foto-import mbv Designer (import type image directory) leest één voor één bestandsnamen in een map. Dit importtype ziet 1 bestandsnaam ahw als 1 te importeren record. Die bestandsnaam moet je mappen naar een (tijdelijke) tag.

Met die import kun je een adapl laten meelopen. Die kan (o.a.) het objectnummer uit de bestandsnaam halen, mits die bestandsnaam altijd maar eenduidig en consequent is. Stel dat je hebt als bestandsnaam blabla123_01.jpg, dan is het een vrij koud kunstje om dat om te vormen in blabla123.01. Maar die adapl kan meer.

• waarschuwen als er geen objectrecord voor het plaatje is
• het plaatje als bovenste of onderste occurrence in het objectrecord invoegen, of de plaatjes in het objectrecord sorteren.
• nagaan of er al een plaatje met die naam in Photo (of Media) is, en dat al dan niet overschrijven.

Kortom, met een adapl heb je veel meer controle.

Maar de Collections csv-import is ook een goede optie. De vertaalslag van bestandsnaam naar objectnummer kun je vrij eenvoudig doen met OpenRefine. Daarna is het raadzaam om na te gaan of alle objectnummers die je op die manier gevonden hebt, ook daadwerkelijk allemaal bestaan in de catalogus. Meestal zitten er wel wat missers tussen.

Als dat op orde is,  kun je een csv importeren in Media. Als je het objectnummer meeneemt, en uitsluitend nieuwe media-records aanmaakt, overschrijft je import de eerste occurrence van gekoppeld object (if any). Ik weet niet uit mijn hoofd hoe het uitpakt met de volgorde van de plaatjes in het objectrecord, dat is vaak een kwestie van uitproberen (met 2 of 3 plaatjes).

Is dit te volgen en ook enigszins antwoord op de vraag?

• Deze reactie is gewijzigd 1 jaar, 5 maanden geleden door Rolf.

[Rolf]

Als je exporteert naar Adlib Tagged krijg je alle occurrences mee.

Ik heb een tooltje gemaakt dat Adlib Tagged formaat omzet naar CSV. De bedoeling is dat je de output daarvan binnenhaalt in OpenRefine, en schoont, en exporteert als CSV. Dan heb ik nog een tooltje dat dat resultaat omzet naar een CSV-formaat met herhaalde occurrences dat je makkelijk kunt binnenhalen in Axiell Collections.

Gisteren sprak ik Bert toevallig (of eigenlijk niet zo heel toevallig). Double Digit heeft ook een aantal van dergelijke tooltjes. Zo kwamen we op het idee om een workshop te organiseren.

Andere belangstellenden mogen zich melden!

[Rolf]

Deze vraag kwam via de OpenRefine werkgroep:

Weet iemand of het mogelijk is om een count uit te voeren op het aantal occurences van een veld?

Stel dat je dit wilt doen voor het veld Titel, tag TI.

In Collections kan dit zo, in geavanceerd zoeken:

count(TI) > 1

In Adlib kan het met een select-adapl. Dit is de code voor die adapl. Dit kun je copy-pasten in een tekstbestandje. Dat sla je op in de map waar adlib.pbk staan (dus .\museum of \standard of …) en je noemt het moreocc_TI.ada

* moreocc_TI.ada

if repcnt(TI) <= 1 select no

end

Die adapl moet je compileren. Dat kan met Adlib Designer of in een command-window.

Vervolgens ga je naar Geavanceerd zoeken en geef je de opdracht

all adapl moreocc_TI

Et voilà.

Dit is ongemeen krachtig! Je kunt namelijk met een adapl ook allerlei bewerkingen op je selectie loslaten. Bijvoorbeeld alle tweede en verdere occurrences verwijderen, of – noem het maar!

In Collections is deze mogelijkheid er niet meer (de feature is zelfs uit de documentatie verdwenen) , maar je kunt nog wel stand-alone-adapl’s draaien.

• Dit onderwerp is gewijzigd 2 jaren, 3 maanden geleden door Rolf.

[Rolf]

Handige linkjes. Dit lijstje kan nog groeien.

1. De officiële installatiehandleiding
2. CEST in Vlaanderen heeft een hele mooie introductie, toegespitst op Adlib en Cultureel Erfgoed.
3. Victor de Boer heeft een serie tutorials op YouTube over Linked Open Data. (Zoek op YouTube naar “LD4D”.) Aflevering 3 gaat over het omzetten van data in tabellen (csv of Excel) naar RDF Turtle met behulp van Open Refine

• Deze reactie is gewijzigd 4 jaren, 9 maanden geleden door Rolf.
• Deze reactie is gewijzigd 4 jaren, 9 maanden geleden door Rolf.
• Deze reactie is gewijzigd 4 jaren, 9 maanden geleden door Rolf.
• Deze reactie is gewijzigd 4 jaren, 9 maanden geleden door Rolf. Reden: unordered list wordt weergegeven als tabel?

[Annemarie]

Het is zover!

We gaan aan de slag met een (online) werkgroep OpenRefine. Voorlopig staat de teller op 2 deelnemers, Soetkin en Annemarie; Inge (van Stokkom) en Rolf (Blijleven) helpen ons verder bij moeilijke knooppunten.

Onze eerste stap is het maken van een stappenplan, mbv: https://www.projectcest.be/w/images/Handleiding_data_opschonen_v1-1.pdf. Tijdens het eerste overlegmoment gaan we hiermee aan de slag, bespreken we dit plan en maken verdere afspraken voor het overleg de maand erop.

We zoeken nog meer liefhebbers die zich op onbekend terrein willen begeven! Mail naar soetkin.vanhauwaert@kuleuven.be en/of simon@bdmuseum.nl en we nemen contact op.

Onze samenkomsten zijn (voorlopig) gepland elke tweede maandag van de maand, om 14:00.

[Annemarie]

Beste Inge, (en natuurlijk ook Soetkin en Rolf!)

Wat leuk dat je reageert. Ons museum wil in de nabije toekomst over naar Axiell collections, en ik dacht misschien nu een goed moment om data op te schonen. Voordat we over gaan.

Soetkin en ik  dachten dat het misschien heel handig is om een soort van werkgroep te maken. Waar we verschillende  gebruikerservaringen kunnen delen. Kan via dit forum, maar misschien daarnaast ook via whatsappgroep….. Het zou natuurlijk goed zijn als meer adlib gebruikers zich hierbij aansluiten. (Of niet, want dat betekent dat er veel opgeschoonde databases zijn!?)

Na het bestuderen van de video op youtube van Alina en jou (helemaal uitgeschreven) dacht ik, dìt gaat me lukken. Maar helaas zoals eerder geschreven, ik struikelde al meteen.

Ik heb een export gemaakt, van het veld collectie ( een csv bestand) en geupload naar mijn prive laptop. Toen geïmporteerd in openrefine. Maar de geimporteerde data zag er gewoon heel anders uit (ander woorden….). Ik herkende de data niet eens. Je zou verwachten dat je dezelfde woorden/termen ziet maar ik zag heel andere woorden…..

Ik dacht ik begin met ‘ iets kleins’ om het programma openrefine een te leren kennen. Maar het ging dus meteen al verkeerd….

Van de week zal ik t weer oppakken en een screenshot sturen van wat ik te zien krijg in openrefine, is dat goed?

Soetkin, Rolf en ik hopen natuurlijk dat meer adlib gebruikers zich hierbij aansluiten!

Fijne avond,

Annemarie

 

 

 

[Inge van Stokkom]

hallo Annemarie en Soetkin,

Ik doe graag mee. Ik heb ervaring met data opschonen met OpenRefine en denk dat jullie naar de lezing verwijzen die Alina en ik gegeven hebben op de gebruikersgroepdag. Leuk dat die inspirerend geweest is.

 

Annemarie, wat is het probleem met de export?

[Rolf]

Van OpenRefine weet ik niet veel, maar als het gaat om gegevens uit en terug in Adlib of Collections te krijgen, daar kan ik wel bij helpen. En ik ben wel benieuwd waar mensen zoal tegenaan lopen.

Je kunt sinds kort screenshots uploaden in dit forum. Dat kan helpen om vraagstukken inzichtelijker te maken.

groeten

Rolf

 

[Annemarie]

Open refine

Een aantal jaar geleden is hier interessante een lezing over geweest bij een bijeenkomst van de Adlib Gebruikersgroep. Vorig voorjaar werd er een workshop van ongeveer een uur over gehouden door Erfgoed Huis Zuid-Holland. Ik ben daarna gaan kijken of me een een ander lukt. Ik vroeg mij af, zijn er meer gebruikers die hier hun ervaringen over willen delen? Dan kunnen via dit forum ervaringen uitwisselen.
Ik loop eigenlijk direct al vast als ik een export maak uit Adlib en deze wil importeren in Openrefine. De data die ik ophaal in Openrefine, kan ik totaal niet plaatsen. Het lijkt wel of het iets heel anders is.

Kortom het lijkt me leuk om te sparren en met anderen problemen en oplossingen te delen.

Ik hoor graag van jullie!

Annemarie