[ad_1]

Voor onze opdrachtgever in Den Haag zijn we op zoek naar een Senior Ontwikkelaar ETL.

Situatieschets
De totstandkoming van de Nederlandse wet- en regelgeving is een complex proces met veel verschillende actoren. De informatiestromen en de daarbij behorende ondersteunende informatiesystemen die het digitaal publiceren en consolideren van wet- en regelgeving mogelijk maken, zijn zeer specifiek gericht op het wetgevings- en publicatiedomein. 
Onze opdrachtgever houdt zich bezig met overheidsinformatie portalen zoals het ontwerp, ontwikkeling en beheer van content en publicatiesystemen. 
Neskio (acroniem voor ‘Neskio Semantische Kennis betreffende Informatie van Overheid’) is een ontwikkelteam binnen de productgroep Informatiediensten. Neskio is belast met het standaardiseren en uniformeren van metadata en referentiegegevens en met het betekenisvol verbinden van informatieobjecten die zich binnen maar ook buiten de collecties bevinden.
Enkele jaren geleden is een Linked Data omgeving ingericht op basis van Blazegraph, Apache Cocoon en XSLT. Een reference parser die tekstuele verwijzingen naar juridische informatieobjecten (zoals wetsartikelen en jurisprudentie) kan herkennen en canonicaliseren is een belangrijke bron van de miljoenen links die zich thans in de triple store bevinden. De linked data zijn toegankelijk en doorzoekbaar via linkeddata.overheid.nl, maar de meerwaarde bestaat er vooral in dat er vanuit andere collecties gerelateerde documenten kunnen worden opgevraagd. Zo kan men bijvoorbeeld bij een wetsartikel in de wettendatabank met één muisklik een overzicht krijgen van alle gepubliceerde rechterlijke uitspraken waarin dit wetsartikel wordt geciteerd, ongeacht de schrijfwijze die door de citerende rechter is gebruikt. Een omgeving voor het beter beheren van metadata, thesauri en referentiedata is thans in opbouw. Hierbij wordt onder meer gebruik gemaakt van VocBench en Epimorphics (Open Source producten).

Probleemstelling en doel
De huidige ETL-straat (Extract, Transform, Load) is gebaseerd op Apache Cocoon. Deze is weliswaar redelijk stabiel, maar voldoet niet aan de eisen die er thans aan worden gesteld; Cocoon is bovendien end-of-life.
Daarnaast vloeien nieuwe eisen voort uit de opdracht om technische oplossingen te ontwikkelen voor de uitvoering van de Wet Open Overheid. Hiertoe dienen miljoenen documenten (met een grote diversiteit aan leveranciers, informatietypen en bestandsformaten) te worden geharvest, gerouteerd, verrijkt en opgeslagen in verschillende (soorten) repositories.
De nieuwe ETL-straat zal gebaseerd zijn op Apache NiFi en Apache Kafka, gedeployed in een containerized solution (Docker).
De aan te trekken senior ontwikkelaar zal deel uitmaken van het team dat deze nieuwe ETL-straat en de daarbij behorende linked-data-oplossingen en verrijkingsfunctionaliteiten zal gaan ontwikkelen – en bestaande functionaliteiten zal overzetten naar/integreren met de nieuwe omgeving.
Hiervoor zoeken wij een senior ontwikkelaar met ervaring in ETL-processing, linked data, XSLT, Git en in het bijzonder met ruime ervaring met Apache NiFI en Kafka.

Doel: het inrichten van de OTAP-omgeving voor de nieuwe ETL-straat met NiFi/Kafka/Docker. Dit zal moeten gebeuren samen met onder meer de teamleden die reeds de POC hebben gemaakt en die verantwoordelijk zijn voor verdere deployment en ontwikkeling.
Het team bestaat uit ervaren ontwikkelaars met ruime kennis van de huidige ETL-processen en daaraan gerelateerde technologie.

[ad_2]

Source link