Verschillen
Dit geeft de verschillen weer tussen de geselecteerde revisie en de huidige revisie van de pagina.
| Beide kanten vorige revisie Vorige revisie Volgende revisie | Vorige revisie | ||
| openwave:1.33:applicatiebeheer:probleemoplossing:programmablokken:generiekebulkimport [2025/10/30 12:01] – Lonneke van Dijk | openwave:1.33:applicatiebeheer:probleemoplossing:programmablokken:generiekebulkimport [2025/10/31 13:55] (huidige) – [Bestand met de in te lezen data] Marc Pullens | ||
|---|---|---|---|
| Regel 22: | Regel 22: | ||
| </ | </ | ||
| - | ===== Inrichten van bulk import proces ===== | + | Op deze pagina wordt in het algemeen uitgelegd hoe de generieke bulk importactie | 
| - | Een generieke bulk importactie | + | Tevens | 
| + | Zie voor deze voorbeelden: | ||
| + | * [[openwave: | ||
| + | * [[openwave: | ||
| - | Onder de tegel //Import Matrijzen// wordt ingericht in welke tabel(len) een importactie regels gaat inlezen en hoe de programmatuur de data moet gaan opslaan in deze tabel(len). Voor de inrichting kan het mogelijk zijn, afhankelijk van wat men wilt, om met vaste sleutelwaardes te werken. Deze definieert men bij de importsleuteltabel, | ||
| - | Hier wordt eerst uitgelegd hoe de importmatrijzen gevuld moeten worden om een importactie in te richten. Afhankelijk van wat er gewenst is zal men voor een importactie, | ||
| - | Om de regels | + | ===== Inrichten van bulk import proces ===== | 
| - | * wat moet de importactie doen? Bijvoorbeeld stel men wilt inrichtingen aanmaken | + | Een generieke bulk importactie zal eerst ingericht moeten worden alvorens deze gestart kan worden. Het inrichten vindt plaats in beheerportaal(nieuw) onder kolom //Dieper beheer//. Hiervoor zijn de tegels **Import Matrijzen** en **Import sleutels** benodigd. Deze zijn standaard toegewezen | 
| - | * een hoofdactie voor het aanmaken van inrichtingen | + | |
| - | * een vervolgactie voor aanmaken inspecties onder de aangemaakte inrichtingen | + | Voordat men begint met het inrichten van een generieke bulk importactie | 
| - | * een tweede vervolgactie voor aanmaken inspectiebezoeken onder de aangemaakte inspecties | + | * wat moet de importactie doen? Stel men wilt bijvoorbeeld | 
| + | * een hoofdactie voor het aanmaken van inrichtingen | ||
| + | * een vervolgactie voor aanmaken inspecties onder de aangemaakte inrichtingen | ||
| + | * bij de hoofdmatrijs als vervolgmatrijs kiezen de net aangemaakte vervolgactie voor het aanmaken van inspecties | ||
| + | * een tweede vervolgactie voor aanmaken inspectiebezoeken onder de aangemaakte inspecties | ||
| + | * bij de importmatrijs voor het aanmaken van inspecties als vervolgmatrijs kiezen: de net aangemaakte vervolgactie voor het aanmaken van de inspectiebezoeken | ||
| * welke gegevens zijn er nodig voor het kunnen aanmaken van regels in de tabellen? | * welke gegevens zijn er nodig voor het kunnen aanmaken van regels in de tabellen? | ||
| - | * dus in bovengenoemd voorbeeld: opzoeken van de verplichte velden in tbmilinrichtingen, | + | * dus in bovengenoemd voorbeeld: opzoeken van de verplichte | 
| * de benodigde gegevens beschikbaar stellen in een Excel of CSV file | * de benodigde gegevens beschikbaar stellen in een Excel of CSV file | ||
| * dit kan bijvoorbeeld d.m.v. rapport(en) draaien en naar Excel exporteren | * dit kan bijvoorbeeld d.m.v. rapport(en) draaien en naar Excel exporteren | ||
| * of indien men van de functionaliteit [[openwave: | * of indien men van de functionaliteit [[openwave: | ||
| + | Na het uitdenken van het proces kan men starten met het inrichten van de gewenste bulk importactie. Te beginnen met het bestand wat men wilt gaan uploaden bij deze importactie. | ||
| + | ==== Bestand met de in te lezen data ==== | ||
| + | Het bestand met daarin de in OpenWave in te lezen data mag in principe zo opgesteld zijn als men zelf wilt.\\ | ||
| + | Het is daarbij belangrijk om te weten in welke (combinatie van) kolommen, welke data staat die men wilt inlezen. Dit is benodigd voor het correct inrichten van een bulk importactie in OpenWave. \\ | ||
| + | Het zal in de praktijk voorkomen dat men de basis van het bestand blijft gebruiken voor gelijke importacties. Stel dat men een import heeft ingericht voor het aanmaken van inspecties bij inrichtingen, | ||
| + | De inhoud van het bestand zal wel wijzigen voor iedere importactie: | ||
| - | ==== File met de in te lezen data ==== | + | Voor het inrichten van een generieke bulk importactie | 
| - | Dit is een file die qua inhoud steeds zal wijzigen voor iedere importactie: | + | * de opzet van het bestand waarin de in te lezen waardes staan (in welke kolom van de CSV of Excel staat welke waarde) | 
| - | Het zal in de praktijk voorkomen dat men de basis van het bestand blijft gebruiken voor gelijke importacties. Stel dat men een import heeft ingericht voor inspecties aanmaken bij inrichtingen, | + | * het bestandtype van de file (CSV of Excel) | 
| - | + | * indien CSV dan zal opgegeven worden bij het inrichten | |
| - | Voor het inrichten van iedere | + | * CSVlimit: met welk teken de kolommen van elkaar gescheiden zijn (indien niet opgegeven, dan gaat de programmatuur uit van het default teken: puntkomma) | 
| - | * opzet van bestand waarin de in te lezen waardes staan (in welke kolom van de CSV of Excel staat welke waarde) | + | * CSVQuote (het begrenzingsteken): tussen | 
| - | * bestandtype van de file (CSV of Excel) | + | * of null/lege waardes in een kolom ook omsloten zijn door het bovengenoemde | 
| - | * indien CSV dan zal opgegeven worden bij het inrichten: | + | |
| - | * CSVlimit: met welk teken de kolommen van elkaar gescheiden zijn (indien niet opgegeven gaat programmatuur uit van default teken: puntkomma) | + | |
| - | * CSVQuote (omgrenzingswaarde): tussen | + | |
| - | * of null/lege waardes in een kolom ook omsloten zijn door het bovengenoemde | + | |
| * indien Excel dan kan men met verschillende werkbladen werken: | * indien Excel dan kan men met verschillende werkbladen werken: | ||
| - | * indien dit zo is dan kan per importmatrijs opgegeven worden de naam van het werkblad waar de programmatuur naar moet kijken | + | * indien dit zo is dan kan per importmatrijs opgegeven worden | 
| - | * indien dit niet zo is dan kan bij de importmatrijs het veld voor werkblad leeggelaten worden: de programmatuur kijkt dan altijd naar het eerste tabblad van de Excel file | + | * indien dit niet zo is dan kan bij de importmatrijs het veld voor het werkblad leeggelaten worden: de programmatuur kijkt dan altijd naar het eerste tabblad van de Excel file | 
| * de beginregel van de file (zowel bij Excel als CSV van toepassing): | * de beginregel van de file (zowel bij Excel als CSV van toepassing): | ||
| * indien men gebruik maakt van kopregels dan moet per importmatrijs aangegeven worden vanaf welke regel de programmatuur de file moet gaan verwerken (de eerste regel waar de daadwerkelijke data staat om ingelezen te worden) | * indien men gebruik maakt van kopregels dan moet per importmatrijs aangegeven worden vanaf welke regel de programmatuur de file moet gaan verwerken (de eerste regel waar de daadwerkelijke data staat om ingelezen te worden) | ||
| - | * indien men gelijk vanaf eerste | + | * indien men gelijk vanaf regel één in de file de data om ingelezen te worden heeft staan, dan hoeft men niet de beginregel te vullen bij de importmatrijs | 
| + | |||
| + | Met deze informatie kan men beginnen met het daadwerkelijk aanmaken van regels in de tabellen bedoelt voor het inrichten van bulk importacties. | ||
| + | Daarbij wordt gestart met het aanmaken van een regel in de tabel tbimportmatrijs: | ||
| + | |||
| + | ==== Importmatrijs ==== | ||
| + | Onder de tegel //Import Matrijzen// wordt ingericht in welke tabel(len) een importactie regels gaat inlezen en hoe de programmatuur de data moet gaan opslaan in deze tabel(len). \\ | ||
| + | Afhankelijk van wat er gewenst is zal men voor een importactie, | ||
| + | De regels in de tbimportmatrijs tabel worden aangemaakt via de plus-knop in de lijst van **Import matrijzen**. | ||
| + | |||
| + | Bij het aanmaken van een regel in de importmatrijstabel wordt aangegeven: | ||
| + | * de naam van de import | ||
| + | * of het om een hoofdmatrijs gaat (start van de import? dan hoofdmatrijs AAN, vervolgactie? | ||
| + | * de vervolg/ | ||
| + | * of het om een Excel of CSV file gaat | ||
| + | * de doeltabel waarin regels ingelezen gaan worden | ||
| + | * de beginregel van het bestand | ||
| + | * indien CSV: | ||
| + | * scheidingsteken tussen de kolommen | ||
| + | * begrenzingsteken waarde in kolom | ||
| + | * of null waardes ook begrensd zijn | ||
| + | * indien Excel: | ||
| + | * naam van het werkblad | ||
| + | |||
| + | In de lijst met importmatrijsregels, | ||
| + | |||
| + | ==== Importmatrijsregels ==== | ||
| + | In de lijst met importmatrijsregels wordt via de plus-knop een wizard gestart waarmee een importmatrijsregel wordt aangemaakt.\\ | ||
| + | Er moeten evenzoveel importmatrijsregels worden aangemaakt als men velden benodigd heeft voor een insertactie.\\ | ||
| + | Dus bijvoorbeeld als de doeltabel van de bovenliggende matrijs 4 verplichte velden heeft en 3 velden die men ook wilt meegeven, dan moeten er 7 regels worden aangemaakt in tbimpormatrijsregels.\\ | ||
| + | Samen maken de importmatrijsregels onder één importmatrijs dan de definitie van één insert voor een regel in de doeltabel.\\ | ||
| + | Indien er tijdens de daadwerkelijke importactie (dus tijdens het draaien van de generieke bulk import) in de vervolgactie(s) verwezen moet worden naar de net aangemaakte kaarten in de doeltabel, dan zal er ook een kaartje aangemaakt moeten worden in tbimportsleutels.\\ | ||
| + | Dit gebeurd automatisch indien men één importmatrijsregel aanmaakt met als naam van het veld **IkBenSleutelVeld**. In de bron/ | ||
| + | |||
| + | Iedere importmatrijsregel wordt als volgt gedefinieerd: | ||
| + | * de naam van het veld uit de doeltabel wordt gekozen | ||
| + | * de bron/ | ||
| + | * dit betekent dat hier in SQL staat hoe de waarde voor het tabelveld, uit het bestand OF uit de tabel tbimportsleutels opgehaald moet worden | ||
| + | * eventueel wordt de sleuteltabelnaam gevuld (alleen nodig indien een vaste sleutelwaarde moet opgehaald worden uit tbimportsleutels | ||
| + | |||
| + | <adm Warning Geaccepteerde bron/ | ||
| + | De programmatuur verwacht dat er in de bron/ | ||
| + | * **{kolom: | ||
| + | * een **gecombineerde waarde van kolommen waar GEEN spatie/ | ||
| + | * een **gecombineerde waarde van kolommen waar WEL een spatie/ | ||
| + | * een **SQL statement**. Eventueel met daarin verwijzingen naar kolommen uit het in te lezen bestand. Bijvoorbeeld '' | ||
| + | </ | ||
| + | |||
| + | Klikken op een importmatrijsregel in de lijst geeft het openen van het detailscherm van de importmatrijsregel. Daar kan de definitie van de aangemaakte importmatrijsregel gewijzigd worden.\\ | ||
| + | De min-knop in de lijst zal een wizard starten om een importmatrijsregel te verwijderen. | ||
| ==== Import sleutels ==== | ==== Import sleutels ==== | ||
| - | <hier komt stukje uitleg over sleutels aanmaken/ | ||
| - | ===== Daadwerkelijk aanroepen | + | Voor de inrichting kan het mogelijk zijn, afhankelijk van wat men wilt, om met vaste sleutelwaardes te werken. Deze sleutelwaardes worden of vooraf gedefinieerd bij de importsleuteltabel (via tegel //Import sleutels// | 
| + | Hoe dit werkt wordt aan de hand van onderstaand voorbeeld uitgelegd: \\ | ||
| + | Stel in het bestand met de in te lezen data staan gegevens van aan te maken inspecties en inspectiebezoeken en de inrichtingnummers waaronder deze inspecties aan te maken.\\ | ||
| + | Voor het inlezen van de inspecties is het nodig om de corresponderende dnkey van de inrichting op te halen. Dit kan met een select statement in tbimportmatrijsregels. Maar kan ook door in de tabel voor import sleutels de dnkeys van de inrichtingen vast te leggen.\\ | ||
| + | Dit doet men als volgt:\\ | ||
| + | * klik op de plus-knop in de lijst van import sleutels | ||
| + | * kies hier de naam van de tabel waarin het veld staat waarnaar verwezen moet worden. In het voorbeeld is dit tbmilinrichtingen | ||
| + | * vervolgens bij // | ||
| + | * bij // | ||
| + | * dit herhaalt men totdat alle benodigde sleutels zijn aangemaakt | ||
| + | |||
| + | De importmatrijsregel voor de dnkeymilinrichtingen vullen bij tbinpspecties is dan als volgt gedefinieerd: | ||
| + | * doelveld | ||
| + | * Bron/ | ||
| + | * de kolom in het bestand waarin het inrichtingnummer staat, als voorbeeld is hiervoor kolom 1 genomen | ||
| + | * sleutel | ||
| + | |||
| + | Dit zorgt ervoor dat bij het draaien van de generieke bulk import, regels worden aangemaakt in tbinspecties onder de inrichting van het opgegeven inrichtingnummer in het bestand.\\ | ||
| + | Bovengenoemd voorbeeld is het vooraf vastleggen van vaste sleutelwaardes.\\ | ||
| + | Het tijdens de bulk importactie vastleggen van nieuwe vaste sleutelwaardes is ook benodigd in ons voorbeeld. Want onder de aangemaakte inspecties, wil men graag bezoeken aanmaken.\\ | ||
| + | Hiervoor zijn er rijtjes in tbimportsleutels nodig voor de net aangemaakte inspecties. Dit wordt geregeld, zoals hierboven al genoemd, door bij de importmatrijs voor tbinspecties, | ||
| + | Zo'n importmatrijsregel ziet er dan als volgt uit: \\ | ||
| + | * doelveld | ||
| + | * Bron/ | ||
| + | * de kolom in het bestand waarin de verwijzing naar inspectie staat (bijvoorbeeld de aan te maken inspectiecode), | ||
| + | * sleutelveld is leeg -> Niet gevuld | ||
| + | |||
| + | Bij het draaien van de bulk importactie zal dan voor iedere aangemaakte rij in tbinspecties, | ||
| + | Voor de vervolgactie van het aanmaken van bezoeken, definieert men dan in tbimportmatrijsregels voor veld dnkeyinspecties dat deze gevuld wordt door ophalen van de juiste waarde uit de sleuteltabel. | ||
| + | ===== Starten | ||
| In het Operationsportaal is onder kolom //Import// nieuwe tegel **Start generieke bulk import** ([[openwave: | In het Operationsportaal is onder kolom //Import// nieuwe tegel **Start generieke bulk import** ([[openwave: | ||
| zichtbaar. | zichtbaar. | ||
| Regel 72: | Regel 157: | ||
| </ | </ | ||
| + | ==== Werkwijze ==== | ||
| De importactie zal beginnen met het controleren van een aantal zaken: | De importactie zal beginnen met het controleren van een aantal zaken: | ||
| * rechtencheck: | * rechtencheck: | ||
| Regel 80: | Regel 166: | ||
| * beginregel wordt opgezocht (indien leeg dan begint de programmatuur bij de eerste bestandsregel) | * beginregel wordt opgezocht (indien leeg dan begint de programmatuur bij de eerste bestandsregel) | ||
| * indien Excel dan de werkbladnaam indien deze gevuld is | * indien Excel dan de werkbladnaam indien deze gevuld is | ||
| - | * indien CSV dan wordt er gekeken naar scheidingsteken tussen de kolommen (niet gevuld dan default verwacht puntkomma), Begrenzingsteken in kolom (niet gevuld dan wordt verwacht dat de kolomwaardes zelf niet omhult zijn met een teken) en of Null waardes ook begrensd zijn (indien F/niet aangevinkt dan niet, anders wel) | + | * indien CSV dan wordt er gekeken naar scheidingsteken tussen de kolommen (niet gevuld dan default verwacht puntkomma), Begrenzingsteken in kolom (niet gevuld dan wordt verwacht dat de kolomwaardes zelf niet omhult zijn met een teken) en of null waardes ook begrensd zijn (indien F/niet aangevinkt dan niet, anders wel) | 
| * bepalen wat de doeltabel is van de importactie: | * bepalen wat de doeltabel is van de importactie: | ||
| * het doel van de importactie: | * het doel van de importactie: | ||
| * bepalen of er een vervolgmatrijs is (waarde van tbimportmatrijs.dnkeyvervolgmatrijs, | * bepalen of er een vervolgmatrijs is (waarde van tbimportmatrijs.dnkeyvervolgmatrijs, | ||
| - | Vervolgens wordt er gekeken in de tabel tbimportmatrijsregels die horen bij de aangewezen importmatrijs, | + | Vervolgens wordt er gekeken in de tabel tbimportmatrijsregels die horen bij de aangewezen importmatrijs, | 
| - | De programmatuur zal vervolgens voor iedere regel in het bestand, een insert actie (proberen te) uitvoeren. Net zo lang tot er geen bestandregels meer zijn. De voortgang en foutgevallen worden bijgehouden in de logging bij de operationslogregel voor de bulk importactie.\\ | + | |
| <adm Example> | <adm Example> | ||
| Regel 96: | Regel 181: | ||
| </ | </ | ||
| - | Bij het einde aangekomen? Dan wordt er gekeken of er nog een vervolgactie | + | De programmatuur zal vervolgens voor iedere regel in het bestand, een insert actie (proberen te) uitvoeren. Indien er een importmatrijsregel bestaat met veldnaam // | 
| - | Ook dit is een regel in tbimportmatrijs | + | |
| - | Na uitvoeren van de vervolgactie wordt weer gekeken of er nog een vervolg is enz. enz. tot alle acties | + | <adm Warning Meer dan één keer voorkomen van veldnaam> | 
| + | Indien er meer dan één importmatrijsregel bestaat met dezelfde veldnaam, dan zal de programmatuur diegene kiezen met de laagste dnkey. Dit geldt ook voor als men twee keer een // | ||
| + | </ | ||
| + | |||
| + | Als de programmatuur klaar is met het verwerken van de importmatrijs waar deze mee bezig is, alle regels in het bestand (bij Excel: de regels van het werkblad) zijn doorlopen en de insert acties zijn uitgevoerd, dan wordt er gekeken of er nog een vervolgactie | ||
| + | Dit is het geval indien | ||
| + | De programmatuur gaat (indien aanwezig) | ||
| + | Er wordt niet opnieuw gekeken naar het bestandstype: voor 1 overall bulk importactie kan dus maar 1 bestand worden geüpload. \\ | ||
| + | Maar er wordt gekeken in de importmatrijstabel van de vervolgactie | ||
| + | Na uitvoeren van de vervolgactie wordt weer gekeken of er nog een vervolg is enz. enz. tot alle inleesacties | ||
| Regel 125: | Regel 219: | ||
| </ | </ | ||
| - | ===== Terugdraaien van import actie ===== | + | ===== Terugdraaien van importactie | 
| - | In de audit tabel van OpenWave wordt bijgehouden in welke tabellen, welke regels (primary key) worden aangemaakt tijdens een bulk importactie. Dit werkt als volgt: tijdens het draaien van een generieke bulk importactie wordt voor iedere regel die in een tabel wordt aangemaakt, in tbaudit een regel aangemaakt met naam van de tabel, primary key van de nieuwe regel, dat het om een insert gaat, en veld dvbron krijgt waarde ‘I' om aan te geven dat de regel uit de bulk import komt. | + | Het kan natuurlijk voorkomen dat een gedraaide bulk importactie niet het gewenste resultaat geeft, bijvoorbeeld als de inrichting niet helemaal correct is of de data uit het inleesbestand niet juist bleek. | 
| + | Wat de aanleiding ook is, er is altijd de mogelijkheid in OpenWave | ||
| + | |||
| + | Omwille van het mogelijk kunnen terugdraaien van een bulk importactie | ||
| + | Dit werkt als volgt: tijdens het draaien van een generieke bulk importactie wordt voor iedere regel die in een tabel wordt aangemaakt, in tbaudit een regel aangemaakt met naam van de tabel, primary key van de nieuwe regel, dat het om een insert gaat, en veld dvbron krijgt waarde ‘I' om aan te geven dat de regel uit de bulk import komt. | ||
| + | |||
| + | <adm Inzien aangemaakte regels in Audit> | ||
| + | Los van of men de importactie wilt terugdraaien of niet: in de audit tabel van OpenWave wordt bijgehouden welke regels in welke tabellen zijn aangemaakt via de generieke bulk import.\\ | ||
| + | Deze regels zijn te herkennen aan de letter ' | ||
| + | </ | ||
| + | |||
| + | ==== Werkwijze ==== | ||
| In het lijstscherm van de Audit is linksonder een knop beschikbaar gekomen die een wizard start om de bulkactie ongedaan te maken. | In het lijstscherm van de Audit is linksonder een knop beschikbaar gekomen die een wizard start om de bulkactie ongedaan te maken. | ||
| Regel 151: | Regel 256: | ||
| Wat wel mogelijk is om de bovenliggende zaak/ | Wat wel mogelijk is om de bovenliggende zaak/ | ||
| </ | </ | ||
| + | |||
| ==== Operationslog ==== | ==== Operationslog ==== | ||
| De terugdraaiactie is te volgen via de operationslog. Er zal een regel worden aangemaakt met als code **GeneriekeBulkImportDeleteRegels**.\\ | De terugdraaiactie is te volgen via de operationslog. Er zal een regel worden aangemaakt met als code **GeneriekeBulkImportDeleteRegels**.\\ | ||
| Tevens is in de configuratietabel terug te zien of er al een proces draait voor terugdraaien van een bulk importactie: | Tevens is in de configuratietabel terug te zien of er al een proces draait voor terugdraaien van een bulk importactie: | ||
| In de logging bij de regel in de operationslog is terug te zien: | In de logging bij de regel in de operationslog is terug te zien: | ||
| - | * als een regel niet verwijderd | + | * als een regel niet verwijderd | 
| * of het proces klaar is | * of het proces klaar is | ||
| * het aantal verwijderde regels | * het aantal verwijderde regels | ||
| Regel 162: | Regel 268: | ||
| * totaal aantal verwerkte regels | * totaal aantal verwerkte regels | ||
| - | ===== Voorbeeld: Toezicht zaken aanmaken bij inrichtingen ===== | ||
| - | <hier komt voorbeeld van oude proces toezicht zaken aanmaken te doen met de nieuwe bulk import> | ||
| - | ===== Voorbeeld: Inspecties aanmaken bij inrichtingen ===== | ||
| - | <hier komt voorbeeld van oude proces inspecties aanmaken te doen met de nieuwe bulk import> | ||
| {{tag> | {{tag> | ||