HANDLEIDING XTENDIS 5 CONSISTENTIE CONTROLE

HANDLEIDING XTENDIS 5 CONSISTENTIE CONTROLE Opgesteld door: L. ten Napel Msc Rotterdam, 11 augustus 14

Inhoudsopgave 1 INLEIDING... 3 1.1 Algemene principe... 3 2 INREGELING GENERAL SETTINGS... 6 3 CONSISTENTIECONTROLE UITVOEREN... 7 3.1 Inleiding... 7 3.2 Create Batch... Error! Bookmark not defined. 3.3 Run/Continue... Error! Bookmark not defined. 4 RAPPORTAGES... 9 4.1 Inleiding... 9 4.2 Checkdocuments... 9 4.3 CheckFiles... 10 4.4 CheckObjects... 10 4.5 CheckSubObjects... 11 4.6 Checksums... 11 BIJLAGE 2: LEGENDA ARCHIEFSTRUCTUUR...13 BIJLAGE 3 : ARCHIEFBEVEILIGING...15 Expansion BV LtN Pagina 2 van 15

1 Inleiding Dit is de handleiding voor de consistentie controle in Xtendis 5. De consistentie controle is ontstaan vanuit de wens om de volledigheid, betrouwbaarheid en integriteit van een digitaal archief te kunnen controleren en monitoren. De controle geeft aan welke bestanden (mogelijk) corrupt zijn of niet overeenkomen met de ingevoerde/ gearchiveerde gegevens. De consistentie controle is een functionaliteit die beschikbaar is vanaf Xtendis versie 5.7. De consistentie controle kan alleen vanuit de Xtendis cockpit worden ingeregeld en uitgevoerd. Om de consistentie controle te kunnen uitvoeren dient de ingelogde Xtendis gebruiker in de cockpit monitor rechten te hebben. Dit is een niet archief gebonden functionele recht. 1.1 Algemene principe Xtendis is een Document Informatie Systeem of ook wel digitaal archief. De basisfunctie is om documenten op betrouwbare wijze digitaal te bewaren en op toegankelijke wijze beschikbaar te stellen voor raadpleging. In het centrale digitale Xtendis-archief worden alle documenten logisch geordend vastgelegd. Bij de inrichting van Xtendis wordt een uiterst herkenbare logica op basis van kenmerken (indexen) toegepast. Mede daardoor is het systeem zeer eenvoudig in gebruik. Onderstaande afbeelding toont de entiteiten waarmee de archiefstructuur kan worden opgebouwd. Een archief bevat (dossiers en) documenten met gelijksoortige informatie. Expansion BV LtN Pagina 3 van 15

Binnen Xtendis worden de volgende entiteiten onderscheiden: Archieven: in Xtendis zal altijd minimaal één archief aanwezig zijn. Dit kunnen er ook meer zijn. Documenten die zijn geïndexeerd worden altijd in een archief opgeslagen. Binnen een archief is sprake van een inrichting. Dat wil zeggen dat indexen zijn gedefinieerd die voor de in het archief opgeslagen documenten waarden toegewezen krijgen. Daarnaast kunnen optioneel dossiers in een archief worden aangemaakt. Ook voor deze dossiers worden in een archief indexen gedefinieerd. Documenten: documenten spelen de belangrijkste rol binnen Xtendis. Een document is dat wat de gebruiker in Xtendis wil opslaan, terugvinden en raadplegen. Documenten worden in archieven en eventueel dossiers opgeslagen. Daarnaast worden ze in Xtendis van een aantal indexkenmerken (zoeksleutels) voorzien. Documenten kunnen in Xtendis uit meerdere pagina s bestaan. Het archief is een eenheid bestaande uit documenten met bijbehorende documentgegevens. De structuur van ieder archief wordt bepaald door de archiefkenmerken bestaande uit de zogeheten Documentkenmerken. Het archief in Xtendis is gelijk aan een geïndexeerde database en is te vergelijken met een traditionele archiefkast. De belangrijkste kenmerken van een archief in Xtendis zijn: de naam van het archief de documentkenmerken de plaats van de documenten De consistentie controle voert een controle uit tussen de functionele inrichting en de technische inrichting. Met de technische inrichting wordt de SQL database bedoeld en het filesysteem waar de werkelijke bestanden staan. Zie onderstaande afbeelding ter verduidelijking. Expansion BV LtN Pagina 4 van 15

De algemene principe van de consistentie controle is als volgt; van elk bestand/ object op het filesysteem wordt een hash berekend. Een hash is een (rekenkundige) functie dat gebruikt kan worden om data om te zetten naar een vaste reeks. Als de data wijzigt dan wijzigt ook de vaste reeks. Er zijn verschillende rekenkundige principes te hanteren; MD5 en de SHA methodes. Door van elk bestand een hash te berekenen en deze te vergelijken met de opgeslagen hash kan de consistentie gecontroleerd worden, m.a.w. of het bestand (inhoudelijk) is gewijzigd. Verder wordt gecontroleerd of de opgeslagen kenmerken in de database nog steeds refereren naar het juiste object, of het object nog de juiste aantal pagina s (subobjecten) bevat en of het betreffende (sub)object nog werkelijk bestaat. Hierdoor kan vastgesteld worden of wat gearchiveerd mogelijkerwijs is gewijzigd, veranderd of is aangepast. Tevens kan worden vastgesteld of een object mogelijkerwijs corrupt is geraakt, bijv. door een kopieer actie of een schijf/ volume fout. Expansion BV LtN Pagina 5 van 15

2 Inregeling General Settings Standaard staat de consistentie controle niet aan. De consistentie controle kan worden geactiveerd via de General Settings: Onder keuze Document Storage kan FileIntegrityCheck worden aangezet, door TRUE te selecteren. De volgende keuze is welke HashingAlgorithm gebruikt wordt om de bestanden te controleren. Er kan gekozen worden uit de volgende hash algoritmes: MD5, SHA1, SHA256, SHA384 en SHA512. Hierbij geldt dat MD5 de minst complexe hash berekening is en SHA512 de meest complexe. Des te complexer de gekozen has algoritme, des te langer de berekening duurt per bestand in het archief. Zodra FileIntegrityCheck aan is gezet en de HashingAlgorithm is gekozen, klik op Opslaan rechts onderin. De consistentie controle is nu aangezet en ingeregeld. Expansion BV LtN Pagina 6 van 15

3 ConsistentieControle uitvoeren 3.1 Inleiding Op elk archief kan (onafhankelijk van elkaar) een consistentie controle worden uitgevoerd. De consistentie controle kan via de health node op het archief worden opgestart. Er zijn 5 consistentie controles gedefinieerd. Deze zijn: 1. Check Documents: Voert een consistentie controle vanuit het document. 2. Check Files Voert een consistentie controle vanuit het bestand. 3. Check Objects Voert een consistentie controle vanuit het object verwijzing in de database. 4. Check Subobjects Voert een consistentie controle vanuit het subobject verwijzing in de database. 5. Update Checksums Voert opnieuw de hash berekening uit op de bestanden en controleert deze met de eerder uitgevoerde hash berekening. Expansion BV LtN Pagina 7 van 15

De stappen die uitgevoerd moeten worden zijn de volgende: 1. Create Batch: er wordt dan een batch aangemaakt waarbinnen de consistentie controle wordt uitgevoerd. Een batch heeft een bepaalde datum en tijdstip. 2. Start/Next: de controle kan ingeregeld worden dat deze per x aantal bestanden wordt uitgevoerd. Of alles werkelijk is uitgevoerd kan worden geconstateerd als de Lastsetofdocuments op TRUE staat. 3. Get Report: hiermee wordt het rapport gegenereerd. 4. Refresh: hiermee wordt het scherm ververst. Expansion BV LtN Pagina 8 van 15

4 Rapportages 4.1 Inleiding Van alle controles wordt zowel in het scherm als in een.csv een rapport gegenereerd. Per controle staan er andere kenmerken in een rapport. Deze worden hieronder per controle uitgewerkt. 4.2 Checkdocuments Controle van de document in de database met de bestanden in het filesysteem en met de pagina s in de documenten. Als resultaat worden de documentid s gegeven die niet voldoen aan een controle. De volgende kenmerken staan in de checkdocuments rapportage: ArchiefNaam: naam van het archief dat is gecontroleerd NumberCheckedDocuments: aantal gecontroleerde documenten NumberDocumentsWithoutExistingObject: aantal documenten zonder een verwijzing naar een object of zonder een object op het filesysteem. NumberDocumentsWithoutDossierDossierMandatory: aantal documenten die niet in een dossier zitten terwijl dossiervorming wel verplicht is. NumberDocumentsWithoutPage: aantal documenten die geen pagina s bevatten. NumberPagesWithoutFile: aantal pagina s zonder dat er een object is op het filesysteem. NumberFilesChangedOrCorrupt: aantal bestanden op het filesysteem dat veranderd is sinds de laatste controle. StartDocumentId: het documentid waarmee de controle is gestart. EndDocumentId: het documentid van de laatste document in de controle StartTime: starttijd van de controle EndTime: eindtijd van de controle Expansion BV LtN Pagina 9 van 15

4.3 CheckFiles Controle van de verwijzingen in de database naar de bestanden op het filesysteem en naar documenten in de database. Als resultaat worden de documentid s gegeven die niet voldoen aan een controle. De volgende kenmerken staan in de checkfiles rapportage: ArchiefNaam: naam van het archief dat is gecontroleerd NumberCheckedFiles: aantal gecontroleerde bestanden op het filesysteem NumberFilesWithoutSubobject aantal gecontroleerde bestanden zonder gerelateerde pagina s. DirectoryId (intern Xtendis systeemkenmerk) het id van het gecontroleerde hoofddirectory op het filesysteem StartTime: starttijd van de controle EndTime: eindtijd van de controle 4.4 CheckObjects Controle van de bestanden op het filesysteem nog een relatie hebben met verwijzingen in de database van Xtendis. Als resultaat worden de documentid s gegeven die niet voldoen aan een controle. De volgende kenmerken staan in de checkobjects rapportage: ArchiefNaam: naam van het archief dat is gecontroleerd NumberCheckedObjects: aantal gecontroleerde bestanden op het filesysteem NumberObjectWithoutDocument aantal bestanden zonder een (document) verwijzing vanuit de database NumberObjectWithoutSubobject aantal bestanden zonder een (pagina) verwijzing vanuit de database StartObjectId eerste objectid van de controle EndObjectId laatste objectid van de controle StartTime: starttijd van de controle Expansion BV LtN Pagina 10 van 15

EndTime: eindtijd van de controle 4.5 CheckSubObjects Controle van de verwijzing in de database van de pagina s naar de betreffende documenten en bestanden op het filesysteem. Als resultaat worden de documentid s gegeven die niet voldoen aan een controle. De volgende kenmerken staan in de checksubobjects rapportage: ArchiefNaam: naam van het archief dat is gecontroleerd NumberCheckedSubobjects Aantal gecontroleerde databaseverwijzingen van pagina s. NumberSubobjectWithoutExistingObject aantal databaseverwijzingen van pagina s zonder een bestaande bestand op het filesysteem NumberSubobjectsWithoutDocument aantal databaseverwijzing van pagina s zonder dat er een verwijzing is van een document in de database. StartSubobjectId eerste subobject opgenomen in de controle EndSubobjectId laatste subobject opgenomen in de controle StartTime: starttijd van de controle EndTime: eindtijd van de controle 4.6 Checksums Het toevoegen/ berekenen van hash berekening van de bestanden op het filesysteem. Als resultaat worden de documentid s gegeven die niet voldoen aan een controle. De volgende kenmerken staan in de checksums rapportage: ArchiefNaam: naam van het archief dat is gecontroleerd CheckSumAddedToDocuments aantal nieuwe hash berekeningen uitgevoerd op documentniveau CheckSumAddedToPages aantal nieuwe hash berekeningen uitgevoerd op pagina niveau Expansion BV LtN Pagina 11 van 15

LockedDocumentsSkipped aantal documenten niet beschikbaar voor berekening omdat deze door gebruikers in behandeling zijn/ aangepast worden. StartDocumentId eerste documentid in de controle EndDocumentId laatste documentid in de controle NumberOfDocuments totaal aantal documenten in de controle StartTime: starttijd van de controle EndTime: eindtijd van de controle Expansion BV LtN Pagina 12 van 15

Bijlage1: Legenda archiefstructuur Archiefkenmerken Naam Dit is de naam van het archief zoals het in Xtendis aan de gebruikers zal worden getoond. Nogmaals indexeren. Indien documenten in Xtendis meerdere malen worden opgeslagen, kan ofwel een exacte kopie worden opgeslagen ofwel kunnen verschillende indexen via een referentie verwijzen naar hetzelfde document. Het creëren van een referentie bespaart dus opslagruimte op de Xtendisvolumes. Full text-archief Het zoeken op willekeurige woorden in documenten kan binnen Xtendis met behulp van de full-text-module. Indien aangeschaft kan deze module per archief worden geactiveerd. Archief ondersteunt dossiers Indien er gebruik gemaakt zal worden van een dossierlaag in Xtendis, zal hier ja moeten staan. Dossiervorming verplicht Indien er gekozen wordt voor dossiers, is het niet standaard verplicht een document in een dossier op te nemen. Het kan voorkomen dat een document wordt opgeslagen zonder dat dit onder een specifiek dossier valt. In dat geval is dossiervorming niet verplicht. Naam dossier Hier komt de naam te staan van de dossierlaag, bijvoorbeeld Klantdossier. NB: dit is een naam die niet wordt getoond aan de gebruikers. Doorgaans wordt hiervoor de naam van het archief gebruikt. Extern dossier Indien gebruik gemaakt wordt van een dossierlaag, kunnen de dossiergegevens uit een andere, externe, database komen. Hierdoor hoeven niet alle gegevens te worden ingegeven tijdens zoeken en indexeren. Bij gebruik van externe dossiers is de linkmodule van Xtendis nodig en als de sql-databases niet van Microsoft zijn ook een ODBC- of OLEDB-koppeling. Tabelnaam extern dossier Indien gebruik gemaakt wordt van een extern dossier, zal hier aangegeven moeten worden hoe de tabel in de externe database-applicatie heet waaruit de gegevens voor Xtendis gehaald moeten worden. Type database en OS Indien gebruik gemaakt wordt van een extern dossier, zal hier het type database (inclusief de versie!) komen te staan waar Xtendis de tabellen uit moet halen alsmede het besturingssysteem van de machine waar deze database op draait. Dossier- en documentindexen Volgorde Dit is de volgorde waarin de indexen in het archief worden getoond. Over het algemeen komt de meest gebruikte index op nummer 1. Naam Dit is de naam waarmee de index, bij het zoeken en indexeren van de documenten, aan de gebruikers zal worden getoond in het archief. Kolomnaam extern Indien gebruik gemaakt wordt van externe indexen, moet hier de naam van de kolom van de externe database komen te staan waaruit deze indexgegevens opgehaald moeten worden. Expansion BV LtN Pagina 13 van 15

Datatype Max. lengte Min. lengte Verplicht Meervoudig Waarde tonen Alleen lezen Prim.key Vaste waarden Val(idatie) Dit geeft aan van welk type de gegevens in de database zijn. In Xtendis kan dit zijn: Date voor datums, Char voor alfanumerieke gegevens en Num voor numerieke gegevens. De maximale lengte, in karakters, die de invoer mag hebben. Als bijvoorbeeld een ordernummer altijd uit maximaal 7 karakters mag bestaan, moet hier 7 worden ingevuld. De minimale lengte, in karakters, waaraan de invoer moet voldoen. Als bijvoorbeeld een ordernummer altijd uit minimaal 4 karakters moet bestaan, moet hier 4 worden ingevuld. Via deze optie kan het invullen van de index verplicht gesteld worden. Bij een verplichte index moet dus altijd iets ingevuld worden. In Xtendis mogen bij een index meerdere waarden worden ingevuld. Bij bijvoorbeeld een pensioendossier kunnen de naam van de man en de naam van de vrouw worden opgenomen. Bij het zoeken kan dan de naam van de man of van de vrouw ingevuld worden, waarbij de zoekactie hetzelfde document oplevert. Indien gebruik gemaakt wordt van meervoudige indexen, moet het aantal toegestane waarden per index worden aangegeven. Een index kan worden getoond in de naam/titel van het document als dit in de mappen of de viewer wordt weergegeven. Indien gekozen wordt voor alleen lezen, kan de index alleen maar gekozen en niet gewijzigd worden. Bij externe dossiers moet één van de indexvelden Primary key (unieke sleutel) zijn. Zonder een uniek kenmerk is het onmogelijk te koppelen aan een externe tabel. Bij interne dossiers maakt het gebruik van een primary key versneld zoeken via deze key mogelijk. Het aanmerken van een primary key is bij interne dossiers niet noodzakelijk. Het invullen van indexen kan beperkt worden door een lijst met vaste waarden aan te leggen. Dit bevordert de snelheid, beperkt de kans op typefouten en blokkeert de mogelijkheid tot vrije invoer. Door middel van een validatie (invoermasker) kan de invoer van een indexveld worden gecontroleerd op juistheid. Hiervoor is een aantal standaarden gedefinieerd, maar ook maatwerk is mogelijk. Expansion BV LtN Pagina 14 van 15

Bijlage 3 : Archiefbeveiliging Deze bijlage beschrijft de beveiliging van het Xtendis-archief waarin wordt aangeven welke medewerker toegang heeft tot welk archief. Naam Medewerker [NAAM] Archief [NAAM] Archief [NAAM] Archief 1 Naam x x x 2 3 4 5 6 7 8 9 10 Expansion BV LtN Pagina 15 van 15