user space system space disk space

Transcriptie

1 File systemen File attributen Een file is een verzameling gegevens met een naam en andere attributen. Een file wordt bewaard in de vorm van een reeks bytes op permanent geheugen (b.v. disk of tape) Een file systeem bestaat uit een verzameling files en mechanismen voor het opslaan en benaderen hiervan. Gegevens over files worden opgeslagen in directories. naam type (hoe kan de file gebruikt worden?) omvang eigenaar (creator) bescherming (wie heeft toegang, en hoe?) tijdstempels (creatie, laatste gebruik, laatste wijziging) (locatie op disk) File operaties (1) minimale set File operaties (2) gebruikelijke set create (filenaam) read (filenaam, positie, buffer, lengte) write (filenaam, positie, buffer, lengte) delete (filenaam) ( truncate (filenaam, lengte) ) meestal aan te vullen met: open en close operaties m.b.v. file-id en current file-pointer create (filenaam) open (filenaam, mode) file-id read (file-id, buffer, lengte) write (file-id, buffer, lengte ) reposition (file-id, positie) delete (file-id) close (file-id) ( truncate (file-id, lengte) eventueel: setattributes en getattributes Open-file table Open-file Table (2) voorbeeld: UNIX Per proces een open-file table. bevat een entry voor iedere open file entry bevat o.a. current file-pointer bij multi-user systemen: 2 niveaus van open-file tables: per proces een open-file table, bevat current file pointer voor dat proces één systeembrede open-file table bevat o.a. locatie op disk open-file count read(4, ) open-file table (per proces) file-structure table in-core inode table (global) data blokken inodes user space system space disk space

2 File typen Access Methods file type geeft informatie over inhoud en gebruiksmogelijkheden : type vaak opgenomen in laatste onderdeel van filenaam: b.v. harvest.exe is een executable b.v. cipher.asm bevat assembler source code type vaak niet door OS gebruikt, eerder van belang voor toepassing Access Method (Toegangswijze): Op welke wijze worden de gegevens in de file benaderd Sequential access : blokken alleen in volgorde vanaf het begin van de file te benaderen b.v. read, leest volgend blok Direct Access : blokken in willekeurige volgorde te benaderen b.v. read n, leest (relatief) bloknummer n Overige Access methoden: b.v. Indexed Sequential Access Method Directory structuur (1) Directory structuur (2) File systeem bestaat uit 1 of meer partities relatie tussen partitie en disk (volume) verschillend voor verschillende systemen per partitie een directory directory bevat een entry voor iedere filenaam in de partitie entry bevat file-attributen en locatie-gegevens operaties: search (directory, filenaam) create (directory, filenaam) delete (directory, filenaam) list (directory) rename (directory, filenaam, nieuwe filenaam) setattributes(directory, filenaam, attribute values) getattributes(directory, filenaam, attributes) Single level directory Two-level directories(1) Alle files in één lijst voordelen: eenvoudig nadelen unieke namen nodig lange zoektijden Per user een eigen directory Master directory bevat pointers naar user directories voordelen: unieke namen per gebruiker kortere zoektijden voor/nadeel scheiding tussen files van verschillende gebruikers

3 Two-level directories (2) Multi-level directories: bomen (1) Voor benaderen van file van andere gebruikers : padnaam opgeven, d.i. usernaam en filenaam, b.v. /pieters/harvest.exe Soms ook partitie opgeven b.v. (bij MS-DOS): C:\results\monday.dat systeemprogramma's in aparte directories. Zoekvolgorde opgeven in searchpad d.i. een lijst van padnamen van directories generalisatie van two-level directory iedere file bereikbaar vanuit de root via een unieke padnaam een directory is ook een file (met een speciaal attribuut) in een directory kunnen zich entries bevinden voor files (sub)directories onderscheid: absolute padnamen en relatieve padnamen ieder proces heeft steeds een current directory Multi-level directories : bomen (2) voorbeeld /users/staff/pieters/projecta/harvest.data filenaam absolute padnaam Na cd /users/staff/pieters : /users/staff/pieters/projecta/harvest.data current directory relatieve padnaam Multi-level directories : bomen (3) Files van andere gebruikers benaderen door: absolute padnaam, of current directory aanpassen, en relatieve filenaam gebruiken, of directory van andere gebruiker opnemen in search pad. (als het om een programma gaat) Acyclic Graph Directory (1) Acyclic Graph Directory (2) Generalisatie van een boomstructuur Maakt. het o.a. mogelijk (sub)directories te delen (sharing) mogelijke implementaties: symbolic link (soft link) : absolute of relatieve padnaam in andere directory opnemen duplicaat entry in andere directory maken (hard link) : probleem: handhaven van consistentie 8-17 Complexer dan boom: doorlopen van directory (dubbele entries) deleten van files, mogelijkheden: bij een delete opdracht file meteen opruimen: bij duplicaat entry wijst de pointer van het duplicaat naar een ongeldige locatie. Dit kan ernstige problemen opleveren. bij een symbolic link wordt naar een niet bestaande file verwezen. Gebruiker merkt dit t.z.t. file pas opruimen als alle referenties naar de file verdwenen zijn referentieteller bijhouden (UNIX: referentie teller voor hard links. Geen hard links naar directories.) 8-18

4 Acyclic Graph Directory (3) voorbeeld: hard links pgsultra>mkdir demo2; cd demo2 pgsultra>echo "WIT WIT WIT" >wit.txt pgsultra>ln wit.txt white.txt pgsultra>ls -li total rw heijnsd 12 May 3 16:28 white.txt rw heijnsd 12 May 3 16:28 wit.txt pgsultra>cat white.txt WIT WIT WIT pgsultra>rm wit.txt; ls -li total rw heijnsd 12 May 3 16:28 white.txt pgsultra>cat white.txt WIT WIT WIT pgsultra> Acyclic Graph Directory (4) voorbeeld: softlink pgsultra>mkdir demo1; cd demo1 pgsultra>echo "ZWART ZWART ZWART" >zwart.txt pgsultra>ln -s zwart.txt black.txt pgsultra>ls -li total lrwxrwxrwx 1 heijnsd 9 May 3 16:35 black.txt -> zwart.txt rw heijnsd 18 May 3 16:34 zwart.txt pgsultra>cat black.txt ZWART ZWART ZWART pgsultra>rm zwart.txt pgsultra>ls -li total lrwxrwxrwx 1 heijnsd 9 May 3 16:35 black.txt -> zwart.txt pgsultra>cat black.txt cat: cannot open black.txt pgsultra> Acyclic Graph Directory (5) soft links voorbeeld: teveel symbolic links dutikos-/home/staff/heijnsd/demo2-> ln -s e.txt f.txt dutikos-/home/staff/heijnsd/demo2-> ln -s f.txt e.txt dutikos-/home/staff/heijnsd/demo2-> ls -l total 2 lrwxrwxrwx 1 heijnsd 5 Oct 1 12:06 e.txt -> f.txt lrwxrwxrwx 1 heijnsd 5 Oct 1 12:06 f.txt -> e.txt dutikos-/home/staff/heijnsd/demo2-> cat f.txt cat: f.txt: Too many levels of symbolic links dutikos-/home/staff/heijnsd/demo2-> General Graph Directories Meest algemene vorm; cycles mogelijk verhinderen van eeuwige lussen bij zoekacties door een maximum voor het aantal te doorzoeken directories. garbage collect nodig voor het verwijderen van onbereikbare files met reference count > 0 cycles vermijden bij toevoegen van links is mogelijk, maar kost veel rekentijd Mounting File systeem toe te voegen aan een bestaand file systeem d.m.v. mount opdracht. mount geeft aan: de fysieke locatie van het te mounten file systeem de (logische) plaats waar het te mounten file systeem moet worden ingevoegd in het bestaande file systeem mounting vindt o.a. plaats: bij toevoegen van een (verwisselbare) schijf in geval van gedistribueerde systemen, als verbinding wordt gemaakt met een ander file systeem Mounting: voorbeeld device A f1 f2 f3 device B a b c mount B:/d1 A:/f3 geeft een nieuwe logische structuur: device A f1 f2 f3 a b c c nu ook bereikbaar als A:/f3/c d1 device B d1 d2 d2 a b c d3 d3 8-24

5 Consistentie semantiek Vraag: wat gebeurt er wanneer meerdere gebruikers dezelfde file tegelijk benaderen? met name: Wanneer is het effect van een write door een proces te zien door een ander proces? voorbeelden: UNIX: het resultaat van een write is onmiddellijk zichtbaar voor andere gebruikers (one-copy semantiek ) Andrew: effect van een write pas zichtbaar voor anderen na close. andere benadering: niet muteerbare shared files. Bescherming (1) reliability bescherming tegen fysieke schade protectie: bescherming tegen ongeauthoriseerde toegang voor protectie is toegangsbeheersing (access control) nodig op niveau van individuele (low level) operaties: read, write, execute. Soms ook: append, delete, list etc. bij iedere file een access list nodig; d.i. een lijst van gebruikers en de operaties die zij mogen uitvoeren. gecomprimeerde versie van access list d.m.v. groepen i.p.v. individuele gebruikers b.v UNIX kent categorieën: eigenaar, groep, wereld., voor iedere categorie mogelijke rechten: r, w, x voor read, write, execute voorbeeld UNIX access rechten (1) dutikos-/home/staff/heijnsd-> ls -l select1 -rwxr-x--x 1 heijnsd Nov select1 iedereen mag het programma uitvoeren de groep mag lezen en uitvoeren de eigenaar mag lezen, schrijven en uitvoeren 8-27 UNIX access rechten (2) Eigenaar kan rechten attributen van een file wijzigen d.m.v. het chmod commando. Absoluut : hierbij worden rechten octaal weergegeven, (één octaal digit per groepje van drie bits) Voorbeeld: chmod 750 <filenaam> geeft: user r,w,x recht, group: r,x, public: geen rechten Symbolisch : per categorie (u,g,o) of alle (a) de wijzigingen aangeven, voorbeeld: chmod o+w <filenaam> geeft iedereen schrijfrecht voor <filenaam> 8-28 UNIX access rechten (3) voorbeeld: dutikos-/home/staff/heijnsd-> ls -l select1 -rwxr-x--x 1 heijnsd Nov select1 dutikos-/home/staff/heijnsd-> chmod o+w select1 dutikos-/home/staff/heijnsd-> ls -l select1 -rwxr-x-wx 1 heijnsd Nov select1 dutikos-/home/staff/heijnsd-> chmod o+r-w select1 dutikos-/home/staff/heijnsd-> ls -l select1 -rwxr-xr-x 1 heijnsd Nov select1 dutikos-/home/staff/heijnsd-> chmod 751 select1 dutikos-/home/staff/heijnsd-> ls -l select1 -rwxr-x--x 1 heijnsd Nov select1 dutikos-/home/staff/heijnsd-> 8-29 Bescherming (2) Bescherming van directories analoog aan bescherming van files, maar rechten enigszins aangepast: read betekent: directory entry te zien write betekent: directory entry te wijzigen execute betekent directory entry te gebruiken om de file (of subdirectory ) te vinden Bij benadering van een file via een padnaam moet een gebruiker de juiste rechten hebben voor iedere directory in de padnaam Soms (bij gebruik van links) heeft een gebruiker verschillende rechten voor een file, afhankelijk van de gebruikte padnaam 8-30

6 File systeem implementatie introductie Files worden opgeslagen op permanent geheugen (disk, tape,...) alleen disks worden hier besproken model I/O van main memory naar disk in de vorm van blokken van vaste grootte. 1 blok op disk is 1 of meer sectoren (van b.v. 512 bytes) een blok heeft een uniek blok-adres als het blok-adres bekend is, dan is het blok direct te benaderen. een blok is op dezelfde plaats terug te schrijven 8-31 File systeem implementatie organisatie gelaagde structuur: applicatie programma gebruikt system calls (evt. via een subroutine library) logisch file systeem gebruikt directory om file te vinden file organisatie vertaalt logisch blok-adres naar fysiek blok-adres Basis File Systeem geeft lees- en schrijfopdrachten voor blokken I/O control bevat device drivers en interrupt control routines devices de controllers en de schijven 8-32 Structuren (1) overzicht Op disk Boot control block (UNIX: boot block) Partition Control Block (UNIX: superblock) Directory structure File Control Block (UNIX: inode) data blokken In primary storage partitie tabel directory informatie system-wide Open File Table bevat FCB van iedere open file per-process Open File Table bevat o.a. current position pointer 8-33 open(filename) user structuren (2) directory structure primary storage (kernel) Het openen van een file directory structure file control block secondary storage 8-34 structuren (3) Virtual File Systems read(index) user1 per proces OFT Data blocks Een VFS maakt het mogelijk verschillende file systemen in één Operating Systeem te ondersteunen. b.v. in linux: ffs, extfs, ext2fs of procfs b.v. in Windows: FAT, NTFS read(index) user2 File Control Block secondary storage System wide OFT per proces OFT primary storage (kernel) Het (shared) lezen van een file door twee processen Een VFS biedt één interface naar de applicatie verschillen in file systemen worden opgevangen door de implementatie van het VFS

7 VFS file-system interface VFS interface File system 1 File System 2 File System 3 Netwerk Toekennen van schijfruimte aan files overzicht Allocatie methoden: aaneengesloten (contiguous allocation) geketende blokken (linked allocation) geïndexeerde blokken (indexed allocation) contiguous allocation (1) contiguous allocation (2) aaneengesloten blokken voordelen: minimum aantal seeks nodig eenvoudige administratie geschikt voor sequentiële en directe toegang nadelen externe fragmentatie : dynamic allocation problem; soms compaction nodig interne fragmentatie: grootte van tevoren schatten is vaak moeilijk voor een gebruiker variant: primaire allocatie van een aantal aaneengesloten blokken wanneer primaire allocatie niet voldoende, dan een aantal extra gebieden van aaneengesloten blokken (extents) mogelijk. extents hoeven niet te grenzen aan de primaire allocatie of aan elkaar ( voorbeeld IBM: MVS grootte van primary en van extents op te geven door gebruiker. Maximaal 15 extents mogelijk) linked allocation (1) linked allocation (2) geketende lijst van even grote blokken verspreid over de disk voordelen geen externe fragmentatie beperkte interne fragmentatie alle files kunnen groeien nadelen alleen efficient voor sequentiele toegang pointers kosten ruimte veel seeks nodig gevoelig voor verminking (of verlies) van pointers 8-41 variaties dubbel gelinkte lijst i.p.v. enkelvoudig gelinkt MS-DOS File Allocation Table (FAT) pointer naar eerste blok bevindt zich in de directory, pointer naar het volgende blok bevindt zich niet in een blok, maar in de FAT 8-42

8 indexed allocation (1) Indexed allocation (2) Files in blokken verspreid over de schijf ; pointers naar de blokken worden per file bewaard in een index blok voordelen: weinig seeks nodig (bij direct access) geschikt voor sequentiële en directe toegang alle files kunnen groeien nadelen: overhead (ruimteverlies) t.g.v. pointers Index blok vaak voor grootste deel leeg (veel kleine files ) varianten met oplossingen voor de grootte van het index blok (kleinere) geketende indexblokken (linked scheme ) multilevel index combinatie (vast minimum + multilevel hierarchie) Indexed Allocation: basis (met 1 index block) Indexed Allocation: met linked index blocks index block data blocks index blocks data blocks empty nil Indexed allocation: met multilevel index blocks voorbeeld: 3-voudige indirectie Indexed allocation : vast aantal indexen + multilevel voorbeeld met 128 pointers per index block 0 blok 0 blok

9 Vrijeruimtebeheer bitmap (bitvector) Ieder geheugen blok wordt gerepresenteerd door 1 bit (0 als bezet, 1 als vrij) voordeel: snel te doorzoeken: aaneengesloten vrije ruimten snel te herkennen linked list vrije blokken vormen een keten, verbonden door pointers in de blokken voordeel: kost geen extra ruimte Secondary storage (1) voornamelijk disks kleinst leesbare eenheid: sector plaats van een sector volledig bepaald door: drive nummer (diskpack) de plaat (head) de track de sector cylinder : tracks die op verschillende platen vertikaal onder elkaar liggen Disk voor te stellen als een ééndimensionale array van sectoren, met volgorde van nummering: eerst sectoren van cylinder 0, head 0 daarna die van cylinder 0, head 1, etc Secondary storage (2) Disk-head scheduling (1) Een proces doet I/O-requests op basis van logisch sectornummer het file-organisatie module vertaalt logisch sectornummer naar cylinder, track en sector adres Op I/O-control niveau (device driver) worden de requests uitgevoerd Tijd tussen het starten van de I/O-operatie en het einde van de I/O operatie, bestaat uit: seektijd (t.b.v. het bewegen van de kop naar de goede track) b.v. 10 ms latencytijd (tot goede sector onder de kop) b.v. 8 ms transfertijd (het lezen of schrijven zelf) b.v. 1 ms Seektijd evenredig met het aantal 'over te steken' tracks Bij meer dan één wachtende I/O request, seektijd te bekorten door goede disk-head scheduling 8-52 Disk-head scheduling Algoritmen (1) Disk-head scheduling Algoritmen (2) FCFS (First Come First served) eenvoudig geen starvation seektijden niet optimaal SSTF (Shortest Seek Time First) gunstiger seektijden starvation mogelijk SCAN. Kop beweegt van track 0 naar track max, en terug. Onderweg worden alle passende requests uitgevoerd. met name geschikt in dynamische omgevingen SCAN-C (Circulair). Kop beweegt van track 0 naar track max, maar voert alleen op de heenweg requests uit. geeft meer uniform wachttijden LOOK en LOOK-C, als SCAN en SCAN-C maar in plaats van track 0 en track max, minimale en maximale tracknummers waarvoor requests aanwezig zijn

10 Disk head scheduling (3) keuze van een algoritme Als zelden meer dan 1 request in de queue, dan is ieder algoritme goed. patroon van de requests heeft ook te maken met single/multi user systeem file allocation methode positie van de directory positie van index tabel SSTF veel gebruikt Bij zware belasting SCAN of SCAN-C beter Waarom? Disk Management Formattering sectoren aanbrengen logische formattering lege directory FAT (File Allocation Table, is partition control block) vrije ruimte lijst Boot block voor laden van systeem bootstrap programma nodig: gedeeltelijk in ROM ander deel op vaste positie op disk. (MS-DOS: aan begin van hard disk) Disk Management Bad Blocks Slechte sectoren registreren en buiten gebruik stellen. Verschillende methodes: IBM-PC: Bij FORMAT speciale indicatie voor slechte sectoren in FAT tijdens bedrijf ontstane slechte sectoren later in FAT aangeven SCSI disks: lijst van bad blocks op disk, door controller bijgehouden slechte sectoren worden vervangen door andere sectoren. (transparant voor de gebruiker.) N.B. dit werkt optimalisatie d.m.v. disk-head scheduling tegen Disk Management Swap space (1) Gebruik van swap-space afhankelijk van memory management: hele proces image, of op page basis swap space locatie: opnemen in normale file systeem, of aparte partitie N.B. swap space vaak gespreid over meerdere schijven Disk Management Swap space (2) Disk Management Betrouwbaarheid swap space management code pages: ruimte bij start proces toewijzen, inhoud: meteen copiëren uit file, of pas als betreffende page wordt uit-gepaged data pages: ruimte kan groeien inhoud kan wijzigen Disks zijn kwetsbaar periodiek backups nodig restore wanneer nodig RAID systemen

11 RAID (1) RAID (2) Oorspronkelijk: Redundant Array of Inexpensive Disks, Nu liever: Redundant Array of Independent Disks Doel: performance betrouwbaarheid Technieken: striping Mirroring, parity, error correcting codes striping: Het splitsen van een dataeenheid en deze parallel wegschrijven naar verschillende schijven. bit level striping: verschillende bits uit één byte naar verschillende disks block level striping : verschillende blokken uit één file naar verschillende disks, b.v. bij n disks, block i naar disk (i mod n) + 1 mirroring: Het volledig dupliceren van schijven, iedere write wordt tweemaal uitgevoerd (parallel) RAID (3) Aanname: steeds 4 schijven met data, C=Copy, P=Parity Raid 0: striping Raid 1: mirrored disks Raid 2: error correcting codes Raid 3: bit-interleaved parity Raid 4: block-interleaved parity Raid 5: Block interleaved distributed parity Raid 6: P + Q redundancy C C C P P P P P P P P P P P P P P P P C RAID (4) RAID 0: alleen striping (block level), geen redundancy RAID 1: mirroring RAID 2: bit-level striping error correcting bits op aparte disks fout te herstellen op grond van error correcting bits (Hamming code) RAID 3: Bit-level of byte-level striping fout te herstellen door controller plus parity bit RAID (5) RAID 4: Block-level striping Parity blocks op één aparte disk RAID 5: Als RAID 4, maar parity wordt gespreid over de disks RAID 6: Als RAID 5, maar met extra informatie om tegen multiple disk failures te beschermen. Gebruik RAID 0 plus RAID 1 voor hoge performance en betrouwbaarheid. (let op: verschil tussen RAID 0+1 en RAID 1+0) RAID 6 niet vaak geïmplementeerd. 8-65