Consolidatie m.b.v. Oracle Appliances

Transcriptie

1 Consolidatie m.b.v. Oracle Appliances Even voorstellen: Rob Lasonder werkzaam bij Atos Global Exa Competence Center laatste 5 jaar projecten met Oracle Appliances (Exadata, Exalogic, Exalytics, ZFS, OVCA) OCP : 8.0 t/m 12c OCE : RAC11g, Exadata X2, X3 Administration rob.lasonder@atos.net Wiki:

2 Consolidatie m.b.v. Oracle Appliances The Fact Point Group : Cost Comparison for Business Decisionmakers: Oracle Exadata Database Machine vs. IBM Power Systems Oracle: 30 % lower TCO International Technology Group: Comparing IBM Power Systems to Oracle Exadata Database Machine IBM: 30 % lower TCO

3 Consolidatie m.b.v. Oracle Appliances SALES verkoopt het : 4 business drivers Cost Reduction Increased Agility Higher Service Levels Reduced Complexity DBMA moet het waarmaken: 4 uitdagingen Availability Security Capacity Maintenance DBMA uitgangspunten Standaardisatie gebaseerd op Oracle Best Practises One Way of Working conform beschreven procedures

4 Consolidatie m.b.v. Oracle Appliances Consolidatie: Agility versus Utilization Utilization: bezettingsgraad van de systemen Agility: flexibiliteit van de systemen, opvangen van (piek) belastingen

5 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

6 A Oracle Appliances Introductie... evolutie Oracle Appliances 2008 lancering Exadata V1 X5-2: 2 x 18 core CPU max 768 GB memory per node 2015 lancering Exadata X5, 6e generatie X4-8: 8 x 15 core CPU max 6 TB memory per node Bron: Oracle Exadata Statement of Direction

7 A Oracle Appliances Introductie... evolutie Oracle appliances

8 A Oracle Appliances Introductie... consolidatie varianten SCALE UP X5-2: 2 x 18 core + (max) 768 GB X4-8: 8 x 15 core + (max) 6 TB Storage DB APP EXALOGIC physical/virtual EXADATA X5 6e generatie OVCA virtual SCALE OUT Storage Appliance Zs3-2 / ZS3-4 OVCA virtual Database OVCA Datahotel SPARC SUPER CLUSTER

9 A Oracle Appliances Introductie... SCALE OUT EXADATA bron: Oracle PTS

10 A Oracle Appliances Introductie:... hosting varianten Infrastructure on Premise Lease Oracle Exadata Hardware Maandelijks betalen voor hardware & Exadata software. Inclusief support geldt niet voor database software 20% bandbreedte mogelijk per maand Hosting in eigen datacenter Cloud Computing

11 A Oracle Appliances Introductie:... hosting varianten: cloud.oracle.com/database

12 A Oracle Appliances Introductie... DBAAS : Oracle Exadata in the Cloud Bron : Oracle PTS

13 A Oracle Appliances Introductie... DBAAS : Oracle Database in the Cloud Probleem 1 bij Public Cloud Computing: HEEL DURE oplossing. * zeker bij grote aantallen databases Probleem 2 bij Public Cloud Computing: vaak geïsoleerde oplossing Alleen voor Oracle databases Het gaat juist om de applicaties Database heeft vaak interfaces en koppelingen met randsystemen Klant heeft vaak niet Oracle producten Traditionele oplossing: zelf (of via solution provider) aanschaffen en hosten. private cloud oplossing. Begin eventueel een pilot met PDB in the public cloud.

14 A Oracle Appliances Introductie... DBAAS / PAAS : ATOS VOC Hotel PAAS : oplevering Linux vserver of Windows vserver DBAAS : klant moet zelf licenties afstemmen met Oracle

15 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

16 B Oracle Consolidatie Stappenplan Stap 1 : High Level Design Stap 2 : Bestelfase Stap 3 : Installatie ACS Stap 4 : Low Level Design Stap 5 : Onboarding + TOP Stap 6 : Migrate fase + Nieuwbouw Stap 7 : Beheerfase

17 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design

18 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design: WAT Hoe ziet het toekomstige database en applicatie landschap er uit? Aantallen databases en vservers, indeling (gold/silver/ bronse) vereisten backup & recovery, RPO/RTO HA & DR aspecten. (b.v. granulariteit van uitwijk) Wat zijn de vereisten op het gebied van security en beschikbaarheid? vb 1: online patching => High Redundancy ASM diskgroups vb 2: toepassing SELinux => hogere beheerkosten Hoe wordt virtualisatie ingezet? Binnen Exalogic / OVCA of ook Exadata (vanaf X5) criteria voor virtualisatie (b.v. O-T-A-PP-DR), # VLANS Welke licenties & opties heb ik nodig? RDBMS: EE, RAC, Active Dataguard, 12c Multitenant, Partitioning, Advanced Security, Advanced Compression, Datamasking, Audit Vault, Database Vault.. OEM12c: Diagnostics & Tuning, Cloud Management Pack, Database Lifecycle Management Packs voor SOA, WCP, IAM,... FMW: SOA Suite, Weblogic Suite, Webcenter Suite, Identity & Access Management Suite, BPM Suite,...

19 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design : HOEVEEL? KPI 1: CPU Meet Overview CPU verbruik huidige applicaties en databases Gebruik SPECint (Standard Performance Evaluation Corporation, om te vertalen naar X5-2 CPU RAC: 10 % cluster overhead Experience KPI 2: Memory Databases : SGA + PGA Applicaties : OS native tools => linux vmstat, Windows: Performance Monitor KPI 3: I/O Databases: AWR informatie: physical read/write total I/O requests KPI 4: Storage Bepaal aantal Exadata cellen en ZFS disk shelves. High Capacity / Extreme Flash + Oracle SCALE UP is heel eenvoudig - Oracle SCALE DOWN is minder eenvoudig

20 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design : HOEVEEL? Storage Hoevelheid maar ook IOPS van belang, praktijk voorbeeld: Migratie(onderzoek) Overview van X2 naar X5 Experience X2: 23 cellen (HP disks 600 GB) : 23 x 12 (disks) x 600 GB = GB X5: 4 cellen (HC disks 4 TB) : 4 x 12 (disks) x 4000 = GB Exadata Software licenties: $ per disk Oud: 276 disken = $ nieuw: 48 disken = $ Jaarlijks onderhoud: 24% X2 23 cellen IOPS: 23 x 12 x 300 IOPS (per X2 HP disk) = IOPS X5 4 cellen IOPS: 4 x 12 x 194 IOPS (per X5 HC disk) = IOPS flash: X2: 23 (cellen) x 4 (flash kaarten) x 96 GB (per kaart) = 8832 GB flash X5: 4 (cellen) x 4 (flash kaarten) x 1,6 TB (per kaart) = GB flash

21 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design : voorbeeld 1 Overview HA: VM Server Pool Experience DR: ZFS replicatie HA:RAC DR: DataGuard HA: Clustering DR: ZFS replicatie

22 B Oracle Consolidatie Stappenplan... Stap 1 High Level Design : voorbeeld 2 Overview Experience Multitenant: Dedicated vservers Dedicated VLAN Dedicated Storage

23 B Oracle Consolidatie Stappenplan... Stap 2 Bestelfase Oracle heeft hier een bestel proces voor Overview o.a. Solution Development Survey invullen Experience Afspraken omtrent levering met Oracle ACS Installatie Services Re-racking Services Oracle Customer & Device Data Retention (DDR), sinds kort DDR limited use bundle (5 disks) Platinum Support Services... Totale proces : +/- 6 weken

24 B Oracle Consolidatie Stappenplan... Stap 3 Installatie ACS HARDWARE INSTALLATIE : Oracle Field Engineer Overview Experience Site Visit Oracle : Datacenter readiness (checklist: cooling, power, access, cables, re-racking required, etc.) SOFTWARE INSTALLATIE : Oracle ACS Voorafgaand controle via Deployment Assistant zijn alle randvoorwaarden ingevuld: Network services bereikbaar (DNS en NTP) noodzakelijke ip adressen voor diverse nodes & networks

25 B Oracle Consolidatie Stappenplan... Stap 3 Installatie ACS : Exadata Deployment Assistent Overview Experience

26 B Oracle Consolidatie Stappenplan... Stap 3 Installatie ACS Oracle ACS installeert de appliances met Overview een standaard configuratie op basis van scripting. Experience Exadata wordt opgeleverd met draaiende database (dbm) ZFS Storage appliance wordt opgeleverd met default storage pool Exalogic wordt opgeleverd met geconfigureerde Exalogic Control Na afloop levert ACS een installatie rapport op: per appliance. (ZFS, Exalogic/Exadata)

27 B Oracle Consolidatie Stappenplan... Stap 4 Low Level Designs (LLD) In de Low Level Designs wordt in detail per component aangegeven wat wordt Overview Experience geconfigureerd en hoe: setup Exadata / Exalogic / OVCA / ZFS setup Oracle Databases en Oracle vservers backup & recovery (Appliances en componenten (databases, vservers) HA en DR Monitoring Security Configuratie management & Capacity Management Zorg dat de LLD klaar zijn voordat er daadwerkelijk gebruik wordt gemaakt van de Appliances, voordat databases en vservers worden aangemaakt.

28 B Oracle Consolidatie Stappenplan... Stap 4 Low Level Designs (LLD): Databases Database Omgevingen plan hoeveel omgevingen van elke database: O+T+A+DR+PreProd+Prod Overview Experience Database types: Gold / Silver / Bronze / Metal Capaciteits management: cpu/memory/iorm Database Configuratie Non Default parameters Database services & connectivity Database Security User Management (global user / local users) 12c Security Policies Security Checklist (Oracle Best Practises) Database Backup & Recovery Backup naar ZFS Storage Appliance, direct NFS Backup conventies, long-term versus short-term backup Database Disaster Recovery [Active] Dataguard, Dataguard Broker. Database Monitoring: OEM12c Cloud Control / ASR / Platinum Support

29 B Oracle Consolidatie Stappenplan... Stap 4 Low Level Designs vservers vserver Omgevingen plan O+T+A+DR+PreProd+Prod : vservers Overview # vnets & IB partities & full & limited membership vserver types: Gold / Silver / Bronze Capaciteits management: cpu/memory/iorm Experience vserver Configuratie, Security, Backup & Recovery, DR, monitoring afstemming DBMA & Application Engineer Bovenop deze infra bouwt de Application Engineer de FMW infrastack FMW componenten: WCP, OSB, SOA/BPM OTAP indeling FMW componenten & IP netwerk addressen interne communicatie FMW componenten, via OTD applicatie connectivity: interne applicaties en externe applicaties koppeling vnets aan private IB netwerken (partities) applicatie connectivity, HA en DR aspecten

30 B Oracle Consolidatie Stappenplan... Stap 4 Low Level Designs (LLD): ZFS Storage Type Storage Pool(s): Mirrored & RAID Overview Experience Indeling Pools in storage projecten en shares, compression, cache usage User management & Share management (applicatie shares, backup shares) Snapshot backups, retentie & replication [inzet SMU utility voor Copy on Write Snapshots] HA Storage Appliance, Online Maintenance & patching

31 B Oracle Consolidatie Stappenplan... Stap 5 Onboarding + TOP Onboarding: Overview Controle oplevering Oracle + vastleggen initiële configuratie Experience TOP (turnover to production): Implementeren LLD (vastleggen in werkinstructies) Aanmaken vservers Aanmaken databases Configureren backup, monitoring, HA, DR

32 B Oracle Consolidatie Stappenplan... Stap 5 Onboarding ZFS Storage appliance Overview Experience

33 B Oracle Consolidatie Stappenplan... Stap 5 TOP (voorbeeld Exadata) Overview Experience

34 B Oracle Consolidatie Stappenplan... Stap 6 Migratie en Nieuwbouw Nieuwbouw: ontwikkel en deploy applicaties/database in landschap Overview Experience standaarden en richtlijnen beschikbaar voor developers, architecten en testers voor nieuwe omgeving. De Exadata & Exalogic bijsluiter Tijdens implementatie fase ondersteuning vanuit DBMA team voor applicatie en database ontwikkelaars. Bewustwording voor de ontwikkel teams dat ze werken op een shared platform Migraties van oude applicaties/databases naar nieuwe landschap Opzetten van een migratie architectuur. Hoe kom ik van A naar B? Vaak voldoen oude architecturen niet (geheel) aan nieuwe architecturen. applicaties & database draaien op zelfde platform & wisselen info uit rechten en rollen niet secure. (b.v. zwaar gebruik DB OS authentication) applicaties & database vaak niet HA compliant Gedurende langere tijd hybride situatie: deel van applicaties & databases al gemigreerd, een deel niet.

35 B Oracle Consolidatie Stappenplan... Stap 6 Voorbeeld migratie architectuur Stap 1: aanleggen van de migratie infrastructuur Overview Experience Stap 2: bepalen van de migratie methode expdp/impdb, [transient logical standby] dataguard, [incremental] TTS, golden gate, maatwerk scripting, etc. Stap 3: uittesten + doorlooptijden vastleggen.

36 B Oracle Consolidatie Stappenplan... Stap 6 Voorbeeld migratie project Overview Experience

37 B Oracle Consolidatie Stappenplan.. Exadata / Exalogic / OVCA omgeving klaar voor inzet Overview Experience Databases (database as a service) vservers (platform as a service

38 B Oracle Consolidatie Stappenplan.. Stap 7 Beheerfase Transitie van project beheer naar beheer in de lijn Overview Experience Duidelijke afspraken maken : wie doet wat (organisatie) Incorporeren platform in bestaande processen (CMDB management, incident management, change management, problem management, etc. Uitvoeren beheer: monitoring deployment backup & recovery DR rapportages: capacity, availability, etc. online maintenance & patching (eventueel m.b.v. Platinum Support) Eventuele aanpassing van afgesproken standaarden (voortschrijdend inzicht)

39 B Oracle Consolidatie Stappenplan.. Alignment Architectuur & Standaarden & Afspraken Overview Architecturen High Level DC, Netwerk Detail Backup/Recover HA + DR Security Monitoringuren Standaarden development & deployment consolidatie & resource mgmt. reporting & capacity mgmt. inrichting Exadata, OVCA,ZS3e inrichting DB, vserver, etc. Experience Afspraken SLA, reporting RPO, RTO, Uitwijk Maintenance Windows Doorlooptijden SSR DBMA (wie doet wat) etc. transparant persoonsonafhankelijk consistent voorspelbaar Werkinstructies create DB, vserver backup DB, vserver inregelen HA + DR etc. Beheer procedures Regulier beheer Patching Reporting & Capacity etc.

40 B Oracle Consolidatie Stappenplan.. Alignment Architectuur & Standaarden & Afspraken Voorbeelden van mogelijke non-matching afspraken: Overview Experience 1. inregelen backup & recovery maar nooit testen 2. inregelen DR maar niet testen (DB+applicatie+koppelingen + granulariteit) 3. Security standaarden worden niet afgedwongen t.g.v. legacy software 4. Backup: RPO+RTO niet realistisch Backup eisen: we willen tot 7 jaar terug in de tijd met jaar en maand backups we willen terug naar een willekeurig punt in de tijd. Onderscheid tussen long-term en short term backup doeleinden short-term: de database is down en moet z.s.m. worden hersteld om de functionaliteit weer beschikbaar te stellen. => inline restore m.b.v. rman long-term (t.g.v. auditing of anderzijds): we willen de data van 2 jaar terug bekijken en bepaalde zaken vergelijken met nu. Out of line restore m.b.v. datapump maandelijks dumps maken m.b.v. 12c IDA (in database archiving) of Oracle Total Recall (rman backups na 2 jaar t..g.v. upgrades en patches niet direct bruikbaar.)

41 B Oracle Consolidatie Stappenplan... Stappenplan implementatie: Lessons Learned Overview Experience

42 B Oracle Consolidatie Stappenplan... Implementatie Lessons Learned 1 Consolidatie is een programma, geen project. Overview langlopende trajecten (1 tot 2 jaar) programma management, prioriteiten Experience 2 Consolidatie heeft een grote impact op de organisatie stackbeheerders (DBA 2.0 ) of DBMA architecten, projectleiders, developers, testers, application engineers gebruikers (delen van resources), IT platform is leidend management: aansturing & controle 3 Maak afspraken met de business, vastleggen & communiceren Onderhoudswindows, beschikbare resources, aansluitvoorwaarden Exa stack Vastleggen in Exadata / Exalogic / OVCA bijsluiter mandaat voor afdwingen afspraken 4 De nieuwste hypes geen haarlemmer olie SCRUM / wekelijkse sprints => korte termijn. Houd lange termijn voor ogen Continuous deployment => geen excuus voor alle rechten

43 B Oracle Consolidatie Stappenplan... Implementatie Lessons Learned 5 Vastleggen en onderhouden van designs, standaarden en werkinstructies Overview transparant, persoonsonafhankelijk, consistent. (one way of Experience working) 6 Afdwingen en handhaven van compliancy Compiancy standaarden en richtlijnen Compliancy SLA Compiancy security (interne en externe audits) 7 Capaciteitsmanagement van belang. Vaak te optimistisch ingeschat 1/8 rack => ¼ rack => memory expanion kit => extra storage cellen Wees zuinig met het uitdelen van je resources!! 8 Migraties: complexiteit vaak niet de database maar de applicatie niet RAC aware database applicatie accounts: OPS$ & remote_os_authentication applicatie koppelingen (file shares) en database links aangepaste functionaliteit Oracle11g/12c performance: meestal beter maar niet altijd (11g/12c optimizer changes) Oracle12c CDB/PDB : grote verandering in opzet (global c## users, local users, interschema connectivity, etc.)

44 B Oracle Consolidatie Stappenplan... Voorbeelden migratie issues ORA-24247: network access denied by access control list (ACL) Vanaf Overview 11g gebruik van network packages als UTL_MAIL, UTL_HTTP via ACL Experience WM_CONCAT functie in 11g gewijzigd en in 12c niet meer beschikbaar MOS Note : WMSYS.WM_CONCAT Should Not Be Used For Customer Applications ORA-02153: invalid VALUES password string Note : ORA-02153: Invalid VALUES Password String When Creating a Database Link.. ORA-01017: invalid username/password Passwords zijn default) case sensitive in Oracle11g/12c Gebruikte functionaliteit in relatie tot RAC cached sequences => levert geen ordered set meer op bij meerdere instances functie dbms_pipe niet bruikbaar bij meerdere instances zie Oracle RAC Database aware Applications A Developer s Checklist MOS Note : Complete Checklist for Manual Upgrades to 11gR1

45 B Oracle Consolidatie Stappenplan... Lessons Learned : Documentatie Services Overview Experience Exadata, Exalogic, Exalytics, ZFS, OVCA, OVM, RDBMS, EBS, Siebel, FMW...

46 B Oracle Consolidatie Stappenplan... Lessons Learned : Documentatie VCA Overview Experience

47 B Oracle Consolidatie Stappenplan... Lessons Learned : VCA Werkinstructies Overview Experience

48 B Oracle Consolidatie Stappenplan... Lessons Learned : Documentatie Overview Experience

49 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

50 DBMA APPLICATION ENGINEER C Oracle Consolidatie : Impact Organisatie... primaire beheerrollen applicatie beheerder applicatie beheerder applicatie beheerder DBAAS PAAS SAAS

51 C Oracle Consolidatie : Impact Organisatie... primaire beheerrollen: voorbeeld DBMA verantwoordelijk voor: Database as a Service: DBMA levert een draaiende database, backup, dataguard, etc Wat er in de database zit (tabellen e.d.) : valt buiten DB Service, voor rekening van applicatie DBA. (12c: Container DBA, PDB DBA) Platform As a Service: DBMA levert een draaiende vserver, conform richtlijnen. Uitbesteding OS beheer binnen vservers aan windows & unix groepen. DBMA blijft verantwoordelijk en single point of contact. Applicatie DBA bouwt daar bovenop structuren (B.v. FMW stack). Application Engineer verantwoordelijk voor: Configuratie en beheer van de FMW stack die binnen de vserver infrastructuur wordt gehost. Afstemming tussen DBMA en Application Engineer noodzakelijk Applicatie beheerder kent alle in s en out s van zijn applicatie en database componenten. Contacten en afstemming met leverancier, gebruikers, DBMA, Application Engineer.

52 C Oracle Consolidatie : Impact Organisatie... DBA traditioneel beheer: organisatie centraal database beheer eigen standaarden, procedures & leveranciersbeheer systeembeheer netwerk beheer storage (SAN) beheer backup beheer eigen standaarden, procedures & leveranciersbeheer eigen standaarden, procedures & leveranciersbeheer eigen standaarden, procedures & leveranciersbeheer eigen standaarden, procedures & leveranciersbeheer

53 C Oracle Consolidatie : Impact Organisatie... DBMA Oracle Stack Beheer: oplossing centraal 1 werkwijze 1 leverancier (Oracle) database beheer DBMA, DBA 2.0 ( prutser.wordpress.com Klant DBMA Skills ++ Oracle RDBMS: Dataguard, RAC, +ASM, O12c NF, Exadata Features Skills ++ Systeembeheer (linux), ++ Virtualisatie (OVM) ++ Storage (ZS3 Storage Appliance) ++ Netwerken en netwerk virtualisatie

54 C Oracle Consolidatie : Impact Organisatie... training DBMA & Application Engineer Exadata Owners Guide: download as Patch Exadata Patching Note: Exadata Best Practises: MOS Note Oracle University Exadata Learning Tracks Exadata Database Administration => OCP12c,OCE X4 administration, OCE RAC Exadata Linux/Solaris System Administration => Certified administrator Exadata Storage Administration => OCE ZFS implementation specialist Exadata Network Administration => Certified (Solaris) Network Admin Oracle by Example, hands-on instructions Oracle learning library: Pre-built Oracle Virtual Box images B.v. 11g/12c migration lab, 12c developer lab, ZFS Storage appliance, OVM Mgr YouTube: Oracle Exadata channel Exadata boeken: Oracle Expert Exadata (apress) Soortgelijke resources voor application engineer

55 C Oracle Consolidatie : Impact Organisatie Impact voor architecten, testers, developers, projectleiders Bekend zijn met Oracle stack architectuur Migratie / Consolidatie programma vaak complex en langlopend. Bekend zijn met applicatie & database consolidatie standaarden en richtlijnen hoe maak ik een schaalbare, RAC compliant applicatie & database hoe maak ik mijn applicatie & database HA en DR aware consolidatie aspecten als resource management, compliancy Impact voor gebruikers Applicaties en databases draaien op geconsolideerd platform. Platform is leading v.w.b. maintenance windows, aansluitingsvoorwaarden, etc.

56 C Oracle Consolidatie : Impact Organisatie... proces integratie (ITIL) Oracle Stack Opnemen landschap in bestaande processen: opname in CMDB opname in SSR (standaard service request) & Change Management opname in Incident & Problem Management Intergratie monitoring (OEM12c Cloud Control) in ticketing systeem Availability & Capacity Management rapportages

57 C Oracle Consolidatie : Impact Organisatie... proces integratie: CMDB Vastleggen van alle relevante informatie availability incidents backup results

58 C Oracle Consolidatie : Impact Organisatie... proces integratie (ITIL) : Availability

59 C Oracle Consolidatie : Impact Organisatie... proces integratie (ITIL) : Incidents

60 C Oracle Consolidatie : Impact Organisatie... proces integratie (ITIL) : Backup Informatie

61 C Oracle Consolidatie : Impact Organisatie... proces integratie (ITIL) : SSR Create DB Change Request: Verzoek aanmaken DB (Standard) Change aanmaken in ticketing system Aanvraag formulier + Bijsluiter Exadata Aanmaken database + opname in CMDB Aanvraagformulier: zie volgende sheet Bijsluiter Exadata: ontwikkelstandaarden aansluitingsvoorwaarden. Conform SLA binnen afgesproken tijd Werkinstructie Create Database TOP DB CMDB status Production Beheerfase Database SBAP: Standaard Beheer Acceptatie protocol Monitoring geactiveerd Reguliere rapporages: capacity management, backup Beheer & monitoring conform afspraken Regulier patching Reporting (en eventuele doorbelasting)

62 C Oracle Consolidatie : Impact Organisatie... SSR Create DB aanvraagformulier

63 C Oracle Consolidatie : Impact Organisatie... SSR Create DB SBAP (Turn Over to Production)

64 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

65 D Oracle Consolidatie : Beheeraspecten Resource Management & Capacity Management hoe verdeel ik de beschikbare resources hoe bewaak ik de beschikbare resources Beheersen storage footprint hoe houd ik de beschikbare storage binnen de perken? Virtualisatie Database Security 15 TB DR copy

66 D Oracle Consolidatie : Resource Management... Inrichten resource management Welke resources moeten we delen op Exadata? memory, cpu, IO, Exadata/ZFS storage, netwerk Memory X5-2: 256 GB/512 GB/768 GB per node CPU X5-2: 2 x 18 core dual-threaded CPU (CPU_COUNT=72) per node Exadata database I/O & flash storage Exadata (database) storage: afhankelijk van configuratie en redundancy ZFS (backup) storage: afhankelijk van #shelves, disk types & backup retentie Welke resources moeten we delen op Exalogic / OVCA? memory, CPU, (IO, ZFS storage), netwerk 15 TB DR Stappen voor Resource Management & Capacity Management copy 1. Initiële inrichting (standaarden (!) database / vserver) 2. Meten en eventueel aanpassen. 3. Resource gebruik vastleggen + historie opbouwen 4. Zodra grenswaarden bereikt worden: acteren bijschalen resources afschalen componenten

67 D Oracle Consolidatie : Resource Management... Inrichten resource management uitgangspunten Zie Oracle White Papers: Overview Best Practices for The Database Situation Consolidation On Exadata Benefits Database Machine Experience (Oct 2013) Consolidating Oracle Applications on Exalogic (March 2012) Oracle Consolidation Guidelines voor Exadata: Memory 80 % of memory can be used for databases If you want to leave room for failover => reserve more memory CPU: Average CPU usage <= 25 % Production: partitioning method: 15 TB divide 75% CPU to databases DR OTA: oversubscription: 300 % CPU to databases # instances on 1 X3-2/X4-2 compute node: <= 128 copy Inter database management: afstemmen resources tussen databases => DBMA Intra database management: afstemmen resources in 1 databases => PDBA

68 D Oracle Consolidatie : Resource Management... Inrichten Exadata DB resource management stappen Stap Overview 1: instance mapping The Situation & database services & CDB/PDB Benefits mapping Experience (optioneel) Stap 2: memory gebruik m.b.v. database parameters (memory_target) Stap 3: CPU gebruik m.b.v. parameters (cpu_count) Stap 4: I/O gebruik m.b.v. parameters (db_performance_profile, resource_manager_plan) + plannen aanmaken op celniveau (cellcli) Stap 5: resources toekennen aan PDB binnen CDB (shares) 15 TB DR copy

69 D Oracle Consolidatie : Resource Management... Stap 1 Inrichten database & instance mapping 15 TB DR copy Bepaal # database, # instances + SGA_TARGET/PGA_AGGREGATE_TARGET optioneel: open/close individuele PDB databases per instance

70 D Oracle Consolidatie : Resource Management... Stap 1 CDB / PDB Setup optioneel: Met Oracle12c Multitenant optie: open/close individuele PDB databases per instance elke PDB heeft een eigen service geen verkeer mogelijk 15 tussen TB PDB s op applicatie DR niveau: via db link (applicatie isolatie) Of onderlangs als Container DBA (=: copy

71 D Oracle Consolidatie : Resource Management... Stap 2 Inrichten database & instance mapping 15 TB DR Instance mapping document voor complete database landschap (Ook in OEM Cloud Management Pack: Capacity Planner) Denk aan consolidatie richtlijnen m.b.t. memory & CPU copy

72 D Oracle Consolidatie : Resource Management... Stap 2 Verdelen Memory via parameters SGA_TARGET (linux Huge Pages niet compatible met MEMORY_TARGET) PGA_AGGREGATE_TARGET + PGA_AGGREGATE_LIMIT (12c) 15 TB DR Tijdens implementatie project inregelen!! v$sga_target_advice copy v$pga_target_advice Inregelen opnemen in Exadata Bijsluiter

73 D Oracle Consolidatie : Resource Management... Stap 3 Verdelen CPU via instance caging 15 TB DR copy via database parameters cpu_count & resource_manager_plan monitor cpu throttling resmgr:cpu quantum wait event

74 D Oracle Consolidatie : Resource Management... Stap 3 CPU Instance Caging: throttling SQL> col db_total format a10 SQL> select * from The ( Situation Benefits Experience select to_char(begin_time, 'HH:MI') time, (select value from v$osstat where stat_name = 'NUM_CPUS') total, (select value from v$parameter where name = 'cpu_count') db_total, sum(cpu_consumed_time) / 1000 consumed, sum(cpu_wait_time) / 1000 throttled, round(sum(cpu_wait_time)/sum(cpu_consumed_time)*100) "throttling_pct" from gv$rsrcmgrmetric group by begin_time order by begin_time ) where rownum < 2; 15 TB DR copy

75 D Oracle Consolidatie : Resource Management... Stap 4 Verdelen IO via IORM (alleen op Exadata) IORM: per DB, resource group, performance profile (nieuw in 12c) SQL> alter system set db_performance_profile=gold scope=spfile; In de cellen: CELLCLI> alter IORMPLAN DBPLAN=((name=gold, share=10, limit=20, type=profile), (name=silver, share=5, limit=20, flashcachemin=10, flashlog=off, type=profile), (name=db_prod1, share=1, flashcache=off, role=standby), (name=default, share=1, limit=5, flashcache=off )) -- How to check Small IO Waits per database. per min. CellCLI> LIST METRICCURRENT where name=db_io_wt_sm DB_IO_WT_SM EDW 35,576, TB ms DR DB_IO_WT_SM ODS 5,686,954 ms DB_IO_WT_SM EDWSTG 7,236,957 ms copy -- How to check Large IO Waits per database. per min. CellCLI> LIST METRICCURRENT where name=db_io_wt_lg DB_IO_WT_LG EDW 2,284,982,657 ms DB_IO_WT_LG ODS 384,891,454 ms DB_IO_WT_LG EDWSTG 394,093,606 ms

76 D Oracle Consolidatie : Resource Management... Stap 5 Verdelen resources binnen CDB limit 50% limit 50% limit 50% limit 80% Share: Gegarandeerde CPU PDB1,PDB2, PDB3 : 20% PDB 4 : 40% Utilization Limit: limieten aan CPU, Exadata I/O & Parallel Server gebruik BEGIN 15 TB DR DBMS_RESOURCE_MANAGER.CREATE_PLAN_DIRECTIVE ( plan => 'daytime_plan', pluggable_database => 'pdb4', shares => 2, utilization_limit => 80, parallel_server_limit => 50); END; copy

77 D Oracle Consolidatie : Beheeraspecten... Beheer(s) totale Storage Footprint DB landschap

78 D Oracle Consolidatie : Beheeraspecten... Beheer(s) totale Storage Footprint DB landschap 7 (storage servers) x 12 (disken) x 4 TB = 336 TB listprice $ per disk of $ extreme flash (X5) 168 TB Redundancy 50 % - Redundancy (NORMAL) TB Redundancy 50 % TB TB Redundancy 50 % TB TB TB Redundancy 50 % TB TB TB TB Redundancy 50 % TB TB TB TB - 1 complete cell failure (required_mirror_free_mb) - FRA/DATA (20/80) % - Alert threshold (80%) - Real TB and not Exa TB 1 Exadata "TB" = 1000 x 1000 x 1000 x 1000 = bytes 1 TB = 1024 x 1024 x 1024 x 1024 = bytes verschil per TB storage: 92 GB

79 D Oracle Consolidatie : Beheeraspecten... Beheer(s) totale Storage Footprint DB landschap 15 TB dataguard DR L0/L1 backup RPO/RTO!! copy diverse instanties: O,T,A1..A4 replication

80 D Oracle Consolidatie : Beheeraspecten... Beheer(s) totale Storage Footprint DB landschap Maatregel 1: Meer storage voor hetzelfde geld gebruik HIGH CAPACITY disks i.p.v. HIGH PERFORMANCE (per X5 cel: 48 TB i.p.v. 12 TB) gebruik +ASM NORMAL i.p.v. HIGH redundancy (=> storage cellen niet online patchen) gebruik storage tiering: database op Exadata of op ZFS storage, vanaf 12c ZFS OISP pas op met (X5) virtualisatie op Exadata: snijverlies bij virtualisatie gebruik ZFS of (12c) PDB copy on write snapshots (zowel ACFS als +ASM) Maatregel 2: Kijk kritisch naar RPO/RTO tijden short-term backup: hoe lang moet ik terug in de tijd replicatie: welke data moet ik echt repliceren Maatregel 3: Hoeveel omgevingen heb ik echt nodig? aanpassen processen om met minder omgevingen uit te kunnen hergebruik omgeving: flashback 15 TB query, Active Dataguard, DR edition-based redefinition decomissioning belangrijk!! eventueel intern doorbelasten op storage (OEM12c metering & chargeback) copy Maatregel 4: Verklein de database!! OLTP en EHCC compressie. (eerder project DB1 12 TB => 1 TB, DB2 16 TB => 4 TB) reguliere housekeeping (index rebuilds nog steeds noodzakelijk, bv 1,5 TB storage reductie) implementeer 12c database ILM => zie demo database subsetting (mogelijk in combinatie met datamasking en anonymization)

81 D Oracle Consolidatie : Beheeraspecten... storage footprint: demo 12c ILM Stap 1: Aanzetten Heatmap SQL> alter system set heat_map = on scope = both; Vanaf nu worden queries en DML bijgehouden in de heat map SQL> select count(*) from scott.emp; SQL> select object_name, track_time, segment_write, segment_read, full_scan, lookup_scan from v$heat_map_segment where object_name = 'EMP'; 15 TB DR OBJECT_NAME TRACK_TIM SEG SEG FUL LOO copy EMP 22-APR-15 NO NO YES NO data in SGA wordt gepersisteerd in dba_heat_map_segment in SYSAUX tbs

82 D Oracle Consolidatie : Beheeraspecten... storage footprint: demo 12c ILM Stap 2: Definiëren ILM Policy REM Eerst huidige compressie status van tabel EMP bekijken: SQL> select table_name, compression, compress_for from dba_tables where table_name = 'EMP' and owner = 'SCOTT'; TABLE_NAME COMPRESS COMPRESS_FOR EMP DISABLED REM Add an ILM policy 15 TB DR SQL> ALTER TABLE scott.emp ILM ADD POLICY ROW STORE COMPRESS copy ADVANCED SEGMENT AFTER 30 DAYS OF NO MODIFICATION;

83 D Oracle Consolidatie : Beheeraspecten... storage footprint: demo 12c ILM Bekijk uitstaande ILM policies SQL> select policy_name, action_type, scope, compression_level, condition_type, condition_days from dba_ilmdatamovementpolicies; 15 TB DR copy

84 D Oracle Consolidatie : Beheeraspecten... storage footprint: demo 12c ILM Stap 3: ILM policy job starten ILM Overview jobs worden The Situation automatisch gescheduled en uitgevoerd Benefits (maintenance Experience window) Online verplaatsten datafiles mogelijk in 12c! Voor de demo database time travel om de ILM policy te laten afgaan: SQL> alter system set fixed_date='01-jun-15'; ILM policy job handmatig starten: SQL> declare v_executionid number; 15 TB DR begin dbms_ilm.execute_ilm (ILM_SCOPE => dbms_ilm.scope_schema, copy execution_mode => dbms_ilm.ilm_execution_offline, task_id => v_executionid); end; /

85 D Oracle Consolidatie : Beheeraspecten... storage footprint: demo 12c ILM Stap 4: Resultaat bekijken SQL> select task_id, start_time as start_time from dba_ilmtasks; TASK_ID START_TIME APR PM SQL> select compression, compress_for from dba_tables where table_name = 'EMP' and owner = 'SCOTT'; 15 TB DR TABLE_NAME COMPRESS COMPRESS_FOR copy EMP ENABLED ADVANCED

86 D Oracle Consolidatie : Beheeraspecten... Database Virtualisatie 15 TB DR copy Overhead Virtualisatie: performance: hypervisor software op OS, elke VM heeft zijn eigen OS beheer: OS software, grid & database software per OVM resources: elk OVM cluster heeft zijn eigen grid disks

87 F Oracle Consolidatie : Beheeraspecten... Database virtualisatie op Exadata proven Oracle VM en Xen technologie direct IB I/O connectivity SR-IOV vanaf versie X2 mogelijk max 63 VM per compute node vcpu pinning & live migration not supported Images draaien op local disks VM trusted partitions mogelijk i.v.m. licensing. database licenties op basis van vcpu. 2 vcpu = 1 core = ½ CPU licentie Per Virtuele omgeving een cluster. Op storage niveau heeft elk virtueel cluster zijn eigen grid disken.

88 F Oracle Consolidatie : Beheeraspecten... Database virtualisatie op Exadata Grid disken: per cel: 12 x 4 TB = 48 TB RAW

89 F Oracle Consolidatie : Beheeraspecten... Database virtualisatie op Exadata +DBFS +RECO +DATA The Situation Benefits ASM CELL SERVER non virtualized disk layout

90 F Oracle Consolidatie : Beheeraspecten... Database virtualisatie op Exadata +DBFS +RECO_O +DATA_O +DATA_T +DATA_A +RECO_T The Situation Benefits +RECO_A ASM CELL SERVER virtualized disk layout

91 F Oracle Consolidatie : Beheeraspecten... Database virtualisatie op Exadata +RECO_O The Situation +DATA_T Benefits via granules van gelijke grootte storage flexibiliteit houden

92 F Oracle Consolidatie : Compliancy... Exadata Database virtualisatie : Pro s & Con s PRO + complete scheiding omgevingen + gescheiden netwerken + geen extra kosten OVM virtualisatie + vcpu & trusted partitions (1 core = 2 vcpu) + Time to market (deployment, templates) CON - management overhead OS, DB, Cell & Grid Level - minder flexibiliteit resources - performance overhead (in vergelijking met bare metal installaties) - X5 OVM virtualisatie nog niet af. Geen Live Migration, images op local disk Toepassing algemeen: virtualisatie voor beperkt aantal Exadata omgevingen Toepassing 1: database licenties besparen. Toepassing 2: opsplitsen EXA in gescheiden omgevingen: O+T/A/DR Met toenemende computing power (X5-2 node : 72 vcpu GM memory) en doorontwikkeling OVM op termijn waarschijnlijk goed inzetbaar

93 D Oracle Consolidatie : Beheeraspecten... Database Security First line of defense: fysieke isolatie Exadata Exadata 1/8 rack X5-2 O + T Exadata 1/8 rack X5-2 A + DR Exadata 1/4 rack X5-2 P OVCA Data Hotel OVM Servers ZFS diskshelves O + T 15 TB OVM Servers DR ZFS diskshelves A + DR OVM Servers ZFS diskshelves P copy

94 management network D Oracle Consolidatie : Beheeraspecten... Database Security Second line of defense: isolatie door virtualisatie netwerk scheiding via VLAN 15 TB DR physical nodes + vservers copy

95 management network D Oracle Consolidatie : Beheeraspecten... Database Security Second line of defense: netwerk isolatie en bescherming 15 TB copy

96 D Oracle Consolidatie : Beheeraspecten... Database Security Third line of defense: database isolatie POSIX isolatie: complex qua beheer en configuratie (KISS) gaat in tegen flexibiliteitsprincipe stack beheer. Gerelateerd: Job Role Separation: SYSASM (11g), SYSBACKUP, SYSDG, SYSKM (12c). Alleen relevant bij hele grote consolidatie landschappen gaat in tegen flexibiliteitsprincipe stack beheer. 15 TB DR Oracle Schema isolatie (<12c): per applicatie apart schema copy Oracle12c Multitenant: 1 CDB met meerdere PDB. Scheiding CDBA en PDBA

97 D Oracle Consolidatie : Beheeraspecten... Database Security 15 TB DR copy maximalisatie Oracle Security (& Oracle Options & Packs)

98 D Oracle Consolidatie : Beheeraspecten... Database Security Fundamentele consolidatie richtlijnen: Alleen Overview toegang The tot Situation database compute nodes voor Benefits DBMA via OS Experience PUID (Alleen root rechten voor vserver applicatie compute nodes voor DBMA) Alleen DBA en SYSDBA rechten in de database voor DBMA via DB PUID Geen remote OS authentication toegestaan 12c NF threaded_execution: niet compatible met OS authentication Opzetten rollen & rechten & profielen voor gebruikersgroepen reguliere gebruikers, developers, testers, architecten mogelijk verschillende conventies voor O/T/A/P/DR 12c Multitenant biedt meer opties: Container DBA & Pluggable DBA afspraken maken over 15 deployment TB process DR Oracle Exadata Security Best Practises Oracle Database Security Best Practices Security uitgangspunten : opnemen in Security Baseline & monitoring copy

99 D Oracle Consolidatie : Beheeraspecten... Database Security : O12c Unified Auditing 15 TB DR copy Situatie voor 12c Unified Auditing: Veel verschillende logfiles Niet alle acties in logfiles (b.v. datapump, rman)

100 D Oracle Consolidatie : Beheeraspecten... Database Security : O12c Unified Auditing 15 TB DR copy 12c Unified Auditing: Sterk vereenvoudigde logstructuur Alle acties gelogd Verbeterde performance logging mechanisme

101 D Oracle Consolidatie : Beheeraspecten... Database Security : O12c Unified Auditing Activeren van Unified Auditing: $ cd $ORACLE_HOME/rdbms/lib $ make -f ins_rdbms.mk uniaud_on ioracle SQL> select value from v$option where parameter ='Unified Auditing'; VALUE TRUE 15 TB DR copy

102 D Oracle Consolidatie : Beheeraspecten... Database Security : O12c Audit policies SQL> select * from sys.audit_unified_enabled_policies; USER_NAME POLICY_NAME ENABLED_ SUC FAI ALL USERS ORA_SECURECONFIG BY YES YES ALL USERS ORA_LOGON_FAILURES BY NO YES ALL USERS ORA_DATABASE_PARAMETER BY YES YES ALL USERS ORA_ACCOUNT_MGMT BY YES YES ALL USERS ATOS_POL_DATAPUMP BY YES YES SQL> select policy_name, audit_option from audit_unified_policies where policy_name = 'ORA_SECURECONFIG' order by 2; 15 TB DR POLICY_NAME AUDIT_OPTION ORA_SECURECONFIG ADMINISTER KEY MANAGEMENT ORA_SECURECONFIG ALTER ANY PROCEDURE ORA_SECURECONFIG ALTER ANY SQL TRANSLATION PROFILE ORA_SECURECONFIG ALTER ANY TABLE ORA_SECURECONFIG ALTER DATABASE ORA_SECURECONFIG ALTER DATABASE LINK ORA_SECURECONFIG ALTER PLUGGABLE DATABASE ORA_SECURECONFIG ALTER PROFILE ORA_SECURECONFIG ALTER ROLE.. copy

103 D Oracle Consolidatie : Beheeraspecten... Security Management: O12c Audit policies SQL> alter system set cpu_count=4; SQL> select dbusername, unified_audit_policies,event_timestamp, sql_text from unified_audit_trail where sql_text like '%alter system set cpu_count%'; DBUSERNAME UNIFIED_AUDIT_POLICI EVENT_TIMESTAMP SQL_TEXT SYS ORA_DATABASE_PARAMETER 26-MAY-15 alter system set cpu_count=4 15 TB DR copy

104 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

105 E Oracle Consolidatie : Compliancy SLA compliancy Licenties compliancy

106 E Oracle Consolidatie : Compliancy... SLA compliancy Backup / DR / Security / Availability / Applied Standards Vastgelegd in contract (abstract / high level) Gespecificeerd in architectuur, standaarden en richtlijnen 3 aspecten: 1 Vastleggen (CMDB) 2 Controleren / Meten 3 Rapporteren

107 E Oracle Consolidatie : Compliancy... SLA compliancy : vastleggen en eerste controle (TOP) Bij inbeheername (TOP) moet duidelijk worden aan welk service level het nieuwe Overview component The Situation moet voldoen. Benefits Experience (componenten als CDB, PDB, vserver, FMW component,...) Bij inbeheername (TOP/SBAP) : controle of voldaan wordt aan het service level Soorten controles: CMDB controle (alle gegevens geregistreerd?) Connectivity Monitoring Backup & Recovery controle DR controle Component configuratie (conform standaard?) Performance Security & User Management... etc.

108 E Oracle Consolidatie : Compliancy... SLA compliancy : Stap 1 vastleggen TOP (SBAP)

109 E Oracle Consolidatie : Compliancy... SLA compliancy : 1 Vastleggen (CMDB)

110 E Oracle Consolidatie : Compliancy... SLA compliancy : 2 Meten: periodieke controles Periodieke geautomatiseerde controles Exadata / Exalogic : Exacheck (MOS note ID ) OVCA : ORAchk (MOS note ID ) proprietary compliancy monitoring checks Periodieke handmatige controles vserver / DB recovery, HA & DR drills (eventueel te combineren met maintenance als patching) interne & externe audits

111 E Oracle Consolidatie : Compliancy... SLA compliancy : 2 Meten: Exacheck Configureer voor specifieke omgeving via exceptions/exclusions System Health Score 100% Schedule via Corn of OEM12c Plugin

112 E Oracle Consolidatie : Compliancy... SLA compliancy : 3 rapportages Spreek af met de klant wat gemeten wordt Availability Backup Storage growth trend.. etc. Spreek af met de klant hoe gemeten wordt rapportages self-service reporting portal.. etc. Spreek af aan wie gerapporteerd wordt

113 E Oracle Consolidatie : Compliancy... SLA compliancy : rapportage database size Drill down en zoom out functionaliteit van PDB naar CDB naar +ASM diskgroup

114 E Oracle Consolidatie : Compliancy... SLA compliancy : rapportage availability Let bij de beschikbaarheid op maintenance windows. Deze vallen buiten de (ongeplande) beschikbaarheid.

115 E Oracle Consolidatie : Compliancy... SLA compliancy : rapportage backup

116 E Oracle Consolidatie : Compliancy... SLA compliancy : rapportage OVCA vserver Pool

117 E Oracle Consolidatie : Compliancy... SLA compliancy : rapportage OVCA vserver Pool

118 E Oracle Consolidatie : Compliancy... Licenties Exadata licenties: Overview The Situation Benefits Hardware & Exadata software bij aanschaf van de Exadata Experience Additioneel database licenties (Enterprise Edition, RAC, Partitioning, etc.) Hardware CSI (gekoppeld aan Exadata machine) & Software CSI Exalogic licenties: Hardware & Exalogic Elastic Cloud software bij aanschaf van de Exalogic Additioneel FMW licenties (Weblogic, OSB, WCP, SOA/BPM, etc.) Hardware CSI (gekoppeld aan Exadata machine) & Software CSI

119 E Oracle Consolidatie : Compliancy... Database Licenties 1. Gekochte licenties/opties worden niet gebruikt. B.v.: Advanced Security, Golden Overview Gate, Datamasking The Situation & Subsetting, RAT Benefits Experience 2. Niet gekochte licenties/ opties (abusievelijk) gebruikt. SQL> alter table test compress for oltp; => Advanced Compression SQL> select * from v$active_sesion_history; => Diagnostics pack SQL> create pluggable database PDB2... => Multitenant optie Hoe te voorkomen? 1. Awareness (+ registreren opties bij SBAP/TOP) 2. Protection 3. Periodieke controle

120 E Oracle Consolidatie : Compliancy... Licenties : Oracle12c Multitenant Bij Oracle12c Multitenant worden alle opties geinstalleerd in de container database. Overview (Oracle The Text, Situation Oracle OLAP, Spatial, Apex, Benefits Datavault, Experience Label Security) (tenzij ze fysiek verwijderd zijn van het systeem) OOK als je aangeeft dat bepaalde opties niet moeten worden geinstalleerd. (gebruik wordt bepaald op PDB niveau) Zie MOS Note : Is it possible to remove database components in Oracle 12c using DBCA (Doc ID )

121 E Oracle Consolidatie : Compliancy... Licenties : bescherming ongeoorloofd gebruik The good news: Oracle chopt utility: $ chopt disable partitioning SQL> create table not_allowed (kol1 number(5), kol2 varchar2(100)) partition by hash(kol1); * ERROR at line 1: ORA-00439: feature not enabled: Partitioning The bad news: Oracle chopt werkt alleen bij een paar database opties: $ chopt -h dm = Oracle Data Mining RDBMS Files olap = Oracle OLAP partitioning = Oracle Partitioning rat = Oracle Real Application Testing

122 E Oracle Consolidatie : Compliancy... Licenties : bescherming ongeoorloofd gebruik Aanvullende maatregelen voor andere opties:

123 E Oracle Consolidatie : Compliancy... Licenties : controle gebruik licenties MOS Note: How To Verify Which Database Features are Used (Doc ID ) DBA_FEATURE_USAGE_STATISTICS 1. Features output match niet 1:1 licentie opties 2. Bij nieuwe versies soms onjuistheden (11g Advanced Security optie => in 12c overgeheveld naar EE Edition. Query rapporteert nog steeds gebruik Advanced Security 3. Periodiek draaien in elke database en output in repository opslaan

124 Agenda Consolidatie m.b.v. Oracle appliances Oracle Appliances introductie Stappenplan Consolidatie Impact Organisatie Consolidatie Beheeraspecten Consolidatie compliancy Oracle12c & Exadata X5-2 NF

125 F Oracle Consolidatie : Compliancy... Overzicht X5 New Features (highlights) Hardware Overview Hardware X5-2 The Situation compute node: 2 x 18 core CPU Benefits Experience GB memory Hardware X5-2 storage cell: 4 x 1,6 TB flash per storage cell Extreme Flash Configuration: 8 x 1,6 TB flash disks, no spinning disks Software OVM Support Exafusion Direct to Wire OLTP protocol (bypass OS network stack) Dual Columnar Flash Cache (analoog aan In Memory Database) DBMCLI interface (analoog aan CELLCLI) Specifieke AWR (reports) & OVM enhancements Sparse Disks voor copy on write snapshots Overig Nieuwe licentie modellen: capacity on demand (CoD) software licensing (minimaal 40% afname) Infrastructure on Premise (IAAS), 20 % bandbreedte, pay per month VM Trusted Partitions flexible Exalastic Configurations options (geen fixed rack configuraties meer)

126 F Oracle Consolidatie : Compliancy... X5 New Features : Dual Columnar Flash Cache Tijdens scanns van EHCC data wordt de data (automatisch en transparant) geladen als puur columnar data in de flash cache. Voordeel: queries op EHCC data verlopen sneller. ( up to factor 5 )

127 F Oracle12c New Features Overzicht Oracle grid 12c heeft veel nieuwe features, Oracle database 12c heeft bijna 500 new features... Highlights: Flex ASM 12c Multitenant Databases (CDB/PDB) Oracle Automatic Database Optimization (ADO) Oracle in Memory Database

128 F Oracle12c New Features Flex ASM Elke compute node heeft een +ASM instance De ASM instance mount de DB Storage en verschaft ASM meta data info aan de DB instances IO gaat direct van de DB instance naar de DB Storage Consequentie: ASM instance is een SPOF op compute node niveau Consequentie: elke ASM instance kost resources

129 F Oracle12c New Features Flex ASM Flex ASM: max 3 +ASM instances per cluster Geen 1:1 relatie tussen ASM en DB, ook compute nodes zonder ASM +ASM fault-tolerant Minder resource gebruik bij grote clusters Aandachtspunten: 3 virtual ip addresses nodig voor setup (conform SCAN) apart ASM network. (kan gedeeld worden met private network) aparte ASM listeners

130 F Oracle12c New Features 12c Multitenant

131 F Oracle12c New Features 12c Multitenant shared resources (CDB level): background processes, redo log files, memory, control files, Oracle metadata, common temporary tablespace, UNDO tablespace, common users and roles, CDB resource manager plan Dedicated resources (PDB level): application data, indexes and metadata, local temporary tablespace, local users and roles, PDB resource manager plan

132 F Oracle12c New Features 12c Multitenant Voordelen Efficiënt Overview gebruik The van Situation resources. Databases delen Benefits zelfde achtergrond Experience processen en datadictionary. Efficiënte configuratie RAC, HA, Dataguard, monitoring, backup: eenmalig opzetten op CDB niveau, alle PDB kunnen meeliften op deze infrastructuur. Efficiënt onderhoud : upgrading, patching, monitoring Separation of duties: CDBA/PDBA s Application consolidatie in 1 database (namespace separation & isolation) Snelle provisioning, cloning & copy on write snapshots Additioneel m.b.t. Pluggable Databases: > 1 PDB: optional Multitenant database optie for Enterprise Edition (list price $ per cpu. (to compare list price RAC option is $ per cpu) extra dimensie in resource management PDB / CDB effidatabase consolidatie. Delen van van veel for consolidation of many small databases. Different database performance characteristics (peaks) spread the load within the CDB.

133 F Oracle12c New Features 12c Multitenant Demo : clone PDB CDB$ROOT@ORCL> alter pluggable database pdb1 close immediate; CDB$ROOT@ORCL> alter pluggable database pdb1 open read only; CDB$ROOT@ORCL> create pluggable database pdb2 from pdb1; CDB$ROOT@ORCL> alter pluggable database pdb2 open; CDB$ROOT@ORCL> select con_id, name, open_mode from v$containers; CON_ID NAME OPEN_MODE CDB$ROOT READ WRITE 2 PDB$SEED READ ONLY 3 PDB1 READ ONLY 4 PDB2 READ WRITE Ook mogelijk: Snapshot Clone via Copy on Write mechanisme. Ondersteunde storage: o.a. ZFS, ACFS en +ASM (sparse disks)

134 F Oracle12c New Features 12c Multitenant Demo : virtual clone PDB Exadata Stap 1: aanmaken sparse disk op Exdata cel niveau: Cellcli> create griddisk all harddisk prefix=sparse size=200g, virtualsize=100tb Stap 2: aanmaken sparse ASM diskgroup SQL> create diskgroup SPARSEDG normal redundancy disk o/*/sparse_* attribute 'compatible.asm' = ' ', 'compatible.rdbms' = ' ', 'cell.smart_scan_capable' = 'true', 'cell.sparse_dg' = 'allsparse', 'au_size' = '4M'; Stap 3: aanmaken clone in Container Database SQL> alter pluggable database PDB_Master open read only; SQL> create pluggable database PDB_Clone1 From PDB_Master create_file_dest='+sparsedg' snapshot copy; SQL> create pluggable database PDB_Clone2 From PDB_Master create_file_dest='+sparsedg' snapshot copy;

135 F Oracle12c New Features 12c Automatic Data Optimization (ADO) Automatic Data Optimization (ADO) : Define policies for data compression and data migration (to low cost storage) Policies are scheduled and executed automatically in the database maintenance window. Datafiles are moved online! Especially usefull in combination with Partitioning.! Advanced Compression option required.

136 F Oracle12c New Features 12c in Memory Database Option

137 F Oracle12c New Features 12c in Memory Database Option.. achtergrond Databases with mixed workloads run both OLTP and DWH workloads. OLTP : single rows with many columns DSS: many rows with few columns The problem is that data can only be stored in one way: either in row format suitable for OLTP workloads or in column format suitable for DWH workloads.

138 F Oracle12c New Features 12c in Memory Database Option.. achtergrond Traditionele oplossingen voor dit probleem: 1 Extra indexen op DSS kolommen en materialized views Nadelen: performance nog steeds suboptimaal vaak veel indexen nodig per tabel. Deze kosten storage en vertragen DML 2 Apart data warehouse voor DSS en rapporten. Nadelen: complexe ETL procedures nodig extra database leidt tot toegenomen operationele in infrastructuur kosten. data in datawarehouse is niet up to date 3 Offload reports naar standby database (Active Dataguard / Logical Standby) pro: productie heeft geen last van de rapportages con: nog steeds extra indexen nodig. 4 Hybride vorm van row/column storage (Exadata, EHCC compression). con: EHCC niet geschikt voor DML (mogelijk ondervangen met Partitioning)

139 F Oracle12c New Features 12c in Memory Database Option data is row based opgeslagen op disk (as always) data wordt column based extra geladen in COLUMN Store Karakteristieken: 100% compatible met bestaande functionaliteit en opties. Geen database en/of applicatie aanpassingen nodig. in-memory fault tolerance. Eenvoudig te implementeren op tabel of partitie niveau.

140 F Oracle12c New Features 12c in Memory Database Benefits, Oracle Benchmark N.B. in Memory Database option voor optimaliseren DWH queries Oracle Times Ten in Memory database voor optimaliseren OLTP (microsecond response).