Exadata X5-2 Architectuur / DR / Snapshots. Overview The Situation Benefits Experience. Oracle11g stretched RAC

Transcriptie

1 Exadata X5-2 Architectuur / DR / Snapshots Informix Oracle11g stretched RAC Oracle12c RAC+Exadata Exadata X5-2 Architectuur / DR / Snapshots Even voorstellen: Rob Lasonder werkzaam bij Atos Global Exa Competence Center laatste 6 jaar projecten met Oracle Appliances (Exadata, Exalogic, Exalytics, ZFS Storage Appliance, OPCA) OCP : 8.0 t/m 12c OCE : RAC11g, Exadata X2, X3 Administration, Big Data Implementation rob.lasonder@atos.net 1

2 Exadata X5-2 Architectuur / DR / Snapshots Laatste Exadata (X5-2) project, afgelopen 10 maanden in Duitsland. Project ESPE: Einführung Starter Paket Exadata/Exalogic Nieuwe Infra (on premise): 3 x Exadata X x Exalogic X5-2 Software: Informix DB => Oracle (20 TB, verwachte groei 90 TB) o.a. Oracle ODI (opvolger Warehouse Builder) Machbarkeits Studie vooraf: Enkele Duitse weetjes Als je s avonds naar huis gaat: Ich mache jetzt Feierabend Elkaar s middags begroeten: Mahlzeit! Als je een presentatie goed vindt: Bij de lunch een bonnetje vragen: Een wit biertje graag Keihard op de tafel roffelen Haben Sie den Beleg für mich Ein Weissen bitte Aparte uitspraak : ProCdur, Archieeeeven, Oraaaakel Verder voor ieder computer woord een Duits equivalent: Speichern, Festplatte, Rechner, der Spiegel, Datenbank, Sicherung, neustarten, Verzeichnis, Kenntnis, Verknüpfung, hochladen, herunterladen, Order, Benutzer, die Bandsicherung, hochfahren, herunterfahren,.... 2

3 Exadata X5-2 DWH Migratie Project 1 Exadata Architectuur 2 Exadata Snapshots Informix 312c NF Refresh from Service 4 Exadata Migratie I Exadata Architectuur... ExadataRefresher Exadata eerste Oracle Appliance. Een toepassing geoptimaliseerd voor databases. The Situation Benefits Experience Informix Componenten: Compute Nodes (database instances) Storage Nodes (database storage) Zeer snel Infiniband Netwerk Exadata Software optimalisaties (SQL Offloading, EHCC compressie, etc.) Voor de Oracle DBA: Oracle RAC, Oracle +ASM Storage 3

4 I Exadata Architectuur... ExadataRefresher The Situation Benefits Experience Informix I Exadata architectuur... ExadataRefresher DR coy Nieuwste versie: X6 4

5 I Exadata architectuur Kenmerken architectuur Intern high speed, low latency Infiband network HA via clustering Applicaties: vservers Databases: RAC Disaster Recovery via replicatie Applicaties: storage replicatie Databases: DR dataguard type DR: Active / Passive coy type DR: vaak geen zero data loss. I Exadata architectuur ZFS replicatie DB L0/L1 backup dataguard DR coy replication 5

6 I Exadata architectuur Pluspunten Exa architectuur: Overview proven architectuur, The Situation zeer breed ingezet Benefits Experience low latency, high speed infiniband netwerk zeer snelle time to market (appliances, standaard componenten) Oracle Services (Platinum Support, monitoring, patching, etc.) multifunctioneel active dataguard, offloading reports naar standby standby databases inzetten voor andere doeleinden (snapshots) dataguard: automatische block recovery corrupt blocks Aandachtspunten Exa architectuur: complexiteit. van DBA naar Full Stack DBMA, RAC DR: Active-Passive DR: vaak geen zero data loss Dataguard DR vereist FORCE LOGGING. I Exadata architectuur DR: Active / Passive Bij een Overview failover/switchover The Situation is er downtijd. Benefits Experience bij activeren standby DB rollback van niet gecommitte transacties Mogelijk transactie verlies (indien geen zero data loss configuratie) alle applicatieservers vereisen herstart (voormalige passieve kant) alle sessies moeten opnieuw opgebouwd worden. applicatie moet overweg kunnen met herstart en deels doorgevoerde transacties. ZERO Data Loss: geen enkele gecommitte transactie gaat verloren. vereist: dataguard maximum availability mode. Een transactie is pas gereed nadat deze zowel op de primary als de standby als de primary database is gecommit. (2 phase commit) toegenomen latency toegenomen afhankelijkheid Database Force Logging Alle transacties worden weggeschreven in de online redo log file, geen nologging operaties toegestaan. (in DWH omgevingen vaak nologging operaties tijdens laadacties). 6

7 I Exadata architectuur Dataguard Far Sync Instance voor zero data loss Dataguard Far Sync Instance (12c New Feature) bevat alleen de online redo log files, geen datafiles I Exadata architectuur Oplossingen voor nologging operaties: isoleer nologging operaties in bepaalde tablespaces en sluit deze uit (testen!) refresh standby database na afloop van nologging operaties in de Primary 7

8 II Project Bron Architectuur : Stretched RAC DC 1 DC 2 network heartbeat Node 1 Node2 disk heartbeat (voting disks) local RAC componenten compute nodes shared storage netwerk II Project Bron Architectuur : Stretched RAC DC 1 DC 2 Node 1 Node2 stretched RAC componenten compute nodes shared storage netwerk 2e datacenter Storage Replicatie: via ASM Failure groups 8

9 II Project Bron Architectuur : Stretched RAC Pluspunten Stretched RAC architectuur: Overview DR is Active The / Active Situation Benefits Experience Geen Dataguard configuratie nodig (minder administratieve overhead) Dus: databases kunnen ook in NOLOGGING modus draaien. Zero Data Loss configuratie Aandachtspunten Stretched RAC architectuur: hogere complexiteit dan local RAC, met name de netwerk laag. Hoge eisen aan netwerk, dedicated high bandwidth redundant netwerk Latency (maximum comfortabele rijkweidte 20 km) gevaar van split brain Oracle ziet een stretched RAC nog steeds als HA, en NIET als DR oplossing. Toegenomennetwerk complexiteit kanook tot uitvalleiden. Hoe verhoudt zich dat tot de kans op een rekencentrum uitval. 11g new Features interessant voor stretched RAC: preferred mirror read (aangeven per instance) fast disk resync (synchroniseren failed disk) II Project Bron Architectuur : Stretched RAC... Latency RAC interconnect data + storage (mirrors) Maximale acceptabele afstand 20 km, afhankelijk van type netwerk. bron: Oracle White Paper: Oracle Real Application Clusters on Extended Distance Clusters. 9

10 II Project Bron Architectuur : Stretched RAC... Voting Disks DC 1 DC 2 Node 1 X Node2 voting 1 DC 3 voting 3 voting 2 split brain: geen communicatie meer tussen de clusternodes en elke clusternode gedraagt zich onafhankelijk van de andere Oracle MAA: 3e voting disk in 3e datacenter. II Project Bron Architectuur : Stretched RAC create diskgroup data normal redundancy failgroup fg1 disk 'ORCL:ASMDISK1' failgroup fg2 disk 'ORCL:ASMDISK2' quorum failgroup fg3 disk 'ORCL:ASMDISK3' attribute 'compatible.asm' = ' '; 10

11 II Project Bron Architectuur : Stretched RAC... Stretched RAC = HA en geen DR + Human error (flashback standby) + Rolling Upgrade Support + offload reporting (active DG) + Exadata snapshots II Project Bron Architectuur : Stretched RAC DC 1 Global Load DC 2 Balancer local FMW app server local FMW app server DB Instance 1 DB Instance 2 wekelijks L0 Tape Backup stretched RAC ingezet als DR oplossing: Active / Active DWH databases in NOLOGGING tijdens batches zero data loss (niet tijdens NOLOGGING laadacties) Dagelijks +ASM incrementally updated copy, 3 dagen delay DG: +DATA1, +DATA2, + RECO +DATA1 en +DATA2 identiek i.v.m. switch to copy 11

12 II Project Doel Architectuur : De ExaStack... Database Layer Kenmerken DR met dataguard. Max performance modus DG Far Sync Instance in studie Failover tijd in studie Nologging laadacties => 12c Refresh from service OLTP OLTP Extra mogelijkheden: Exadata snapshots. X5-2 nodes: 768 GB memory 2 x 18 core dual threaded CPU (CPU_COUNT = 72) 1 x ½ rack 1 x ¼ rack (met 3 compute nodes) 1 x 1/8 rack II Project Doel Architectuur : De ExaStack... Application Layer OLTP X5-2 Compute Nodes Zs3-2 Storage Cluster OLTP OLTP Configuraties: 1 physical (1/4 rack) 1 virtual (1/4 rack) 1 hybrid (1/2 rack) OLTP OLTP 12

13 II Exadata Snapshots PROD DR DB in Force Logging Tijdens laadacties in Nologging SNAP1 SNAP2 Een snapshot is een virtuele R/W kopie van de (standby) database. Aanvankelijk 0 bytes groot. De snapshot datafiles zijn pointers naar de master datafiles Alleen de mutaties worden weggeschreven in de +SPARSE diskgroup. II Exadata Snapshots Randvoorwaarden Exadata Storage Software version Oracle RDBMS Software version BP5 ++ Sparse Grid Disks & ASM Disk group Referentie: Oracle Exadata Storage Server Software User's Guide Hoofdstuk 12 Setting up Oracle Exadata Storage Snapshots 13

14 II Exadata Snapshots : algemeen Wat is het probleem? Vaak hebben productie databases veel kopieen (klonen) voor diverse doeleinden. Dit kan veel (dure) Exadata Storage kosten. Opbouwen van de clones kost relatief veel tijd & administratieve overhead Q1 Totaal 14 clones = 14 x 15 TB = 210 TB Q2 Dev 1... Dev 12 II Exadata Snapshots : algemeen Mogelijke oplossingen: Aanpassen ontwikkelingsprocessen en procedures Flashback Technologie (Flashback Query), edition-based redefinition. Active Dataguard (open read only voor rapporten) Subsetting (+ datamasking) Storage Tiering (Development Clones op goedkopere Storage) Snapshot Clones Een P 15 Snapshot TB Clone is een virtuele Clone van de Database (Master) Voor Read Operaties wordt de MASTER geraadpleegd. Write Operaties worden in de Snapshot Clone weggeschreven. De virtuele kloon is dus aanvankelijk 0 bytes en groeit naarmate het aantal wijzigingen toeneemt. De Master is READ ONLY geopend Snapshot Clones zijn al langer mogelijk op ZFS Storage en in ACFS. Sinds kort ook in Exadata +ASM Diskgroups. Grote voordeel: Exadata Features zoals SQL*Offloading en IORM zijn ook op de snapshot clones van toepassing. 14

15 II Exadata Snapshots : algemeen Snapshot Datafile pointers naar data blokken originele blokken: Data Diskgroup gewijzigde blokken: Sparse Diskgroup Sparse Diskgroup: Grid Disks met fysieke en virtuele grootte. (max 100 TB virtual size per disk) A sparse file contains only changes made to blocks from the parent file (the parent file remains unchanged) and maintains a pointer to the parent file for access to unchanged data. II Exadata snapshots : +SPARSE diskgroups Snapshot Clones op Exadata : griddisks vereist van type +SPARSE, met een physieke een virtuele grootte. Exadata ¼ Rack 12 cell disken per cell server (8 TB) 15

16 II Exadata snapshots : +SPARSE diskgroups ASM: +DBFS +DATA +RECO Intern backup: RECO = 60%, DATA = 40 % Extern backup: RECO = 20%, DATA = 80 % Aanpassing voor project vereist: 1 Geen GRID Disks van type +SPARSE 2 Geen onderlinge uitwisselbaarheid tussen +DATA en +RECO II Exadata snapshots : +SPARSE diskgroups ASM: +DBFS +DATA +SPARSE +RECO Voordeel 1: SPARSE Disks aangemaakt met fysieke en virtuele grootte Voordeel 2: onderlinge uitwisselbaarheid grid disks Werkinstructie opgesteld en doorgevoerd 16

17 II Exadata snapshots : +SPARSE diskgroups Stap 1: ASM Diskgroups verwijderen SQL> drop diskgroup DATAC1; SQL> drop diskgroup RECOC1; Stap 2: Grid Disks verwijderen cellcli> drop griddisk DATAC1_CD_01_EXA01_CELL01 Stap 3: Grid Disks opnieuw aanmaken cellcli> create griddisk ora001_cd_00_exa01_cell01 CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G cellcli> create griddisk ora004_cd_00_exa01_cell01 CELLDISK=CD_00_EXA01_CELL01, SIZE=461,4374G, virtualsize=20000g II Exadata snapshots : +SPARSE diskgroups _EXA01_CEL01 detail EXA01_CEL01 EXA01_CEL01 17

18 II Exadata snapshots : +SPARSE diskgroups Stap 4: ASM Diskgroups opnieuw aanmaken SQL> create diskgroup exa01_sparse normal redundancy disk 'o/*/ora004_cd_0[0-3]_exa01_cell01', 'o/*/ora004_cd_0[0-3]_exa01_cell02', 'o/*/ora004_cd_0[0-3]_exa01_cell03' ATTRIBUTE 'au_size'='4m', 'compatible.asm'=' ', 'compatible.rdbms'=' ', 'cell.smart_scan_capable'='true', 'content.type'='data', 'cell.sparse_dg'='allsparse'; II Exadata snapshots : +SPARSE diskgroups 18

19 II Exadata snapshots : create snapshot Basis: READ-ONLY geopende database (MASTER).. Overview. in geval dataguard The Situation => log apply moet uitstaan Experience Multitenant Configuratie: SQL> create pluggable database PROD_SNAP from PROD create_file_dest='+exa01_sparse' snapshot copy; Klassieke Configuratie: Oracle Exadata Storage Server Software User's Guide, hoofdstuk 12, setting up Oracle Exadata Storage Snapshots Projekt : werkinstructie Clone DB II Exadata snapshots : create snapshot Overview The Situation Experience 19

20 II Exadata snapshots : create snapshot cyclus Overview The Situation Experience NOLOGGING Batch operations primary + Refresh Standby III 12c Dataguard: Recover from Service Probleem: tijdens maandelijkse laadjobs database in NOLOGGING.. Overview. niet compatible The met Situation dataguard configuratie Experience 20

21 III 12c Dataguard: Recover from Service Oplossing: Overview The Situation Experience Voorafgaand aan maandelijkse batchjob : dataguard log shipping & log apply uitzetten force logging primary database uitschakelen Maandelijkse batchjob draaien Na P 15 afloop TB van de maandelijkse batchjob: Primary database: force logging weer inschakelen Standby database weer bijwerken m.b.v. 12c Recover from service dataguard log shipping & log apply weer aanzetten Na afloop van maandelijkse batchjob dataguard log shipping & log apply weer activeren m.b.v. 12c New Feature Refresh from Service III 12c Dataguard: Recover from Service 1 Overview The Situation Experience Primary Standby 2 P Primary 15 TB Standby 3 4 Primary Standby snap clone snap clone snap clone 21

22 III 12c Dataguard: Recover from Service Dataguard Log shipping & Log Apply uitzetten Overview The Situation Experience DGMGRL> edit database PROD set property logshipping=off; Property "logshipping" updated DGMGRL> edit database PROD set state=apply-off; Succeeded Database Force Logging uitzetten SQL> alter database no force logging; III 12c Dataguard: Recover from Service Recover Database from Service Overview The Situation Experience Uitvoeren op de Standby database Maakt een incrementele backup van alle wijzigingen in de primary database t.o.v. de SCN van de standby data file header Verplaatst de backup over het netwerk (SQL*Net) naar de standby DB Speelt de incrementele backup in de standby database. 22

23 III 12c Dataguard: Recover from Service Overview The Situation Experience III 12c Dataguard: Recover from Service Controlfile Standby DB bevat nog oude SCN waardes en moet ook ververst worden. Overview The Situation Experience procedure voor hernoemen datafiles in controlfile => werkinstructie 23

24 IV Exadata Migration Diverse Migratie Methoden Exadata: Dataguard Golden Gate Datapump (Incrementally Updated) Transportable Tablespaces Proprietary tooling Overview The Situation Experience Keuze van migratie methode afhankelijk van diverse methodes: P beschikbare 15 TB downtime beschikbare licenties beschikbare storage beschikbare migratie infrastructuur etc. IV Exadata Migration... ProprietaryTool: HIPAS Randvoorwaarden bij dit project: Veel NOLOGGING operaties tijdens laadacties Overview The Situation Experience VLDB (kan groeien tot 90 TB, nu nog Informix) Veel objecten zonder PMK/UK Direkt EHCC compressie nodig, anders past het niet (DG, TTS kan dus niet) Database bevat veel BLOBS => gaan heel langzaam in DWH Al veel ervaring in organisatie met proprietary tool Hipas. Kenmerken HiPas offline variant en minimal downtime variant geschreven in SQL & PL/SQL Schema based migratie over database links (INSERT /*+APPEND */) Vanaf doel data halen van de bron (pull gaat sneller dan push) 24

25 IV Exadata Migration... ProprietaryTool: HIPAS USER HIPAS installeren in beide DB's. Data Overview worden via The database Situation link overgehaald, PULL source DB vanaf Experience target DB Gepartitioneerde objecten per (sub)partitie Overige objecten in gelijke chunks versie & platform onafhankelijk Allerlei aanpassingen in target DB mogelijk tijdens migratie (remap table/schema, character set aanpassing, selecties van tabellen en data, EHCC, etc.) Snelheid (dedicated 10 Gb lijn) : 700 MB / seconde 25