III Specifieke Exadata Features

Oracle
Exadata
Migraties
17-11-2011
| 17-11-2011 | Author
Region | Sector | Division | Department
Even voorstellen . . . .
•
•
•
•
Rob Lasonder.
Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC)
Werk met Oracle vanaf versie 6
Werk met Exadata vanaf versie V2.
OCP 8.0 t/m 11g
OCE Exadata en RAC 11g
Email:
[email protected]
3 artikelen Exadata migratie project:
http://www.rob.lasonder.org/index.php/my-publications/
17-11-2011
0 ATOS GECC Global Exa”data” Competence Center . . .
17-11-2011
0 Inhoudsopgave
▶ I Intro: interne use Case Exadata
▶ II Positionering Exadata
▶ III Specifieke Exadata features
▶ IV Motivatie voor Exadata & licenties
▶ Pauze. . .
▶ V Migraties naar Exadata
– A Motivatie
– B Voorbereiding en aandachtspunten
– C Use Case 1: VLDB DWH migratie
17-11-2011
– D Use Case 2: DB Consolidatie
– (E Use Case 3: VLDB DB migratie/consolidatie)
– F Lessons Learned
ONDERDEEL 1 : INTERNE USE CASE
17-11-2011
I Interne casus Exadata
cell_offload_processing = false;
Complex Query
on conventional
ticketing System
17-11-2011
E
E
e
ONDERDEEL II POSITIONERING EXADATA
17-11-2011
II Positonering Exadata: Wat is Exadata?
▶
▶
▶
▶
▶
Engineered system
Geoptimaliseerd voor databases => database applicance.
Oracle 11gR2 RAC (multi- instances)
Oracle Enterprise Linux
Inclusief storage
17-11-2011
II Positionering Exadata: Engineered systems . . . .
17-11-2011
II Positionering Exadata: Engineered systems . . . .
17-11-2011
II Positionering Exadata: Engineered systems . . . .
D
d
17-11-2011
II Positionering Exadata: Engineered systems . . . .
D
d
17-11-2011
II Positonering Exadata: Oracle “Applicances/Engineered Systems”
17-11-2011
II Positonering Exadata: Oracle applicance portfolio
17-11-2011
II Positonering Exadata : Cloud Computing
Cloud Computing: on demand network access to a shared pool of
configurable and scalable computing resources or shared services.
Voordelen:
• Verminderde kosten
• Verminderde complexiteit
• Hogere Quality of Service
• Grotere flexibiliteit
• Schaalbaarheid (elastic cloud)
Cloud Computing Service models:
• SaaS (software as a service)
17-11-2011
• PaaS (platform as a service)
• IaaS (Infrastructure as a service
II Positonering Exadata : Cloud Computing
▶ Public versus Private Clouds
▶ Problemen bij public clouds:
– Availability & performance SLA
– Data Security
– Licenties
– Grote klanten vaak meer dan voldoende voor private clouds
– Oracle bouwstenen (1/8 rack X3) gesized voor kleinere accounts
▶ Exadata met name ingezet bij private clouds
– Wel enabelen interne doorbelasting (OEM12c/maatwerk)
17-11-2011
II Exadata “Appliance”
▶ Voorgeconfigureerde database machine. Voorzien van hardware, software en
storage. Speciale software op storage niveau.
▶ Schaalbaar. Van 1/8 (X3) Exadata tot 8 Full Exadata Machines.
17-11-2011
II Exadata ontwikkeling I
D
D
d
17-11-2011
II Exadata ontwikkeling II
D
Exadata ontwikkeling:
D
d • Hardware (meer memory, flash, storage, cpu)
• Software (uitbreiding mogelijkheden)
• Beheer (patching, monitoring, deployment. OEM12c)
D
D
17-11-2011
ONDERDEEL III SPECIFIEKE EXADATA FEATURES
D
D
d
D
D
17-11-2011
III Specifieke Exadata Features
Nieuw systeem: nieuwe snelle hardware, storage, flash kaarten, infiniband netwerk
• SAS/SATA disken leveren hoge throughput
• Infiniband levert 40 Gb/sec netwerk snelheid
• Systeem schaalbaar, uitermate geschikt voor parallelisatie
Maar . . . . nog geen Exadata
17-11-2011
III Specifieke Exadata Features: Smart Scans 1
Smart Scan: Een query die deels wordt uitgevoerd op de storage server.
3 optimizations:
• Column projection
• Predicate filtering
• Storage indexes
17-11-2011
III Specifieke Exadata Features: Smart Scans 2
Een Smart Scan vindt plaats onder:
• Bepaalde operaties: Full Table Scans and Fast Full Index Scans.
• Bepaalde condities: Direct path reads
• Bypass buffer cache, oracle blokken in PGA i.p.v. SGA
• Bij Full Table Scans, Sorts, Parallelle queries
• See MOS Notes 793845.1 and 50415.1 for more info on Direct Path Reads
17-11-2011
III Specifieke Exadata Features: Smart Scans 3
Omstandigheden kunnen een smart scan verhinderen:
• Chained or migrated rows
• Bepaalde functies
select name, offloadable from v$sql_metadata order by name;
• “Kleine” tabellen (“_small_table_threshold)
• Hints
17-11-2011
III Demo omgeving
17-11-2011
III DEMO SMART SCAN
17-11-2011
III Specifieke Exadata Features: Smart Flash Cache 1
• Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache
• Flash cache kan ook als flash disk geconfigureerd worden.
• Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken)
• Smart Flash cache:
• Alleen random I/O wordt gecached. Zowel data- als index blokken
• I/O mirrors, backup operaties, datapump operaties niet gecached.
• Tabellen kunnen gepinned worden in cache => alter table item_sale_big
storage (cell_flash_cache keep);
• Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads
&writes)
In X3 een aantal uitbreidingen Smart Flash Cache
• 17-11-2011
X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache
• Smart Flash Write Cache. Caching van write I/O, persistent
• Flash Card failures opgelost binnen +ASM software (transparant)
• In-memory database
III Specifieke Exadata Features: Smart Flash Cache 2
•Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache
•Flash cache kan ook als flash disk geconfigureerd worden.
•Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken)
•Smart Flash cache:
•Alleen random I/O wordt gecached. Zowel data- als index blokken
•I/O mirrors, backup operaties, datapump operaties niet gecached.
•Tabellen kunnen gepinned worden in cache => alter table item_sale_big
storage (cell_flash_cache keep);
•Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file
reads &writes)
In X3 een aantal uitbreidingen Smart Flash Cache
•X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache
•Smart
Flash Write Cache. Caching van write I/O, persistent
17-11-2011
•Flash Card failures opgelost binnen +ASM software (transparant)
•In-memory database
III Specifieke Exadata Features: Smart Flash Cache 3
• Smart Flash Cache versus Database Buffer Cache
• Smart Flash Cache versus Database Flash Cache (DBFC)
17-11-2011
17-11-2011
30
III Specifieke Exadata Features: Storage Indexes 1
•
•
•
•
Van elke 1 MB “chunk” per storage server record MIN,MAX,NULL values
Volledig transparant, tot 8 kolommen
Doel: eliminatie disk I/O. Geen traditionele index: “False Positives”
Alleen bij smart scans, query met where clause
Lijkt op partition pruning
A simple comparison operator ( =, < , > , BETWEEN,
IS NULL
restricties: Column encryption, LOBs, CLOBs,Not
equals (!=) operators, Wildcards, Where clauses
which uses subqueries, Clustered tables
NIET PERSISTENT => grilligheid performance
> 8 kolommen => grilligheid performance
17-11-2011
III Specifieke Exadata Features: EHCC Compression 2
•EHCC: tabellen georganiseerd in compression units (default 32 KB)
•Een compression unit omvat meerdere Oracle blokken
•Per compression unit : groeperen op kolom niveau
17-11-2011
III Specifieke Exadata Features: EHCC Compression 3
Hybrid Columnar Compression werkt bij bulk operaties, zoals:
• Insert statements with the APPEND hint
• Parallel DML
• Direct Path SQL*Loader
• Create Table as Select (CTAS)
Database
Source DB
Target DB
Compressie Factor
DWHP
16.567 GB
5.895 GB
2,8
DWHKDP
12.288 GB
1.093 GB
11,8
17-11-2011
III DEMO EHCC COMPRESSIE 4
17-11-2011
Onderdeel IV : MOTIVATIE VOOR EXADATA
Overview
The Situation
17-11-2011
* Ballpark figure in this stage not guaranteed
Benefits
Experience
IV Motivatie Exadata : More for less
Overview
Overview
The Situation
▶ More CPU power
– 68% more cpu power
▶ More Green-it
– Energy reduction with 40%
– Floor reduction with 33%
▶ More storage available
– 4,4 TB (more expected trough
Exadata compression
▶ More possibilities for the business
Benefits
The Services
Performance
Noncommittal Oracle landscape Exadata CPU power increase potential
0%
Green IT
50%
100%
150%
200%
250%
56%
300%
Noncommittal Oracle landscape Exadata Energy reduction potential
0%
10%
20%
30%
40%
0%
10%
20%
30%
50%
40%
350%
400%
40%
Noncommittal Oracle landscape Exadata Floorspace reduction potential
50%
60%
70%
33%
60%
70%
Ever growing storage demands
Noncommittal Oracle landscape Exadata additional Storage availability
0
▶ Less Costs
– Cost reduction for the
infrastructure with 32%*
• Savings up to 850K Euro per
17-11-2011
year
• Extra savings on Oracle
licenses
– From 288  96 licenses
* Ballpark figure in this stage not guaranteed
Experience
10000
20000
30000
40000
50000
60000
70000
34400 GB
80000
Compression 2x
90000
100000
•Examples:
Changing business demands
•More information out of your data
•More up-to-date information out of your data
•More and better access to your data
Travel agencies
Reservation Systems
Large Retail market
Financial market
Telco market
Cost reduction
Noncommittal Oracle landscape Exadata TCO reduction potential
0%
10%
20%
30%
40%
32%
50%
60%
4 Half Rack 's
70%
IV Motivatie voor Exadata: licenties
“VERPLICHT”
Overview
The Situation
▶ Oracle Exadata Storage Software
▶ Oracle 11gR2 Enterprise Edition
Benefits
OPTIONEEL
▶ Oracle 11gR2 RAC
▶ Oracle Partitioning
▶ Oracle Advanced Compression
▶ Oracle Enterprise Manager Diagnostics & Tuning pack
▶ Oracle Advanced Security
▶ ZFS appliance: replicatie en cloning
▶ OWB licenties : Design/Runtime
▶ ...
▶ ...
17-11-2011
Door dit van te voren goed uit te zoeken kan geld worden bespaard.
Experience
PAUZE
17-11-2011
V-a Migratie Exadata : positionering
Inventarisatie
•
•
•
•
•
•
•
•
•
Memory
CPU
Storage
I/O throughput
Backup
DR
OTA <> P
IP plan
POC
17-11-2011
Bestelling &
Levering
Configuratie
• Pre-delivery
• Oracle ACS setup
survey sheet
• Additional setup:
• On Site Visit
• Monitoring
Oracle
• Backup
• 6 weken levertijd
• DR
• DBFS
Nieuw in X3
Exadata
Deployment
Assistant ipv
excel
Migratie
Consolidatie
• Overgang beheer
• Restpunten
• Plan tijd !!
V-b Aandachtspunten bij inventarisatie
•
•
•
•
•
•
•
•
Denk
Denk
Denk
Denk
Denk
Maak
Denk
Denk
na over de doel architectuur + OTAP/DR indeling
na over de migratie strategie en de migratie architectuur.
na over de impact van de migratie
na over de hoeveelheid storage
na over het beheer & licenties.
afspraken over beschikbaarheid, onderhoudswindows, patching
na over capacity management
na over impact migratie
17-11-2011
H
H
h
V-b Denk na over: referentie architectuur Exadata
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
Migratie strategie : afhankelijk van
• Migratie window.
• Migratie planning.
Migratie window:
Hoe lang mag de database down, hoe groot is de database?
Migratie planning:
Hoe lang loopt het migratie project. (vaak langer lopende projecten die
een semi permanente migratie architectuur vereisen.
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
10 Gb kaarten aanschaffen
Exadata/ Sun ZFS applicance. +
source database servers
5.000 euro Sun ZFS storage
applicance 2 kaarten
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
Alternatieve route: netwerk import
17-11-2011
H
H
h
V-b Denk na over: migratie architectuur en migratie strategie
Migratie methode afhankelijk van omstandigheden
(db omvang / migratie window). KISS
17-11-2011
H
H
h
V-b Denk na over: impact migratie
•
Databases draaien op Oracle Enterprise Linux (little endian)
•
Databases Oracle 11gR2 (obsolete/new features)
•
Multi-instance databases (RAC)
•
Exadata specifieke zaken: EHCC / smart scans
•
Bij consolidatie: VEEL databases in beheer: opzetten standaards
& richtlijnen en borgen configuratie settings.
17-11-2011
H
H
h
V-b Denk na over: impact migratie
ss
17-11-2011
H
H
h
V-b Denk na over: impact migratie Quality Check
ss
17-11-2011
H
H
h
V-b Denk na over: impact migratie Quality Check
ss
17-11-2011
H
H
h
V-b Denk na over : exadata storage
Belangrijke zaken vooraf:
• Redundancy : NORMAL of HIGH
• 50% of 66% “overhead”
•
Backup : Intern (binnen Exadata) of Extern
• FRA: => 40/60 versus 80/20
•
EHCC compressie => kan veel opleveren afhankelijk type data
•
Type disken : SAS High Performance (600 GB) of SATA High
Capacity (3 TB)
17-11-2011
H
H
h
V-b Denk na over: exadata storage
Rekenvoorbeeld: ½ Exadata met SATA High Capacitiy disken en externe backup
7 (storage servers) x 12 (disken) x 3 TB = 252 TB
Redundancy 50 %
- Redundancy
36
TB
Redundancy 50 %
- Uitval 1 server
18
TB
36
TB
Redundancy 50 %
- FRA/Data (20/80) %
18
TB
36
TB
Redundancy 50 %
- Alert threshold (80%)
126 TB
90 TB
72 TB
17-11-2011
58 TB
14
TB
H
H
h
V-b Denk na over: beheer en licenties
Overview
The Situation
Traditioneel beheer (organisatie centraal)
database beheer
systeembeheer
netwerk beheer
storage (SAN) beheer
17-11-2011
backup beheer
Benefits
Experience
V-b Denk na over: beheer en licenties
Overview
The Situation
Exadata beheer (oplossing centraal)
database beheer
DBA 2.0
(http://prutser.wordpress.com
Database Beheer: RAC/+ASM !!
Storage
17-11-2011 Server Beheer
Linux Systeem Beheer
Netwerk Beheer (m.n. inrichting)
Sun ZFS storage appliance
...
Benefits
Experience
CASUS 1: DATAWAREHOUSE MIGRATIE
Overview
The Situation
Benefits
D
Casus: migratie van 40 TB Datawarehouse (6 databases)
d
• van Oracle9i Standalone op Sun Solaris
• naar Oracle Exadata V2
• 1 full rack met SAS
• ½ rack met SATA disken
Separate presentatie
17-11-2011
Experience
CASUS 2: DATABASE CONSOLIDATIE
Overview
The Situation
Benefits
Experience
Casus: Neerzetten van platform voor honderden Ddatabases m.b.v. Exadata.
d
(Teller staat momenteel op 280)
Separate presentatie
17-11-2011
CASUS 3: MIGRATIE ORACLE OHI BO DB - 1
Vooraf
concept.
Overview proof of The
Situation Positief.
17-11-2011
Benefits
Experience
CASUS 3: MIGRATIE ORACLE OHI BO DB - 2
Overview
17-11-2011
The Situation
Benefits
Experience
CASUS 3: MIGRATIE ORACLE OHI BO DB - 2
Overview
The Situation
Benefits
Experience
Werkinstructie nalopen op WIKI, of werkinstructie_import.PDF
17-11-2011
CASUS 3: Lessons learned 1
Overview
The Situation
Benefits
Experience
De meeste issues deden zich voor op grensvlak applicatie & database. Houd
een bevindingen administratie bij en bestuur dit projectmatig.
17-11-2011
CASUS 3: Lessons learned 2
Overview
The Situation
Bevindingen administratie in Issue Tracker
Dd
dd
17-11-2011
Benefits
Experience
CASUS 3: Lessons learned 3
Overview
The Situation
Bekijk de import log file, registreer bevindingen
Dd
dd
17-11-2011
Benefits
Experience
CASUS 3: Lessons learned 4
Overview
The Situation
Benefits
Experience
Vergelijk de target en de source database, liefst geautomatiseerd
Dd
dd
17-11-2011
CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 1
Overview
The Situation
Query 1: index sequential read
Benefits
Experience
Deze query bestaat uit het tellen van de rijen door het doorlopen van een index van
een tabel met bijna 6 miljard rijen. Hiermee wordt een beeld gegeven van de
17-11-2011
snelheid waarmee het systeem een grote index kan doorlopen.
Exadata voert deze query ruim 5 sneller uit dan AIX. Bij parallelle verwerking is dat
zelfs ruim 12 keer.
CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2
Overview
Query 2:
The Situation
Benefits
Experience
Deze query selecteert uit vijf grotere tabellen de financiële en
declaratiegegevens van een bepaald merk over een bepaald merk. Het is
17-11-2011
een lastige query vanwege de grootte van de tabellen.
CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 3
Overview
The Situation
Batchprogramma 1 2 financiele batches.
Benefits
Noot: parallelisme staat uit. Tevens niet elke batch
geschikt voor multi instance
17-11-2011
Experience
CASUS 3: MIGRATIE ORACLE OHI BO RESULTATEN 2
Overview
The Situation
Batchprogramma 2:
Benefits
Experience
Deze query selecteert uit vijf grotere tabellen de financiële en
declaratiegegevens van een bepaald merk over een bepaald merk. Het is
17-11-2011
een lastige query vanwege de grootte van de tabellen.
V-e Lessons Learned : backup & recovery
Overview
The Situation
Benefits
Experience
▶ Op Exadata andere doorlooptijden. Als voorbeeld backup & recovery
▶ Type backup: incrementally updated copy. (eenmalig L0 backup, aansluitend
alleen incrementals). Backup naar Sun ZFS storage appliance.
▶ Backup & Restore tijden: DB 6,5 TB. Totale restore in ongeveer 6 uur.
– L0 backup: 6 uur
– L1 backup (differential): 0 – 1 uur.
– Recovery: 6 uur
• 2,5 uur restore (6,5 TB in 2,5 uur = 2,4 TB per uur)
• 2,5 uur recovery (backup loopt 14 dagen achter)
• 1 uur overhead
17-11-2011
V-e Lessons Learned : backup & recovery
Overview
17-11-2011
The Situation
Benefits
Experience
V-e Lessons Learned : capaciteits management: Databases/Instances
Overview
eee
17-11-2011
The Situation
Benefits
Experience
V-e Lessons Learned : capaciteits management MEMORY
Overview
The Situation
Benefits
Experience
Eeee
eeeee
17-11-2011
V-e Lessons Learned : capaciteits management CPU
Overview
The Situation
Benefits
Experience
Ee
E
e
17-11-2011
Eeee
eeeee
V-e Lessons Learned : capaciteits management storage
Overview
The Situation
Benefits
Experience
Ee
E
e
17-11-2011
Eeee
eeeee
17-11-2011