1 EWOUD JOUSTRA ( TUXORA ) ORACLE DBA BASEFARM AGENDA • Basefarm – Oorsprong en groei – Wat doen we • Oracle stack – De diversiteit aan Oracle • Manageability – Standby synchronisatie – Backup – Monitoring – Housekeeping – Rapportage 2 Oorsprong en groei • Bluedome Internet Application Services (IAS), Schiphol-Rijk – Managed Service Provider. – Specialist op het gebied van Managed Hosting en applicatiebeheer. – BlueDome onderhoudt en beheert bedrijfskritische internet applicaties, CMS applicaties en SaaS applicaties gebaseerd op Oracle, Microsoft.Net, Open Source (JBoss, JRUN, Tomcat, etc..) en virtualisatie obv VMware. – Al het beheer vindt plaats op basis van SLA's en 24x7 support. 3 Oorsprong en groei • Bluedome Internet Application Services (IAS), Schiphol-Rijk – Managed Service Provider. – Specialist op het gebied van Managed Hosting en applicatiebeheer. – BlueDome onderhoudt en beheert bedrijfskritische internet applicaties, CMS applicaties en SaaS applicaties gebaseerd op Oracle, Microsoft.Net, Open Source (JBoss, JRUN, Tomcat, etc..) en virtualisatie obv VMware. – Al het beheer vindt plaats op basis van SLA's en 24x7 support. • In oktober 2011 overgenomen door Basefarm uit Noorwegen – Wij leveren complexe managed hosting. Wij zijn applicatiespecialist en zorgen voor maximale interactie tussen de systemen van de klant. – Wij bieden operationele services op diverse niveaus en zijn verantwoordelijk voor oplossingen, passend bij de wensen en behoeften van de klant. – Wij werken nauw samen met onze klanten. Vanuit onze kernwaarde proactiviteit kunnen wij stabiliteit en groei voor onze klanten realiseren. 4 Oorsprong en groei • Bluedome Internet Application Services (IAS), Schiphol-Rijk – Managed Service Provider. – Specialist op het gebied van Managed Hosting en applicatiebeheer. – BlueDome onderhoudt en beheert bedrijfskritische internet applicaties, CMS applicaties en SaaS applicaties gebaseerd op Oracle, Microsoft.Net, Open Source (JBoss, JRUN, Tomcat, etc..) en virtualisatie obv VMware. – Al het beheer vindt plaats op basis van SLA's en 24x7 support. • In oktober 2011 overgenomen door Basefarm uit Noorwegen – Wij leveren complexe managed hosting. Wij zijn applicatiespecialist en zorgen voor maximale interactie tussen de systemen van de klant. – Wij bieden operationele services op diverse niveaus en zijn verantwoordelijk voor oplossingen, passend bij de wensen en behoeften van de klant. – Wij werken nauw samen met onze klanten. Vanuit onze kernwaarde proactiviteit kunnen wij stabiliteit en groei voor onze klanten realiseren. 5 Oorsprong en groei • Bluedome Internet Application Services (IAS), Schiphol-Rijk – Managed Service Provider. – Specialist op het gebied van Managed Hosting en applicatiebeheer. – BlueDome onderhoudt en beheert bedrijfskritische internet applicaties, CMS applicaties en SaaS applicaties gebaseerd op Oracle, Microsoft.Net, Open Source (JBoss, JRUN, Tomcat, etc..) en virtualisatie obv VMware. – Al het beheer vindt plaats op basis van SLA's en 24x7 support. • In oktober 2011 overgenomen door Basefarm uit Noorwegen – Wij leveren complexe managed hosting. Wij zijn applicatiespecialist en zorgen voor maximale interactie tussen de systemen van de klant. – Wij bieden operationele services op diverse niveaus en zijn verantwoordelijk voor oplossingen, passend bij de wensen en behoeften van de klant. – Wij werken nauw samen met onze klanten. Vanuit onze kernwaarde proactiviteit kunnen wij stabiliteit en groei voor onze klanten realiseren. 6 OVERZICHT • Bekende klanten – Gouden Gids – D-reizen – Funda – Schiphol – Radio 538 • Certificering – ISO-270001 – Keurmerken in de ZorgICT zoals ZSP en GBZ (Goed Beheerd Zorgsysteem) – SBS Groep – Via een klant beheren we ook een omgeving voor de Douane – Zorg en Zekerheid 7 De diverse Oracle implementaties • Database versies 9i tot 11g (9.2.0.7, 10.2.0.4, 11.2.0.3) – Enterprise Edition en Standard Edition databases – Single instances (EE/SE) – RAC (EE/SE) – Automatische en handmatige standby synchronisatie • Enterprise manager Grid Control (10.2.0.5 en 12c in dec/jan) • Oracle Application Server, Infrastructure en SSO • APEX ( websites in een 11GB XE database ) • Hardware: Intel based + Virtuals (VMware) • Linux: RedHat Enterprise Server / CentOS 8 De diverse Oracle werkzaamheden • We beheren pro-actief infrastructuur. • Inhoudelijk doen we geen beheer van de applicatie en de data. Wel voeren we applicatieve changes voor de klant door. • We maken een backup en restoren op verzoek. • Performance tuning een grijs gebied. • Consultancy / advies. 9 MANAGEABILITY • De Manageability van alle Oracle componenten is gestandaardiseerd en wordt gestuurd met parameters. • De rapportage over alle Oracle implementaties is volledig dynamisch zodat er op elk tijdstip een actueel overzicht is. • Monitoring is doeltreffend met onder andere enkele open source tools. 10 • Ambitie voor het Oracle DBA deelgebied – Werk van de DBA zo veel mogelijk standaardiseren en automatiseren. – Logging die aanreikt wat er niet goed is, maar nog net niet zelf oplost. – Laat Oracle software zoveel mogelijk het werk doen. – Nieuwe Oracle omgevingen zeer snel operationeel. – Documentatie permanent actueel. MANAGEABILITY – UITGELICHT • Bijzondere oplossingen • Inzet software • Standby synchronisatie • Backup • Monitoring • Housekeeping • Rapportage 11 MANAGEABILITY – BIJZONDERE OPLOSSINGEN • Klant gebruikt TOAD op de productie database – Kunnen we dit goed vinden? – Hoe hebben we dit technisch mogelijk gemaakt? V-Lan voor SQL*Net verkeer over poort 1526 • Vlak voor de full backup verwijderen we archives – Wat ? Waarom ? Waar is dat goed voor ? Database 558GB Full compressed RMAN backup 85GB Backup archives 24 uur: 97GB 12 MANAGEABILITY - SOFTWARE • De beheer software – Open source tools voor tape-backup en voor monitoring. – Scripts voor backup, synchronisatie, opschonen, rapportage en monitoring. • Framework – scripts (5x) – backup_db_arch_standby backup_db_arch_standby – check_oracle_components – register_database_items – clean_trace_logfiles – report.cgi 13 Voor het maken van de backups Voor het synchroniseren van Standby database(s) Voor de monitoring op o.a. alert.log / ReportsServers Voor het verzamelen van Oracle database configuraties, CPU / vCPU Voor het opschonen van .trc .log .aud cdmp_ Apache Deze cgi (= ksh script) produceert de rapportage MANAGEABILITY – CODE 14 MANAGEABILITY – CODE $RMAN = $ORACLE_HOME/bin/rman $ORACLE_HOME/bin/rman nocatalog 15 MANAGEABILITY – CODE 16 MANAGEABILITY – STANDBY SYNCHRONISATIE • De gekozen architectuur • RMAN backup in drie stappen (database/archives) • RMAN verwijdert archives als ze zijn applied, niet eerder! • Opschonen van applied archives op de standby server • Meerdere Standby databases 17 MANAGEABILITY – STANDBY SYNCHRONISATIE • De gekozen architectuur 18 Standaard RMAN Backup optimalisation MANAGEABILITY - STANDBY SYNCHRONISATIE 19 MANAGEABILITY - STANDBY SYNCHRONISATIE 20 MANAGEABILITY - BACKUP • • • • PRE-backup steps – Validatie aan de standaarden – Verificatie vorige backups BACKUP steps – Full, incremental, archivelog en cold backup – Bij archiving is RMAN bekend met eventuele Standby database(s) – Default compressie van de RMAN backupsets – Backup van oratab, orapw, [standby] controlfile, init.ora / spfile POST-backup steps – Voorgaande backup opschonen – Optioneel achteraf compressie Report – Database naam, instance name (ORACLE_SID), hostname, startup time, dbid, EE/SE, version, primary/standby database, single/RAC database – Size backupsets, Duration van een task / backup / synchronisatie 21 MANAGEABILITY - BACKUP • PRE-backup steps – • • • Validatie aan de standaarden Controle vooraf - $HOME/log – Verificatie vorige backups - ORACLE_SID in ORATAB - Login.sql BACKUP steps - Database state = Mount/Open – Full, incremental, archivelog en cold backup - Configuratie - Backup DIR – Bij archiving is RMAN bekend met eventuele Standby database(s) - RMAN catalog UN/PW – Default compressie van de RMAN backupsets - Access RMAN catalog – Backup van oratab, orapw, [standby] controlfile, init.ora / spfile- SYSDBA user voor sync - Database in archivelog POST-backup steps - Primary en standby horen bij elkaar (DBNAME en DBID) – Voorgaande backup opschonen - RDBMS version vs. – Optioneel achteraf compressie parameter compatible - Timed_statistics = true Report - Controlfile autobackup - startup Backuptime, optimization – Database naam, instance name (ORACLE_SID), hostname, dbid, EE/SE, version, primary/standby database, single/RAC database policy in days - Retention - Block Change Tracking – Size backupsets, Duration van een task / backup / synchronisatie ( bij EE / incremental level 1 ) 22 MANAGEABILITY - BACKUP • • • • PRE-backup steps – Validatie aan de standaarden – Verificatie vorige backups BACKUP steps Controle vooraf - Komt RMAN metadata overeen met databases files op disk ? - Catalogiseren alle gevonden backupsets - (Optioneel) Metadata opschonen – Full, incremental, archivelog en cold backup – Bij archiving is RMAN bekend met eventuele Standby database(s) – Default compressie van de RMAN backupsets – Backup van oratab, orapw, [standby] controlfile, init.ora / spfile POST-backup steps – Voorgaande backup opschonen – Optioneel achteraf compressie Report – Database naam, instance name (ORACLE_SID), hostname, startup time, dbid, EE/SE, version, primary/standby database, single/RAC database – Size backupsets, Duration van een task / backup / synchronisatie 23 MANAGEABILITY - BACKUP • • • • PRE-backup steps – Validatie aan de standaarden – Verificatie vorige backups Cold backup geen FUZZY database datafiles BACKUP steps – Full, incremental, archivelog en cold backup – Bij archiving is RMAN bekend met eventuele Standby database(s) – Default compressie van de RMAN backupsets – Backup van oratab, orapw, [standby] controlfile, init.ora / spfile POST-backup steps – Voorgaande backup opschonen – Optioneel achteraf compressie Report – Database naam, instance name (ORACLE_SID), hostname, startup time, dbid, EE/SE, version, primary/standby database, single/RAC database – Size backupsets, Duration van een task / backup / synchronisatie 24 MANAGEABILITY - BACKUP 25 MANAGEABILITY – SHARED BACKUP 26 MANAGEABILITY – SHARED BACKUP 27 MANAGEABILITY – SHARED BACKUP 28 MANAGEABILITY – SHARED BACKUP 29 MANAGEABILITY - MONITORING 30 MANAGEABILITY - MONITORING • Beschikbaarheid Oracle componenten – Inloggen => Access database instance + TNS/Scan listener. – Access Apache. Availability ReportsServers. • Oracle storage gebruik – ASM diskgroup gebruik, thresholds. – Database tablespace gebruik (ook autoextend), thresholds. • Monitoring van standby database synchronisatie – Loopt de standby database niet te veel achter. • Monitoring op alert.log – Sinds begin vorig heel uur de ORA- meldingen. 31 MANAGEABILITY - HOUSEKEEPING • Opschonen trace- en logfiles – .trc .trm .aud .log cdmp_..... • De uitwerking – Dynamisch over alle Oracle componenten – Vooraf controle niet in gebruik – Rotatie per dag – Rotatie van alert.log vanaf startup – Verslaglegging via de rapportage 32 MANAGEABILITY - RAPPORTAGE 33 MANAGEABILITY - SECURITY This Page Intentionally Left Blank 34 VRAGEN EN OPMERKINGEN 35