1. Windows 2008 R2 Failover Cluster Mimarisi ve Sorun Çözümleme Hakan YÜKSEL hakan.yuksel@turkiyefinans.com.tr http://yukselis.wordpress.com

3. Cluster Mimarisi ve Kavramlar

4. Failover Cluster Gereksinimleri ve Kurulum (Demo)

5. Cluster, Server Rollerinin Konfigure Edilmesi (Demo)

6. İyileştirme - Bakım Çalışmaları

7. Multi-Site Cluster (GeoCluster)

9. Cluster Kavramları Node, Active, Passive Virtual IP,Name Group, Resource, Service, Application Split Brain,SCSI Bus Reset,SCSI3 Reservation Quorum, MNS, Arbitration Process HeartBeat, Private, Public Network Cluster Aware Software Failover, Failback,Dependency SAN Kavramlar HBA, LUN,Multipath,Target,Inıtıator

11. Grup yada grup içerisindeki resourceların fail, offline duruma geçmesi

12. Administrator tarafından manuel yapılan müdahale ile Failover durumu yaşanan durumlarda aşağıdaki kaynaklardan birinde problem olduğu varsayılır; Node,Interface, Group,Resource,Disk

13. Cluster Failover SQL fails overand is available to clients Client PCs Failure Occurs! Node A Node B SQL Heartbeat Passive Node SQL Disk cabinet A Disk cabinet B SCSIReserveBroken New Reservation Established

15. Majority Node Set MNS demokratik bir sistemdir. Quorum da sadece bir oy var ise ve buna sahiplenen cluster a sahiplenebiliyorsa, MNS de çoğunluk clustera sahiplenir. Mesela 5 nodelu cluster da split brain senaryosu yaşanırsa her node toplam kaç node ila haberleşebildiğine bakar. Bir node iki node ile haberleşebiliyorsa, 3 node 5 nodedan çoğunluğu oluşturur ve cluster sahiplenir. Diğer iki node azınlıkta olduklarını anlar ve diğer 3 node un haberleşebildiğini varsayarlar.

16. Windows Server 2008 ile yeni bir Quorum modelimiz de var (Node and Disk Majority), bu sefer Quorum diskin kullanımı biraz farklı oluyor: Quorumu node sayısı ile beraber bir oy hakkı olarak kullanıyoruz..

18. Possible Voters:

19. Nodes (1 each), Disk Witness (1 max), File Share Witness (1 max)

20. 4 Quorum TypesNode majority Node and File Share majority Disk only (not recommended) Node and Disk majority Vote Vote Vote Vote Vote

23. No Majority: Disk Only is not recommended, because of the disk subsystem’s single point of failure

26. Storage: You must use shared storage that is compatible with Windows Server 2008 R2

27. Network adapters and cable (for network communication): The network hardware, like other components in the failover cluster solution, must be marked as "Certified for Windows Server 2008 R2." If you use iSCSI, your network adapters should be dedicated to either network communication or iSCSI, not both

28. Account for administering the cluster: When you first create a cluster or add servers to it, you must be logged on to the domain with an account that has administrator rights and permissions on all servers in that cluster. The account does not need to be a Domain Admins account—it can be a Domain Users account that is in the Administrators group on each clustered server. In addition, if the account is not a Domain Admins account, the account (or the group that the account is a member of) must be delegated Create Computer Objects and Read All Properties permissions in the domain

29. Standart Edition üzerindeki sunucular üzerinde cluster activate edilebilir

30. SCSI-3 Commands

31. Basic GPT and MBR disks supported

32. Multipath IO (MPIO) recommended

34. R2 ile Gelen Validation Özellikleri demo Cluster Configuration List Information (Core Group, Networks, Resources, Storage, Services and Applications) Validate Quorum Configuration Validate Resource Status Validate Service Principal Name Validate Volume Consistency Network List Network Binding Order Validate Multiple Subnet Properties System Configuration Validate Cluster Service & Driver Settings Validate Memory Dump Settings Validate OS Installation Options Replaced Validate Operating Systems Validate System Drive Variable

35. Troubleshooting demo Reviewing cluster events Reviewing hardware events Using the Validate a Configuration Wizard Reviewing storage/SAN events Troubleshooting methodologies for cluster issues, whether in Windows 2003 or Windows 2008, are fairly similar. Most of the typical support issues in the cluster category fall under the following categories: · Cluster Service fails to start. · Cluster resources in a failed state or fail to come online. · Determine root cause of cluster failure. · Initial configuration of the cluster The Win 2003 legacy CLUSTER.LOG text file no longer exists. In Win 2008 the cluster log is handled by the Windows Event Tracing (ETW) process. This is the same logging infrastructure that handles events for other aspects you are already well familiar with, such as the System or Application Event logs you view in Event Viewer. Command Line c:gt;cluster log /gen Powershell C:S> Get-ClusterLog ForceQuorum net start clussvc /forcequorum (or /fq)

36. Cluster Eventları Cluster Events Recent Cluster Events üzerinde son 24 saate ait eventlar görünmektedir. Monitoring Cluster Events Fully featured Failover Cluster Management Packs Cluster logging level Set-ClusterLog –level 3

37. Failover Süreci 2 node birbirine ulaşamadiği durumda quarum diskine erişmeye çalışır bu duruma arbitration process denilir. Clusdisk.sys dosyası nodeların ikisininde disklere erişimin engellemek için yönetimi yapar. MNS mimarisi ile birlikte quarum bilgisi register replikasyonu ile sağlanmaktadır. Bu dosyalara %indowsystem32onfig altından erişilebilinir. Cluster açılması esnasında clusdb dosyasını registryden download edilerek cluster işletimi çalışmaya başlar. Bu konfigürasyon dosyasında hangi disklere erişebileceğinin bilgisi yer almaktadır. 2008 cluster sistemleri register replikasyona dayalı olarak çalışır.

38. Scsi Bus Reset, SCSI3 Persistent Reservarion Split Brain Senaryosu: İki node birbirleri arasındaki network iletişimi kaybetme durumu. Bu durumda Cluster servisi (clusdisk.sys) Challande/Defense protokolu ile SCSI reserver komutları vasıtasıyla önce reset komutu gönderir bundan sonra reserve komutu ile quorum diskini reserve eder online getirir akabinde ownershipliği alarak tüm resourceları online duruma çeker. Windows Server 2008 ile birlikte artık scsi bus resetleri kullanılmıyor. Scsi 3 serial persistent reservation kullanılmaktadır. Scsi bus reset den sadece o disk değil aynı bus üzerindeki bütün diskler etkilenmekte, konfigürasyona bağlı olarak her disk için her node dan bir bus reset gönderilebilmekte bu durumda cluster kendisini online etme süreleri uzamakta ve offline kalabilmekteler bu durumda manuel online çekilmesi gerekebiliyor idi.

39. Failover Cluster Mimari Microsoft Cluster Service (MSCS) sharing nothing modelini kullanır. Bunun anlamı sadece bir server kaynakların sahibi olabilir bunlar disk,virtual server, IP vb.. Classdb file HKLMluster registry hive üzerinden download eder. When the computer is started, the Cluster Disk Driver (Clusdisk.sys) reads the following local registry key to obtain a list of the signatures of the shared disks under cluster management:HKEY_LOCAL_MACHINEYSTEMurrentControlSeterviceslusDiskarameters ignatures Recommandation private only hb public mix olmalı Cluster üzerinde resource groupların doğru çalışıp çalışmadığını kontrol eden resource monitorler mevcuttur. Resource monitor clsusvc altinda çalişan dll lerden oluşmaktadır. 2008 ‘de bunun adi RHS.exe The Resource Hosting Subsystem (RHS) conducts periodic health checks of all cluster resources to ensure they are functioning properly. This is accomplished by executing IsAlive and LooksAliveprocesses which are specific to the type of resource

40. Microsoft Failover Cluster Virtual Adapter Microsoft Cluster ortamlarda “Microsoft Failover Cluster Virtual Adapter” adında bir interface oluşturur, hidden bir interface’dir NetFT (Network Faut Tolerant) dosyasını simüle eder, clusterlar arası iletişimi yürütür, heartbeat için bir redundancy sağlar. Bu interface mevcut interface üzerine bind olur smb’den SAN’e olan trafik bu kart üzerinde utilize edilir. NetFT, ipconfig /All üzerinden görülür kendisine APIPA adresi tahsis (169.254.1.2) eder, bu ip üzerinden aslında data transferi yapılmaz bu IP fiziksel kart üzerine bind olduğunda TM üzerinden utilizasyon görülmektedir.

41. Multi Site Cluster (GeoCluster) Nedir Geographical Cluster’ın kısaltması olan geocluster yada multicluster coğrafik olarak dağıtılmış farklı bölgelerde bulunan sunucuların cluster olarak çalıştırılmasıdır. Kavramsal olarak cluster üyelerinin iki ayrı lokasyonda bulunması durumuna Geo-Clustering ya da Multi Site Clustering adı verilmektedir. Site B Site A 2+ physically separate sites 1+ node at each site Storage at each site with data replication Application moves during a failover SAN SAN

42. Multi-Site Cluster Faydaları Hizmet sürekliliği hedeflenmektedir. Klasik clusterda sunucular tek storage ortamına erişirken geocluster her site üzerinde bibirine senkron replike edilmiş datalara erişirler. Replikasyon tipi senkron “anlık” yada asenkron “gecikmeli” olabilir.Replikasyon Seviyeleri ; Storage bazlı “block-level” Yazilimsal “host based” Senkron yapıda sunucu disk üzerine datayı yazdıktan sonra data anlık olarak 2.site üzerindeki storage üzerinede yazilir, 1.site üzerindeki storage 2.site üzerine datanin yazilmasi akabinde sunucuya yazdim bilgisi gönderir. Protects Against Loss of an Entire Datacenter Power outage, fires, hurricanes, floods, earthquakes, terrorism Automates Failover Reduced downtime Lower complexity of disaster recovery plan Reduces Administrative Overhead Automatically synchronize application and cluster changes Easier to keep consistent than unclustered servers

43. Synchronous Replication Host receives “write complete” response from the storage after the data is successfully written on both storage devices Replication WriteRequest SecondaryStorage WriteComplete Acknowledgement PrimaryStorage

44. File Share Witness Site C 4, 6, 8… nodes + FSW = odd # votes Local failover first (preferred owner) Site failover second (possible owner) AntiAffinityClassNames Faster DNS Updates Register all IPs for a Network Name Shorten client’s DNS record TTL Ensure application tries all IPs WAN Site A Site B Encrypt WAN traffic for security Adjust health checks for latency Configure ‘OR’ dependencies SAN SAN Replicated Storage from vendor Multi-Site Clustering Review

45. Sorular & Teşekkürler Teşekkürler http://yukselis.wordpress.com

46. Cluster Nedir, Niçin Kullanıyoruz Cluster Blog http://blogs.msdn.com/b/clustering/ Technet Failover Cluster http://technet.microsoft.com/en-us/library/cc754482.aspx Configuring Auditing for a Windows Server 2008 Failover Cluster http://blogs.technet.com/b/askcore/archive/2009/01/19/configuring-auditing-for-a-windows-server-2008-failover-cluster.aspx Top Issues for Microsoft Support for Windows 2008 Failover Clusters http://blogs.technet.com/b/askcore/archive/2008/10/13/top-issues-for-microsoft-support-for-windows-2008-failover-clusters.aspx Checklist: Create a Clustered Virtual Machine http://technet.microsoft.com/en-us/library/dd759220.aspx Top Issues for Microsoft Support for Windows 2008 Failover Clusters http://blogs.technet.com/b/askcore/archive/2008/10/13/top-issues-for-microsoft-support-for-windows-2008-failover-clusters.aspx Failover Clusters in Windows Server 2008 R2 http://technet.microsoft.com/en-us/library/ff182338(WS.10).aspx TechEd 2011 demo install step-by-step (Hyper-V, AD, DNS, iSCSI Target, File Server Cluster, SQL Server over SMB2) http://blogs.technet.com/b/josebda/archive/2011/05/19/teched-2011-demo-install-step-by-step-hyper-v-ad-dns-iscsi-target-file-server-cluster-sql-server-over-smb2.aspx