ABD’de Yerleşik Bir Aracı Kurumun Risk Hesaplama Aracı için Yatay Ölçekleme
Örnek çalışma

ABD’de Yerleşik Bir Aracı Kurumun Risk Hesaplama Aracı için Yatay Ölçekleme

Müşteri Hakkında

ABD’de yerleşik bir aracı kurum olan müşteri, 90’lı yıllarda piyasaya sürülmüş olan, kendisine ait bir platform üzerinden finansal varlıkların alım-satımını yaptırmaktadır. Söz konusu finansal varlıklar arasında hisse senetleri, imtiyazlı hisse senetleri, vadeli işlem kontratları, BYF’ler, foreks, opsiyonlar, kriptopara, yatırım fonları ve sabit getirili menkul kıymetler yer almakta, aracı kurum ayrıca kredili alım-satım ve nakit yönetim hizmetleri de sunmaktadır. Şirketin müşteri sayısı 11 milyon olup, bu müşterilerin varlıkları 1 trilyon Dolara ulaşmaktadır. Alım-satım platformundan her gün 500.000’den fazla işlem geçmektedir.

Sorun

Şirketin artık eskimiş olan risk hesaplama aracında işlem gören hesap adedi düzenli ve logaritmik olarak artmaktaydı. Üstelik, başka bir şirket ile yeni gerçekleşen birleşmeden dolayı, hesap sayısının ikiye katlanması beklenmekteydi.

Risk hesaplama aracı neredeyse azami kapasitede çalışmakta iken, müşteri dikey ölçekleme yönünde tüm bilişim kaynaklarını tüketmiş durumdaydı. Böylece, tahsis edilen çok büyük bellek blokları (her bir Java süreci başına yüzlerce gigabayt), performans sorunlarına yol açmıştı.

Mevcut durumun tüm yönleri dikkate alındığında, sistem performansını artıracak ve risk hesaplama süresini iki dakikadan 15 saniyeye indirecek bir çözüme ihtiyaç duyulmaktaydı. Risk hesaplama süresi, bir hesabın risk hesaplama kuyruğuna girdiği an ve operasyonun sonuçlandığı an arasındaki süre olarak dikkate alınmaktadır.

Çözüm

Devexperts daha önce de bu müşteri ile çalıştığı için, sistem özellikleri bilinmekteydi: sürekli artan hesap adedi, ve bununla ilişkili olarak yavaşlayan performans. Söz konusu performans ve gecikme sorunlarının çözülmesine yönelik olarak yapılacak teknoloji ve algoritma araştırmalarında, müşteri mümkün olduğunca geniş perspektiften bakılmasını istemiştir.

Müşteri, sistem görevlerini onlarca ana makine arasında bölüştürmekteydi. Bu konu derinlemesine araştırıldıktan sonra, bellek içi data grid çözümünün Apache Ignite kullanılarak yeniden yapılandırılmasına ve güncellemenin eski sisteme uygulanmasına karar verilmiştir. Bu çözüm sayesinde, müşteri ana makine adedini ciddi oranda artırarak performansta artış ve gecikme sürelerinde azalma sağlayabilecekti.

Bellek içi data grid çözümü, birbirine bağlı sistem görevlerinin yerine getirilmesi için yüzlerce ana makineyi birleştirebilmektedir. Geliştirilen çözüm içinde, hesapların risk hesaplamaları yapılırken bu birleştirme işe yaramaktadır. Bu çözüm ile, müşteri sistem görevlerini ana makineler arasında yeknesak ve verimli bir şekilde dağıtabilecek, ardından sisteme hesaplama talebi iletebilecektir. Bu talep iletme sürecine “map-reduce” adı verilmektedir. Burada müşteri Apache Ignite API’sini kullanarak sisteme hesaplama talebi iletmekte, bu talepler de ana makinelerden oluşan büyük bir ağa iletilmektedir. Ana makinelerin her biri, kullanıcı talep parametreleri içinden kendisine düşen kısmını yanıtlayacaktır.

Bu çözümün devreye alınması, müşteriye artık çok daha fazla hesap işleyebilme olanağı vermiş, yatay ölçekleme yönünde uzun vadeli fırsatlar sunmuştur.

Bellek içi data grid çözümünü önerdiğimiz zaman, bunun bu sorun özelinde anahtar teslim, veya kesin çözüm olmadığını biliyorduk. Çözümün müşterinin ihtiyaçlarını ve amaçlarını karşılayabilmesi için, çok gayret sarf edilmiştir. Devexperts uzmanları, bellek içi data grid çözümünün ince ayarlarının yapılmasını, ayrıca hesaplama algoritmasının ve hesapların yeni risk hesaplama aracına aktarılmasını sağlamıştır.

Uygulamadan önce ve sonra: performans parametreleri ve donanım gereksinimleri

Eski risk hesaplama aracıYeni risk hesaplama aracı
Donanım8 adet büyük sunucu, her biri 48 CPU çekirdekli, her bir sunucuya yüzlerce gigabayt’lık öbek atanmış40 adet genel amaca yönelik sunucu, her biri 16 CPU çekirdekli, toplamda 80 adet grid node’u, her bir node başına 48Gb öbek
Hesap Adedi2M5M
Gecikme2 dakika1-2 saniye
Çöp toplama duraklamasıZamanın %15-25’iZamanın %2-3’ü
Ort. CPU kullanımı (ya da, verimlilik)%30-40%90-95
Dinamik, yatay ölçeklemexv
Hata toleransıxv

Sonuçlar

Müşterinin eski sistemi sadece onlarca ana makineyi desteklerken, bellek içi data grid çözümü yüzlerce adedi desteklemektedir. Öncelikle, müşterinin hesap ve algoritma verileri korunmuştur.

Nihayetinde, yaptığımız çalışmalar sayesinde her bir ana makineye tahsis edilen öbek bellek ve hesap adedi azalmıştır. Bu şekilde, hesaplamalar çok daha hızlı bir şekilde sonuçlandırılabilmiştir. Ana makine başına düşen hesap sayısı azaldıkça, sistemin veri işleme süreci kısalmaktadır. İlk durumda müşterinin gecikme süresi 2 dakika iken, bunun 15 saniyeden az olmasını istemişlerdi. Hem bellek içi data grid çözümü, hem de kapsamlı ve destekleyici araştırma ve sistem geliştirme çalışmasını takiben, 1-2 saniyelik gecikme süresi elde edilmiştir.

Müşterinin sistemi artık on milyonlarca hesabın verisini işlemektedir.

İş Geliştirme Çalışmalarınızda Size Yardım Edelim

Bir telekonferans veya toplantı ay
İletişim