Monthly Archives: September 2022

Desain Super server

FAQ
q: Apa itu IBM AC922?
a: IBM AC922 menggunakan prosessor 22 core, dan bisa diinstall menjadi 2 processor 44 core. IBM AC922 juga diperlengkapi dengan 4 GPU NVIDIA V100. Bandwidth CPU dengan GPU adalah coherence dan 300GBps atau NVLINK-2 sehingga akan sangat cepat jika operasi komputasinya menggunakan CPU-GPU daripada GPU only

IBM AC922 bisa diinstal maksimal 2 TB RAM, dan diperlengkapi 6 slot NVLINK/Opencapi, dan 4 PCIE gen4 yg terdiri dari

1. x16 support capi
2. x16 support capi
3. x8x8 support capi
4. x4

q: apa itu capi/opencapi?
a: capi atau opencapi adalah teknologi yg dikembangkan oleh IBM. Capi/opencapi adalah cache coherency thd cpu dan device, capi menggunakan PCIE4 sedangkan Opencapi menggunakan slot tersendiri dng bandwidth 22Gbps, lebih besar daripada PCIE generasi4

Dari simulasi test, opencapi/capi bisa up to 10x improvement

Fighting for the ‘Cool Kids’: OpenCAPI Takes on PCIe, Vows 10X Improvement

CAPI, Opencapi merupakan cache coherency dng low ultra latency terbaik misal jika dibanding cache coherency-nya intel cxl versi 2.0

q: Apa itu SUSE?
a: Suse adalah Linux yg berbayar, kelebihan Suse adalah selalu update dan cepat membenahi jika ada bug. Selain itu penggunaannya paling mudah

q: apa itu deduplication?
a: deduplication adalah teknik reducing data baik di level storage ataupun RAM. Deduplication akan membuang file yg identik, menjadikannya 1 sehingga sangat efisien. Rata rata deduplication ratio adalah 2-5x, tergantung jenis datanya. Untuk storage, Baliooo menggunakan deduplication di level File System ZFS

q: apa itu compression?
a: compression adalah teknik reduce data secara internal, atau didalam suatu file. Saat ini kompression dengan ratio terbaik adalah XZ,BZIP2, dan ZSTD. Rata rata 3 kompression diatas adalah 6x. Namun didalam wan accelerator, cache, vm, web server, dlsb, decompression yg lebih banyak digunakan. Dalam hal ini decompression zstd yang masih terbaik setelah LZ4. LZ4 merupakan compression tercepat, dan dekompresion tercepat, namun ratio kompresinya kecil, sekitar 2x. LZ4 ini juga bisa mendeteksi apakah suatu file harus dikompres atau tidak,kalau hasilnya tidak signifikan maka LZ4 tidak akan mengkompresi

q: apa itu KSM?
a: KSM adalah Linux Kernel Same Merging, KSM mendeduplikasi RAM, dan juga melakukan page sharing, sehingga akan sangat hemat memory atau ram, apalagi jika digabungkan dng ram compression

q: apa itu ZSWAP?
a: Zswap adalah module kernel linux untuk swapping ram ke storage dan juga dikompresi. Zswap bisa menggunakan ZSTD kompression algoritma, sehingga bisa menggelumbangkan RAM up to 6x

q: apa zfs?
a: zfs adalah file system yg menggunakan checksum data sehingga menjaga data integrity termasuk thd silence corruption. ZFS punya banyak features all in one. Berikut beberapa feature zfs:

1. Copy on write
2. deduplication
3. kompression
4. Cache level
– arc adalah cache zfs yg dilakukan di level ram, sehingga sangat cepat. ARC menggunakan algoritma LRU dan MFU. ARC juga menyimpan metadata, ratio hit di arc rata rata 95%
– l2arc adalah cache yg menggunakan ssd tercepat. L2ARC menampung data yg di arc sudah penuh, maka data akan dipindah ke L2arc

5. Checksum data
Checksum data adalah mekanisme menjaga data integrity

q: apa itu GPU?
a: GPU adalah device dng ribuan core berkecepatan relatif rendah daripada cpu. Namun GPU ini akan sangat cepat jika memprossesing parallel data. Klaim dari Nvidia, GPU Nvidia V100 32GB setara 100 cpu

Saat ini, GPU lebih mudah diintegrasikan dengan Linux setelah Nvidia merilis driver.
https://github.com/NVIDIA/open-gpu-kernel-modules. Saat ini gpu bisa digunakan sebagai prossesor general purpose misal dng gpgpu, namun tetap membutuhkan keberadaan cpu. GPU tidak bisa digunakan tanpa cpu.

GPU bisa digunakan sebagai pembantu prossesor, dan hampir di setiap aplikasi bisa running lebih baik daripada cpu tapi tidak optimal

misal gpu digunakan untuk routing, deduplication, dlsb, gpu bisa lebih cepat hanya rata rata 1.6x, namun jika digunakan untuk compression, enkripsi, database dlsb, gpu bisa lebih cepat sekitar 20x

q: Bagaimana rancangan design server?
a: Server menggunakan superkomputer IBM AC922, RAM 2 TB, diperlengkapi dng 4 gpu nvidia v100. Server host menjalankan KSM dan zswap, agar memory bisa menggelembung sampai sekitar 12x. Penggelembungan ini sangat compute intensive, diproses oleh gpu, dan tentu saja ada overhead

Server juga diperlengkapi dng FPGA Bittware 250 SOC, yg akan menggunakan intel optane sebagai swap memory

https://www.bittware.com/fpga/250-soc/

Bittware 250-soc mempunyai module storage array plus ethernet, sehingga bisa mereduksi io ke cpu

Sedangkan L2ARC menggunakan https://www.bittware.com/fpga/250s/

Storage menggunakan sata ssd ataupun hdd array usb 3.0

q: apa itu OpenVZ
a: OpenVZ adalah virtualisasi level container, openvz menggunakan single kernel sharing. OpenVZ yg commercial adalah Virtuozzo

https://www.virtuozzo.com/

Container merupakan virtualisasi paling sedikit overhead karena container menggunakan single host kernel

q: apa tujuan dibangun super server?
a: Super server akan menjalankan banyak fungsi
1. wan accelerator
2. webserver untuk portal berita
3. vm server
4. router/firewall
5. cache server
6. VPN server

q: apa itu riverbed?
a: Riverbed adalah wan accelerator terbaik saat ini. Riverbed mampu melakukan http streaming splitting. Http splitting ini misal ada yg akses appletv dng kualitas 4k, maka dari semua yg akses iptv bandwidthnya hanya satu saja yg dibutuhkan, misal appletv 4k membutuhkan bandwidth 25 mbps, maka ketika ada beberapa user lain ikut mengakses appletv, riverbed hanya butuh 1 channel 25mbps saja, yg lain digenerate dari cache

Riverbed selain itu juga bisa mengoptimalkan bandwidth broadband, baik berbasis fiber ataupun 4/5g. Teknologi yg digunakan adalah tcp optimization, dan tcp coalescing, sehingga misal berlangganan broadband 1 gbps dengan riverbed broadband akan bisa mengoptimalkan traffic

Riverbed punya teknologi
1. stream splitting, hal ini untuk caching iptv semacam apple tv
2. compression dng algoritma LZ
3. deduplication
4. tcp coalescing, tcp coalescing adalah teknologi mengambil beberapa paket data/tcp hanya menggunakan single tcp, sehingga hemat didalam pemakaian tcp. Layanan broadband ada yg melakukan limit tcp, maka dengan itu Riverbed sangat cocok di jaringan seperti itu

q: apa goal bisnisnya?
a:
1. Membuat portal berita
2. WAN Accelerator, memberikan kualitas koneksi internet dengan ultra low latency
3. VPS atau Virtuozzo VM server
4. Webhosting
5. Cache server dengan Unveiltech yg mampu caching tv, video on demand, playstation, xbox, windows update, youtube, apple update dlsb

http://www.unveiltech.com/indexvideocacheboxi386-us.php
https://xcc.unveiltech.com/

6. VPN Server. Users bisa menggunakan vpn dengan feature compression. Compression yg digunakan adalah deflate atau gzip, di sisi superserver kami menggunakan GPU untuk compression, sehingga sanga cepat, apabila diimbangi dengan kualitas server di sisi client untuk decompress deflate. Ratio yg bisa didapatkan dengan vpn compression adalah up to 3x bandwidth.

q: bagaimana strategi penjualan agar superserver optimal?
a:

1. Kami akan menjual paket internet plus appletv 4k, xbox, playstation, agar riverbed optimal, berapapun users yang melihat appletv, riverbed hanya membutuhkan 5 mbps untuk hd, dan 25mbps untuk 4k
selain itu customer corporate digiring untuk menggunakan o365, playstation, xbox, appletv, netflix dlsb

Saat ini iptv, video on demand, utilisasi bandwidthnya sudah sekitaran 50%

2. Menjual vps dng harga bersaing
3. menjual shared hosting dng feature menggunakan apache spark, postgresql, plus ditambah http compression gzip/deflate dan juga image transcoding on the fly dng GPU, sehingga size web site ketika diakses menjadi kecil karena text dikompresi oleh web server, dan image di transcoding oleh gpu

target yg dituju adalah webserver sangat sibuk

4. Menjual hosting dng mirroring dan geoip, misal baliooo.com jika diakses dari indonesia maka yg akan melayani adalah web server indonesia, sedangkan jika diakses dari amerika maka otomatis dilayani web server di amerika

5. Menggunakan storage online di amerika untuk reliability data, featurenya zfs, compression, deduplication, dan kemudian di akselerasi kecepatannya oleh riverbed ketika shared folder menggunakan cifs ataupun nfs

q: apakah riverbed mempercepat facebook, google, microsot?
a. Riverbed akan mengakselerasi facebook google microsoft dlsb sampai up to 20x rata rata, saat ini juga sudah Facebook CDN ataupun GGC atau Googlecache, Riverbed akan sangat optimal jika digunakan untuk update Facebook CDN ataupun GGC

q: apa itu cache server?
a: cache server adalah layanan menyimpan data internet secara lokal. Cache server saat ini bisa menyimpan layanan AppleTV, Playsation, Xbox, Netflix, youtube, dlsb, video atau musik on demand bisa di serve oleh cache server

q: Sotware router apa yg digunakan?
a: Kami akan menggunakan Vyos router untuk router, firewall dan vpn server

q: apa kelebihan streaming 4K?
a: Streaming 4K menghasilkan kualitas gambar yg lebih bagus daripada HD, namun streaming 4K membutuhkan bandwidth 25 mbps. Streaming 4k juga mempunyai feature sound dolby dan dolby atmos, sangat penting untuk kualitas sound system anda di rumah.

update 9 September 2022
q: apa itu Varnish Cache
a: Varnish Cache merupakan cache server, dengan feature, transcoding semua image ke webp, tanpa kehilangan kualitas gambar/loosless compresion. Selain itu Varnish juga support brotli compression.
Saat ini Varnish sebagai reverse proxy diklaim bisa lebih cepat 300x-1000x, jauh lebih cepat daripada Litespeed, NGINX, ataupun Apache.

Dengan dikompresinya text dan image oleh Varnish Cache, maka otomatis mengakses situs dengan Varnish Cache jauh lebih cepat karena text dan imagenya ukurannya menjadi lebih kecil, sekitar 25-35% untuk transcoding semua image ke format webp

Varnish selain menjadi cache server, bisa juga menjadi webserver accelerator dimana bisa menawarkan improve kecepatan 300x-1000.

Transcoding Varnish ke Webp untuk image, dan brotli/deflate bisa dimapping dengan menggunakan GPU sehingga hasilnya jauh lebih cepat

referensi
https://www.varnish-software.com/apac/

dilanjut nanti, diupdate nanti