Büyük boyutlu dosyaların transfer edilmesi

Uzun zamandır üzerinde kafa yorduğum ve geliştirmeyi düşündüğüm bir proje olarak kenarda bekleyen notlarımdan birine baktım geçenlerde. Sistem biraz karışık gibi görünsede genel olarak birkaç dosya sıkıştırma teorisinin dosya sıkıştırmadan çok transfer esnasında kazanç mantığı ile işlemekte.

Sistem mantığı kısaca şöyle;

Dosyalar indirilirken direkt olarak dosya içeriği değilde, dosyanın mesela 100 byte lık bir bölümünün daha önceden tanımlanmış bir küme kodunun karşıya gönderilerek karşıda bu küme koduna denk gelen 100 byte ın dosya indirme işleminde gerekli yere yerleştirilmesi şeklinde işlemesi sağlanarak internet hızının optimum kullanımı sağlamak.


Sistem yapısı ise şu şekilde; (Bu oluşturduğum excelde benim seçtiğim optimum 100 byte lık sistem için geçerli)

İlk 1 byte (8 bit) (TANIM byte)

Bu bölümde 256 farklı kombinasyon içerisinde gelecek kaç byte ın bu bölüme dahil olduğu, sıkıştırma olup olmadığı, eğer sıkıştırma varsa hangi denklem kümesinin kullanıldığı, bu kümenin kaç Bit olduğu gibi bilgileri içerir.

Sonraki 37 bit aralığı (DB Kodu)

37 bit ile sistemde 137.438.953.472 adet kayıt tanımlanabiliyor.

Toplam 45 bit

Sistem hakkındaki yorumlarım;

Burada belki bazı arkadaşlar neden 8 bit gibi bir bölümü sadece tanıma ayırdığımı sorabilirler. Bunu yapmamın nedeni ilerde düşünülecek yeni kütüphanelere karşı sistemin hazır olması, yani mesela 45 bit / 800 bit yada 45 bit / 8000 bit gibi sistemlerin entegrasyonunun kolay olmasını sağlamak için başta bu kadar bir bölüm tanımlama için ayırdım. 8 bit ile 256 tane farklı kombinasyon yapılabildiğine göre 256 farklı tanım yapılabilecek. Mesela 0 -> sıkıştırma yok 800 bit, 1 -> sıkıştırma var 1. kütüphane gibi 256 farklı tanım girilebilecek.

Ayrıca sistem genişlemeye müsait ekteki excel dosyası ile, genişleme durumunda gerekli kaynak ve kazanç şeklinde hesaplar olarak ekledim.

45 bit / 800 bit için örnek (Bu konfigürasyon 100 byte lık olan)

(Çeşitli veri boyutları için benim seçtiğim konfigürasyonu sarı renk ile işaretledim.)

Sistemin Sayılarla Anlatımı

Sistemin kullanımı;

Yukarıdaki yapı doğrultusunda mesela birçok ISO kalıbının içeriği taratılarak içlerinden en çok tekrarlanan 800 bit lik bölümler belirlenerek 137.438.953.472 adet kayıt oluşturulacak. (Bu kayıtlar yaklaşık 14 adet 1 TB lık disk gerektiriyor.)

Burada ISO kalıbı örneğini verdim ama iletilecek verinin karakteristiği çıkartılarak çok farklı yönlerde uygulanması sağlanabilir.

Daha sonra bu içerik birçok yerde sunulacak ve dosya indirirken 45 bit indirip 800 bit e açılabilecek.

İlerde mevcut disk kapasitelerinin artmasıyla bu depolama işlemi çok daha az maliyet ile ev kullanıcıları tarafından bile yapılabileceğinden, oldukça faydalı bir girişim olabilecek.

Hatta bu sistem torrent sistemine entegre edilerek çok daha efektif kullanımı düşünülebilir.

Kurumsal olarak kullanımı;

Diğer yandan kurumsal veri iletiminde kullanılarak çok daha yüksek hızda veri iletimi sağlanabilir.

Mesela Türk Telekom’un 50 Gbit hattının sadece 10 Gbit inde 45/800 oranında kazanç sağlansa, 10 Gbit ile 177 Gbit sağlanabiliyor ki bu sistem çok daha büyütülerek kazanç ve sistem daha da büyütülebilir.

Burada yukarıda belirtilen 45 bit / 800 bit (yaklaşık 800 byte) şeklinde daha farklı olarak 45 bit / 8000 bit (yaklaşık 8 KB) veya 45 bit /80000 bit (yaklaşık 80 KB) şeklinde bu örnekler ve kütüphaneler arttırılarak sistem daha da genişletilebilir.

Bu sistem bir veri iletim metodu haline getirilerek, sistemin daha efektif işlemesi sağlanabilir. Ayrıca iletilen verinin doğruluğunun kontrolü için yapıya göre kontrol bitleri, tanım bitleri eklenerek sistem daha da güçlendirilebilir.

Sistemin maliyeti;

Oluşturmuş olduğum excel tablosundan benim seçmiş olduğum konfigürasyonun maliyeti 14 adet 1 TB disk ve bir bilgisayar sistemi düşünülürse;

14 adet disk için 2 adet 8 li sata disk grubu oluşturulabilir. Bu disklerden RAID 5 serileri oluşturulduğunu varsayarsak 7+1 şeklinde 1 diskte veri güvenliği için saklanacağından 7 disklik bir sistem olacak, bu şekilde iki sistem 14 diski bize sağlar.

Bu durumda gerekli konfigürasyon için gerekli bilgisayar parçaları ve fiyatları (fiyatları yaklaşık ve yazıyı yazdığım gün için hesapladım)

2 adet 8 port sata 2 raid kart (1000$)

16 adet 1 TB disk (7000$-8000$)

1 adet PCI-E yuvası olan anakart (400$)

4 adet 2 GB DDR2 RAM (600$)

1 adet AMD yada INTEL dört çekirdekli işlemci (400$-600$) (AMD nin barcelona serisinin yani 4 çekirdeğinin çıktığını varsayıyorum)

1 adet 16 disk sığabilecek kasa ve yaklaşık 1000 watt power (bu konu biraz tartışılabilir ama yaklaşık 800$-1000$)

Yaklaşık maliyet en düşük 9000$ en yüksek 12000$

1 yıl sonraki maliyet tahminim : 7000$

2 yıl sonraki maliyet tahminim : 3000$

Sistem tamamen benim tarafımdan düşünülmüş, oluşturulmuş ve sistematik haline getirilmiştir. Herhangi bir yerde kullanımında en azından bir yorum veya teşekkür yazarak banada bildirirseniz sevinirim.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak.

This site uses Akismet to reduce spam. Learn how your comment data is processed.