“Big Data” nədir sualının sabit bir cavabı yoxdur. “Big Data” – sürətlə, uyğun zaman çərçivəsində xüsusi texnologiyalar vasitəsilə fasiləsiz şəkildə xüsusi analizlər üçün emal edilən böyük həcmli məlumatlar toplusudur.

Son illər leksikonumuza daxil olan Big Data termini, mənaca tək məlumatın çoxluğunu ifadə etmir. “Big Data” dedikdə böyük həcmli məlumatın qəbulu, yaddaşda saxlanılması, analiz edilməsi, axtarışı, dəyişdirilməsi, paylaşımı, ötürülməsi, vizualizasiyası və təhlükəsizliyi nəzərdə tutulur.

“Big Data” terminin istifadəsi geniş vüsət almamışdan əvvəl də böyük məlumat topluluğu (Big Data) mövcud idi. Ancaq bu bir həqiqətdir ki, son illər məlumatların həm mənbəyi, həm də ölçüsü dəfələrlə artmışdır və bu artım “Big Data” termininin ümumi leksikonda xüsusi istifadəsinə gətirib çıxarmışdır. Bu səbəbdən, “Big Data”-nı ənənəvi məlumat toplusundan ayıran əsas cəhəti o məlumatın hansı alətlərlə emal edilib, hansı məqsədlər üçün istifadə ediləcəyinin təyin edilməsindədir.

“Big Data” – ənənəvi verilənlər bazasının özündə saxlayıb, idarə edib çox sürətlə emal edə bilmədiyi müxtəlif mənbələrdən gələn və xüsusi struktura malik olmayan məlumat toplumuna verilən addır. “Big Data” terminindəki “data” – məlumat deməkdir. Hələ kompüter əsrindən əvvəl məlumat əsasən yazılmış sözlərdən ibarət idi. Kompüterlər çıxdıqdan sonra məlumat (data) daha geniş məna alıb telefonlardan, sputniklərdən, kameralardan, sensorlardan, internetdən və sosial mediadan yığılan informasiyanın toplumuna çevrilir. Məlumatların çoxluğunu artıq meqabayt, gigabaytlarla yox, exabyte-larla ifadə etməyə başlamışıq. Misal üçün, təxmini hesablamalara görə günümüzə qədər bəşəriyyətin danışdığı sözlərin həcmi 1 exabyte-dır. Ancaq son illərdə, hər 6 saatda dünyada 1 exabyte məlumat yaranır. “Big Data” budur.

Məlumatın ağıllı istifadəsi cəmiyyətimizə çox fayda verə bilər. Xəritələr yaradmaq üçün bir vaxtlar peyk alan Google şirkəti, indi ünvanlarının paylaşılmasına icazə verən istifadəçilərin telefonlarının hərəkəti ilə xəritələri qurur. Amazon şirkəti istifadəçilərin nəyi bəyənib, nəyi bəyənmədiyinin qeydiyyatın aparır, xarici siyasi partiyalar istifadəçilərin Twitterdə paylaşdıqları rəylərə görə qərarlar verir və siyasətlərini bu analizlərə uyğun dəyişir. Öncələr var olmayan böyük həcmli məlumatları analiz edərkən şirkətlər və tədqiqatçılar daha doğru və sürətli qərar verməyə qadir olurlar.

“Big Data”-nı əsasən 3V təyin edir: Velocity (sürət), Volume (həcm), Variety (müxtəliflik)

• Sürət

Bir çox şirkətlərdə müştərilərin tranzaksiyaları, və ya sosial mediada istifadəçilərin aktivliyinə fikir versək, çox sürətli məlumat yüklənməsinin şahidi ola bilərik. Misal üçün bir dəqiqədə facebook-a 900.000 login olur, 16 milyon mesaj, 452.000 tweet göndərilir, Google-da 3.5 milyon axtarış edilir.

• Həcm

Yuxarıda çəkilən misalları əsas gətirərək demək olar ki, böyük sürətlə yaranan bu məlumatların saxlanılması üçün böyük həcmli yaddaşa ehtiyac var. Ənənəvi məlumat bazaları ilə bu həcmli məlumatların saxlanılıb emal edilməsi demək olar ki, qeyri mümkündür.

• Müxtəliflik

Insanlar və ya qurğular tərəfindən yaranmış bu məlumatlar həm strukturlu, həm də sturktursuz formada olur. Strukturlu məlumatlara twitter, facebook postlarını, relasiyalı bazalarda saxlanılan bütün növ məlumatları (müştəri məlumatları, ünvanlar, satış məlumatları, telefon, kredit kart nömrələri və s.) misal göstərmək olar. Struktursuz məlumat tiplərinə isə müxtəlif mətnləri (Email), audio, video, şəkil formatlı məlumatları misal göstərmək olar. Ənənəvi məlumat bazaları ilə xüsusi struktura malik olmayan məlumatların saxlanılması və emalı çətin olsa da, “Big Data” mühitində bunun müxtəlif üsulları vardır. Növbəti məqalələrimizdə bu üsullardan geniş danışacağıq.

“Big Data” mühitinin üstün cəhətlərindən biri asanlıqla böyümə/genişlənmə (scale) funksionallıqlarına malik olmasıdır. Çünki bir çox hallarda bu mühitdə ənənəvi SQL əmrlərinin sorğu nəticələrindən daha sürətli şəkildə böyük məlumatı analiz etmək mümkün olur. Buna Hadoop və Spark kimi platformaları misal göstərə bilərik. Misal üçün, Yahoo şirkəti 4500 node-da çalışan, ümumilikdə 100.000 CPU-dan ibarət 40.000 Hadoop serveri 455 Pb məlumatı rahatlıqla idarə edir və bu serverlərin sayını zaman zaman asanlıqla artırmaq imkanı vardır. Əlavə olaraq “Big Data” mühitində məlumatlar müxtəlif mənbələrdən müxtəlif formatda gəlir, və əksər hallarda bu standart bir struktura malik olmur. Hadoop cluster-ində yerləşən və müəyyən struktura malik olmayan müxtəlif məlumatları, proqramçıların yazdığı kodlar vasitəsilə asanlıqla analiz etmək mümkün olur.

“Big Data” mühitinin daha bir üstün cəhəti, fasiləsiz nəticələrin verilməsinə imkan yaradmasıdır. Böyük məlumatların emalı zamanı ənənəvi məlumat bazası sistemləri analitik proseslərin nəticlələrini müəyyən zaman sonra təqdim etməsinə baxmayaraq, “Big Data” mühitində bu məlumatlar müxtəlif mənbələrdən gəlib sürətlə emal edilib fasiləsiz şəkildə istifadəçiyə ötürülə bilər. Yollarda quraşdırılan və davamlı şəkildə ətrafı müşahidə edən video kameralardakı görüntülər, çəkildiyi an emal edilib fasiləsiz şəkildə məlumat sisteminə ötürülüb araşdırılsa, hüquq mühafizə orqanları bundan çox faydalanar.

Növbəti məqalələrdə, “Big Data”-nın tətbiq sahələri barədə daha geniş məlumatlar paylaşacağıq.