{"id":1055,"date":"2014-07-14T07:07:00","date_gmt":"2014-07-14T04:07:00","guid":{"rendered":"http:\/\/koddit.com\/?p=1055"},"modified":"2014-07-14T08:43:26","modified_gmt":"2014-07-14T05:43:26","slug":"hadoop-ve-mahout-ile-big-data-isleme","status":"publish","type":"post","link":"https:\/\/blog.koddit.com\/en\/veri-madenciligi\/hadoop-ve-mahout-ile-big-data-isleme\/","title":{"rendered":"Hadoop ve Mahout ile ‘Big data’ \u0130\u015fleme | Multi-Node Recommendation \u00d6rne\u011fi"},"content":{"rendered":"

\u0130nternetin ve teknolojinin geli\u015fmesiyle birlikte bilginin g\u00fcc\u00fcn\u00fcn \u00f6ne \u00e7\u0131kmas\u0131, artan veri miktar\u0131 ve sosyal medya devrimi sayesinde i\u015f yapma \u015feklimiz tamamen de\u011fi\u015fti.<\/span><\/p>\n

Peki, bu kadar de\u011ferli olan bu veriler nerede bar\u0131n\u0131yor?\u00a0<\/span>Bug\u00fcn bakt\u0131\u011f\u0131m\u0131zda\u00a0Twitter<\/strong>\u00a0her g\u00fcn 7 TB,\u00a0Facebook<\/strong>\u00a010 TB ve baz\u0131 kurumlar her g\u00fcn her saat TB\u2019larca veri sakl\u0131yor.<\/p>\n

B\u00fcy\u00fck veri<\/strong>; toplumsal medya payla\u015f\u0131mlar\u0131, a\u011f g\u00fcnl\u00fckleri, bloglar, foto\u011fraflar, videolar, log dosyalar\u0131 vb. gibi de\u011fi\u015fik kaynaklardan toparlanan t\u00fcm verinin, anlaml\u0131 ve i\u015flenebilir bi\u00e7ime d\u00f6n\u00fc\u015ft\u00fcr\u00fclm\u00fc\u015f \u015fekline verdi\u011fimiz bir isim.<\/p>\n

\"sosyal-medya-i_\"

Veriler\u00a0do\u011fru analiz metodlar\u0131 ile yorumland\u0131\u011f\u0131nda, \u015firketlerin stratejik kararlar\u0131n\u0131 do\u011fru bir bi\u00e7imde almalar\u0131na, risklerini daha iyi y\u00f6netmelerine ve innovasyon yapmalar\u0131na imkan sa\u011fl\u0131yor.<\/p>\n

 <\/p>\n

\"big-data\"

(Byte \u2013 kilobyte \u2013 megabyte \u2013 gigabyte \u2013 terabyte \u2013 petabyte \u2013 exabyte \u2013 zettabyte \u2013yottabyte)<\/em><\/p>\n

<\/h2>\n

Veri saklama ve analiz etme…<\/h2>\n

G\u00fcn\u00fcm\u00fcz veritabanlar\u0131 bu \u00e7apta b\u00fcy\u00fcyen verileri tutmakta yeterli de\u011fildir. Hard disklerin veri saklama kapasiteleri y\u0131llar ge\u00e7tik\u00e7e artarken, veriye eri\u015fim h\u0131zlar\u0131 bu h\u0131zl\u0131 art\u0131\u015fa yeti\u015fememi\u015ftir.<\/p>\n

Evet disk kapasiteleri terabytelar seviyesine ula\u015ft\u0131 ve transfer h\u0131z\u0131 100 MB\/s oldu; fakat diskin i\u00e7erisindeki t\u00fcm veriye eri\u015fmek yakla\u015f\u0131k 2 saat 30 dakika s\u00fcr\u00fcyordu ve bu uzun s\u00fcreyi azaltmak i\u00e7in yap\u0131labilecek en iyi yol bir seferde birden fazla diske eri\u015fim yapmakt\u0131.<\/p>\n

Fakat\u00a0bu defa da veriler paralel disklerde tutuldu\u011funda 2 \u00f6nemli sorun<\/strong>la kar\u015f\u0131la\u015f\u0131ld\u0131:<\/p>\n

1) Birinci problem: Donan\u0131m ar\u0131zalar\u0131 sonucu veri kayb\u0131<\/h2>\n

Yani veri birden fazla diskte bulundu\u011fu i\u00e7in, bir diskin ba\u015f\u0131na gelebilecek herhangi bir donan\u0131msal s\u0131k\u0131nt\u0131da i\u00e7erisindeki veriler kaybolacakt\u0131r. Bunu \u00f6nlemenin yolu, i\u00e7erdi\u011fi verilerin birer kopyas\u0131n\u0131n tutulmas\u0131d\u0131r.<\/p>\n

2) \u0130kinci problem: Veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fcn bozulmas\u0131<\/h2>\n

Farkl\u0131 disklerdeki veriler \u00fczerinde yap\u0131lan i\u015flemler sonucunda veri b\u00fct\u00fcnl\u00fc\u011f\u00fcn\u00fcn sa\u011flanamamas\u0131.<\/p>\n

Tabi ki de bunlara son vermek i\u00e7in geli\u015ftirilen sistemler var, ben bug\u00fcn sizlere bunlardan biri olan Apache Hadoop’u anlataca\u011f\u0131m.<\/p>\n

Apache Hadoop?<\/h1>\n

\u009eHadoop’un mant\u0131\u011f\u0131 k\u00fcmelenmi\u015f (cluster) bilgisayarlar aras\u0131nda, b\u00fcy\u00fck hacimli verilerin da\u011f\u0131t\u0131k olarak i\u015flenmesini sa\u011flayan bir yaz\u0131l\u0131m k\u00fct\u00fcphanesidir.<\/p>\n

\"3\"

\u009eHadoop a\u015fa\u011f\u0131daki 3 temel \u00f6zelli\u011fi ile bu parametrelerin hepsinin ayn\u0131 anda ger\u00e7ekle\u015fmesini sa\u011flayabilir:<\/p>\n

\u00d6l\u00e7eklenebilir<\/h2>\n

\u0130htiya\u00e7 duyuldu\u011funda, verinin kendisini, format\u0131n\u0131, yerini de\u011fi\u015ftirmeden, \u00e7al\u0131\u015fan i\u015flerin ve uygulamalar\u0131n nas\u0131l yaz\u0131ld\u0131\u011f\u0131n\u0131 dikkate almadan yeni d\u00fc\u011f\u00fcm noktas\u0131 eklenebilir.<\/p>\n

Hesapl\u0131 \u00e7\u00f6z\u00fcm<\/h2>\n

Y\u00fcksek hacimli verinin, fazla CPU g\u00fcc\u00fc ile i\u015flenmesini gerektiren paralel \u00e7\u00f6z\u00fcm ihtiya\u00e7lar\u0131n\u0131, daha ucuz veya hesapl\u0131 bilgisayar altyap\u0131s\u0131 ile ger\u00e7ekle\u015ftirilmesini sa\u011flar.<\/p>\n

Hatadan kurtarma<\/h2>\n

D\u00fc\u011f\u00fcm noktalar\u0131ndan biri ula\u015f\u0131lamaz oldu\u011funda, sistem, gelen y\u00fck\u00fc di\u011fer d\u00fc\u011f\u00fcm noktalar\u0131na payla\u015ft\u0131rarak kesintisiz hizmete devam eder.<\/p>\n

Disk \u00fczerine kaydetti\u011fimiz veriler, donan\u0131msal veya yaz\u0131l\u0131msal\u00a0bir problem meydana geldi\u011finde silinebilir dedik ama Hadoop ile proje geli\u015ftirdi\u011fimizde HDFS \u00fczerindeki verilerin kopyas\u0131 fakl\u0131 node’lara da kaydedildi\u011fi i\u00e7in hata durumunda veri kayb\u0131 ya\u015fanmaz \ud83d\ude09<\/p>\n

Peki nedir bu HDFS?<\/h1>\n
    \n
  1. B\u00fcy\u00fck miktardaki veriye y\u00fcksek i\u015f\/zaman oran\u0131 (throughput) ile eri\u015fim sa\u011flayan Da\u011f\u0131t\u0131k Dosya Y\u00f6netim Sistemidir.<\/li>\n
  2. Bir\u00e7ok makinedeki dosya sistemlerini birbiriyle ba\u011flayarak tek bir dosya sistemi gibi g\u00f6z\u00fckmesini sa\u011flar.Bu\u00a0dosya sistemi sayesinde s\u0131radan sunucular\u0131n sabit diskleri bir araya getirilerek tek ba\u015f\u0131na b\u00fcy\u00fck bir sanal disk olu\u015fturuluyor. Bu sayede \u00e7ok b\u00fcy\u00fck boyuttaki birden fazla dosyalar bu sistemde saklanabiliyor.<\/li>\n<\/ol>\n

    HDFS, DataNode ve NameNode dedi\u011fimiz 2 processden meydana geliyor:<\/p>\n

    \"4\"

    DataNode(Slave)\u00a0<\/b>ise i\u015flevi bloklar\u0131 saklamak olan i\u015f\u00e7i (slave) s\u00fcre\u00e7tir. Her DataNode kendi yerel diskindeki veriden sorumludur.<\/p>\n

    Ayn\u0131 zaman da Hadoop Map Reduce ile gelen verileri par\u00e7alar.<\/p>\n

    Peki MapReduce nedir?<\/h1>\n

    HDFS \u00fczerindeki b\u00fcy\u00fck dosyalar\u0131, verileri i\u015fleyebilmek i\u00e7in kullan\u0131lan bir y\u00f6ntemdir.\u0130stedi\u011finiz verileri filtrelemek i\u00e7in kullan\u0131lan Map<\/em> fonksiyonu ve bu verilerden sonu\u00e7 elde etmenizi sa\u011flayan Reduce<\/em> fonksiyonlar\u0131ndan olu\u015fan program yaz\u0131ld\u0131ktan sonra Hadoop \u00fczerinde \u00e7al\u0131\u015ft\u0131r\u0131l\u0131r.\"6\"

    \u009eKullan\u0131c\u0131 Hadoop\u2019 a bir MapReduce uygulamas\u0131 g\u00f6nderdi\u011finde:<\/p>\n

    \u00a0<\/b>Job<\/b>Client <\/b>gelen uygulamay\u0131 (job) JobTracker\u2019a teslim etmek i\u00e7in haz\u0131r hale getirir.<\/p>\n

    Job<\/b>Tracker\u00a0<\/b>i\u015f planlamas\u0131 yapar (job scheduling) ve Map i\u015flemini yapmak \u00fczere i\u015fi TaskTracker\u2019lara da\u011f\u0131t\u0131r.<\/p>\n

    Her bir TaskTracker bir MapTask yarat\u0131r ve verilen i\u015flemi yapar. Bu s\u0131rada JobTracker i\u015fin ilerleme durumu hakk\u0131nda TaskTracker\u2019 lardan bilgi al\u0131r.<\/p>\n

    Map i\u015flemlerinin sonu\u00e7lar\u0131 tamamlanmaya ba\u015flad\u0131\u011f\u0131nda, JobTracker Reduce i\u015flemini yapmak \u00fczere i\u015fi TaskTracker\u2019 lara da\u011f\u0131t\u0131r.<\/p>\n

    Her bir TaskTracker bir ReduceTask yarat\u0131r ve verilen i\u015flemi yapar. Bu s\u0131rada JobTracker i\u015fin ilerleme durumu hakk\u0131nda TaskTracker\u2019lardan bilgi al\u0131r.<\/p>\n

    (Evet teorik k\u0131sm\u0131n\u0131n biraz kar\u0131\u015f\u0131k oldu\u011funu\u00a0fark\u0131nday\u0131m,isterseniz daha basite indirgeyerek durumu bir \u00f6rnekle a\u00e7\u0131klayal\u0131m).<\/p>\n

    \"8\"

    San\u0131r\u0131m bu \u00f6rnek biraz daha a\u00e7\u0131klay\u0131c\u0131 olmu\u015ftur.<\/p>\n

    Hadoop kurulumu nas\u0131l yap\u0131l\u0131r?<\/h1>\n

    Hadoop\u2019un \u00e7e\u015fitli modlarda kurulumunu yapmak m\u00fcmk\u00fcnd\u00fcr.<\/p>\n

      \n
    1. Standalone<\/b> (Da\u011f\u0131t\u0131k Olmayan) Mode<\/li>\n
    2. Pseudo<\/b>-Distributed <\/b>(Da\u011f\u0131t\u0131k Mimariye Uygun Tek Sunucu) Mode<\/li>\n
    3. Fully<\/b>-Distributed\u00a0<\/b>(Da\u011f\u0131t\u0131k Mimariye Uygun \u00c7ok Sunucu) Mode<\/li>\n<\/ol>\n

      Ben sizlere benimde projemde kulland\u0131\u011f\u0131m Multi-Node yani Fully-Distributed yap\u0131n\u0131n kurulumunu anlataca\u011f\u0131m.\u00a0Multinode da\u00a0iki ayr\u0131 i\u015fletim sisteminde iki ayr\u0131 Hadoop\u2018u aya\u011fa kald\u0131r\u0131yor olaca\u011f\u0131z.<\/p>\n

      \u009eClustered sistemlerde makineler temelde iki gruba ayr\u0131l\u0131yorlar. \u0130\u015flemleri y\u00f6neten ve o i\u015flemleri ger\u00e7ekle\u015ftiren denilebilir. Yani Master & Slave<\/strong> olarak adland\u0131r\u0131l\u0131yor. Master i\u015flemleri ve datalar\u0131 slavelere da\u011f\u0131tan makine oluyor, slaveler(i\u015f\u00e7i) ise kendilerine bi\u00e7ilen g\u00f6revleri yerine getiriliyorlar.<\/p>\n

      \u015eu da bilinen bir ger\u00e7ek ki\u00a0Hadoop k\u00fcmesindeki d\u00fc\u011f\u00fcm say\u0131s\u0131 artt\u0131k\u00e7a performans\u0131 da do\u011frusal olarak artmaktad\u0131r.\"19\"

      Hadoop Multinode Kurulum A\u015famalar\u0131<\/h2>\n