Hadoop Tutorialでよく見かけるWordCountを試してみました． なかなか動かず，あれこれ修正してようやく何とかなりました． Hadoopのバージョンによって，継承すべきクラスとか引数の型が異なるみたい． MapperとReducer 今回は，バージョン0.20.2+737で動作…

Hadoop Streamingでもつまづいては修正し，再びつまづいては修正しの繰り返しでした． 今回も，これ以上犠牲者を増やさないためのメモ3つ． Streaming Command Failed!で落ちる まず，Mapper，Reducerは絶対パスで指定する必要があります． # ×:相対パスだと…

Hadoop Streamingは標準入出力さえ扱えれば，他の言語でもMapReduceが実現できるようにする仕組みです． じゃあ，実際どうなの?ということで，Rubyを例にPi計算をしてみました． 事前準備 と言ってもHadoopがインストールされていれば，Rubyをインストールす…

ちょっと前にkvmclone.plのエントリを書きました． そこでも触れたのですが，HadoopのdatanodeにはstorageIDというものがあり，ノード固有の値が割り当てられています． このstorageIDが重複すると，重複した片方が停止するようになっており，単に複製しても…

ネタとして作ってみた．エンジニアならこのランキングの方がピンとくるかも． scrapeして，sortして...結構大変だった． Windows XPの起動時の長いディスクアクセスは、Windows Updateの履歴が溜まりすぎていたせいだった？！ - 全力HP 3650users 使いやすく…

前エントリの完全分散モードでの動作ですが，実はすんなりとは行かず，何日も苦しみました． ググっては試し，ググっては試し，の繰り返し... やっとまともに動くようになり，振り返ってみるとショボいミスもありましたが， これ以上犠牲者が増えないように…

疑似分散モードでインストールができたら，次は完全分散モードです． インストール方法をさらっと書いていますが，ここはかなりハマりました． 下記の2つのノードで構築することとします． Master node (1台のみ必要) namenode jobtracker Worker node (何台…

さて，KVMを入れ終わりました．次は仮想マシン上でHadoopを動かします． ひとまず，お手軽に試せる疑似分散モードでインストールしてみましょう． 事前準備 必須ではないのですが，時刻がずれると色々と気持ち悪いので，NTPを有効にしておきます． cp /etc/n…

KVM超便利だな〜，と使っていたけど時計がずれまくってしまって，どうもおかしい． ntpで同期させても再起動すると元に戻ってしまう． これはどういうことだ，とググったら，設定変えなきゃダメじゃんの巻． ntpdate ntpdateを叩くとこんな感じになります． …

ロイヤル・コンセルトヘボウに続いて，ロンドン交響楽団が来日しました． 今年はマーラー作品を演奏し，しかも5番と9番をやるということで，調子に乗って2回も行ってしまったとさ． ロンドン交響楽団 イギリスのオーケストラと言えば，ロンドン交響楽団．CD…