ちょっと不安だったのだけど，今しかないと思って Mac OS を Yosemite にアップグレード．残り2分からおよそ5時間かかったけども，どうやら /usr/local 以下にファイルが大量にあると発生する現象らしい．再起動後は得に問題なく動作．homebrew のバイナリを…

気になってた話が何個か本日一段落．年明ける頃には，やりきった感で溢れてそうな予感がしてる．来週は来週で色々あるので今一度タスク管理し直そう．

Hadoop のコードを探索していて，不思議な場所を発見．見つけたのは，Map の values() が呼ばれて，かつキーの値によって順序が保証されるべきなのに HashMap を使っている箇所．テストが入っていて通過していて，わたしがリファクタリングしたらそのテスト…

設定を変えたのがきっかけで， Hadoop クラスタが動かなくなった．ううむ，mapreduce.framework.name が invalid だと怒られるのだけど，ちゃんと"yarn"になっている．何か不正な文字が xml に紛れ込んでいるのかな．

先日修正した GCE のスクリプトはちゃんと動いているようで，大分管理が楽になった．そういえば，Google が Inbox てのを出したみたいだけども，まだ invidation がない関係で動かしていない．試してみたいな．

11月は地味に忙しめなのだけども，先週今週がピーク．こういうときは風邪ひかないように気をつけよう．

反動でがっつり寝てしまった．むむ．

BBQ と紅葉狩りしにお出かけ．楽しかった！！

出ていたのでアップグレードした．UI が変わって使いやすくなった．

db tech showcase 2014 で講演した．名前の通り，DB屋さんが多い印象だったので，もう少し入門よりの内容でも良かったかもしれない．taroleo さんの Presto 発表は，要点と事例と技術ポイントが分かりやすくまとめられていたので見習っていきたいところ．

はじめて VirtualBox を使ってみている．VMware Player よりも，PV driver も入れやすいし，Windows 環境の完全仮想化ソフトウェアとしてはかなり良いんではないかな．商用利用も無料だ(VMware Player は商用利用する際には VMware Player Plus というライセ…

ちょっとまだベンチマーク中なので客観的なことは言えないんだけど，速い．こいつは速いよ．

ここ数日で Hivemall のコードを眺めていて，何点か PR した．Hivemall はコードがキレイでいじりやすい．

超当たり前なのだけど，だいたいいつもこんな感じでやってる． ターゲットを決める． 1 から動作環境・入力・処理内容・出力を特定する． 動作させる． ときおり上手くいかないので，2 を見直し→3へ．

Now it works on my local cluster!

訳あって Spark を動かしている．1.1.1 で最適化されたと評判の SortBasedShuffle (MapReduce と同じ Shuffle 方式)を実行するには以下のオプションを設定すれば良い． conf.set("spark.shuffle.manager", "org.apache.spark.shuffle.sort.SortShuffleManage…

Hadoop 2.5.1 + Spark on YARN をクラスタモードで動作させようとしたらなぜか上手く動かなかったのでチケットにして報告しておいた．

訳あって Google Compute Engine で遊んでいる．後発なだけあって，EC2 よりも整理されているイメージ．できることは同じだけどもね．

常用している Google App Script のアップデート Gmail の古いメールを自動的にアーカイブ行きにするスクリプトを動かしていたのだが，あまりにも属性を参照しすぎているせいか，実行速度が遅くなっていたので，改善した． 改善前の挙動は以下の通り: Inbox …