ちょっと不安だったのだけど，今しかないと思って Mac OS を Yosemite にアップグレード．残り2分からおよそ5時間かかったけども，どうやら /usr/local 以下にファイルが大量にあると発生する現象らしい．再起動後は得に問題なく動作．homebrew のバイナリを…

気になってた話が何個か本日一段落．年明ける頃には，やりきった感で溢れてそうな予感がしてる．来週は来週で色々あるので今一度タスク管理し直そう．

Hadoop のコードを探索していて，不思議な場所を発見．見つけたのは，Map の values() が呼ばれて，かつキーの値によって順序が保証されるべきなのに HashMap を使っている箇所．テストが入っていて通過していて，わたしがリファクタリングしたらそのテスト…

設定を変えたのがきっかけで， Hadoop クラスタが動かなくなった．ううむ，mapreduce.framework.name が invalid だと怒られるのだけど，ちゃんと"yarn"になっている．何か不正な文字が xml に紛れ込んでいるのかな．

先日修正した GCE のスクリプトはちゃんと動いているようで，大分管理が楽になった．そういえば，Google が Inbox てのを出したみたいだけども，まだ invidation がない関係で動かしていない．試してみたいな．

11月は地味に忙しめなのだけども，先週今週がピーク．こういうときは風邪ひかないように気をつけよう．

反動でがっつり寝てしまった．むむ．

BBQ と紅葉狩りしにお出かけ．楽しかった！！

出ていたのでアップグレードした．UI が変わって使いやすくなった．

db tech showcase 2014 で講演した．名前の通り，DB屋さんが多い印象だったので，もう少し入門よりの内容でも良かったかもしれない．taroleo さんの Presto 発表は，要点と事例と技術ポイントが分かりやすくまとめられていたので見習っていきたいところ．

はじめて VirtualBox を使ってみている．VMware Player よりも，PV driver も入れやすいし，Windows 環境の完全仮想化ソフトウェアとしてはかなり良いんではないかな．商用利用も無料だ(VMware Player は商用利用する際には VMware Player Plus というライセ…

ちょっとまだベンチマーク中なので客観的なことは言えないんだけど，速い．こいつは速いよ．

ここ数日で Hivemall のコードを眺めていて，何点か PR した．Hivemall はコードがキレイでいじりやすい．

超当たり前なのだけど，だいたいいつもこんな感じでやってる． ターゲットを決める． 1 から動作環境・入力・処理内容・出力を特定する． 動作させる． ときおり上手くいかないので，2 を見直し→3へ．

Now it works on my local cluster!

訳あって Spark を動かしている．1.1.1 で最適化されたと評判の SortBasedShuffle (MapReduce と同じ Shuffle 方式)を実行するには以下のオプションを設定すれば良い． conf.set("spark.shuffle.manager", "org.apache.spark.shuffle.sort.SortShuffleManage…

Hadoop 2.5.1 + Spark on YARN をクラスタモードで動作させようとしたらなぜか上手く動かなかったのでチケットにして報告しておいた．

訳あって Google Compute Engine で遊んでいる．後発なだけあって，EC2 よりも整理されているイメージ．できることは同じだけどもね．

常用している Google App Script のアップデート Gmail の古いメールを自動的にアーカイブ行きにするスクリプトを動かしていたのだが，あまりにも属性を参照しすぎているせいか，実行速度が遅くなっていたので，改善した． 改善前の挙動は以下の通り: Inbox …

TOFU でご飯たべながら Nettiza の GLOOM TABLEというのが Secondary Index を上手く張れて良いらしいという話をしていた．

突如として frysuki さん，taroleo さん，haj さんと集まって msgpack-java hakathon が開催された． お酒飲みながら v07 の Value 型のテストを書いたら夜中の3:00くらいになっていた．

決めた，買うぞ． 購入手続き完了. 出荷されたみたい. 久しぶりに Android 熱が上がってきた気がする. 夕ご飯のお店. うまい.

Factory クラスが final クラスになっているために，テストが大変書きづらい状況に遭遇した．final じゃなかったら，override して mock オブジェクトを返せるのだけど．

初 Symantec 社訪問．YARN の JIRA が 2000 を超える．一方で，Tez の JIRA は 1000 オーバー．勢いがあるね．

RM HA のドキュメントを書いた．

今日は protobuf のコードと格闘していた．protobuf で宣言された bytes は全て ByteString クラスにマッピングされるのだが，ByteString クラスには 1 つ問題がある．デフォルトでは wrap メソッドを持たないため，copyFrom メソッドを用いる必要があり，ゼ…

Scala 2.11.0 がリリース ．2.10.x でコンパイルできるコードは 2.11.x でもコンパイルできるらしい．ミドルウェア書いている人々にとってはかなりうれしい気がする(Spark とか Play とか msgpack とか...)．

まるまる寝ていた次の日は元気に活動ができる． 後輩の研究の話を見ていた．システム系の研究は前提条件と課題設定のところで5割くらい決まる印象．実装コストが重いのも特徴か．アルゴリズムは技勝負(アイデア)の比率が高い気がする．

Hadoop でたまにテストがこける問題の再現が面倒なので，failchecker というシンプルな bash スクリプトを作った．テストがこけるまで特定のテストを回し続けて，失敗した時点で停止する．こうすることで，テストがこけたときのログを無事に回収することがで…