msgpack-java hakathon

突如として frysuki さん,taroleo さん,haj さんと集まって msgpack-java hakathon が開催された. お酒飲みながら v07 の Value 型のテストを書いたら夜中の3:00くらいになっていた.

Nexus 5

決めた,買うぞ. 購入手続き完了. 出荷されたみたい. 久しぶりに Android 熱が上がってきた気がする. 夕ご飯のお店. うまい.

サンフランシスコ市内

final な Factory クラス

Factory クラスが final クラスになっているために,テストが大変書きづらい状況に遭遇した.final じゃなかったら,override して mock オブジェクトを返せるのだけど.

29(火)

初 Symantec 社訪問.YARN の JIRA が 2000 を超える.一方で,Tez の JIRA は 1000 オーバー.勢いがあるね.

28(月)

RM HA のドキュメントを書いた.

HBaseZeroCopyByteString

今日は protobuf のコードと格闘していた.protobuf で宣言された bytes は全て ByteString クラスにマッピングされるのだが,ByteString クラスには 1 つ問題がある.デフォルトでは wrap メソッドを持たないため,copyFrom メソッドを用いる必要があり,ゼ…

22(火)

Scala 2.11.0 がリリース .2.10.x でコンパイルできるコードは 2.11.x でもコンパイルできるらしい.ミドルウェア書いている人々にとってはかなりうれしい気がする(Spark とか Play とか msgpack とか...).

21(月)

まるまる寝ていた次の日は元気に活動ができる. 後輩の研究の話を見ていた.システム系の研究は前提条件と課題設定のところで5割くらい決まる印象.実装コストが重いのも特徴か.アルゴリズムは技勝負(アイデア)の比率が高い気がする.

17(木)

Hadoop でたまにテストがこける問題の再現が面倒なので,failchecker というシンプルな bash スクリプトを作った.テストがこけるまで特定のテストを回し続けて,失敗した時点で停止する.こうすることで,テストがこけたときのログを無事に回収することがで…

12(土)

睡眠メイン. RDD を,Spark から切り離して汎用パーツとして使えるようになったら,結構便利だと思うのだが,難しいだろうか.つまるところ,耐故障性を担保する一番面倒な部分をプログラミングインターフェースを切り離して再実装するという話になるから,…

11(金)

@k_oi に NameNode HA の RetryCache の挙動を説明していたら理解に甘いところがあったので,再度設計と意義を確認した. (Active) UUID + CallID を受け取って処理実行. (QJM) UUID + CallID 込みで Journal に保存. (Active) 処理結果を基にレスポンスを…

10(木)

まあ,なんだ,びっくりした.

7(月)

Hadoop 2.4.0 のリリース作業. rc0 が出ていたので動作確認.テストがこける件について報告.コミュニティの対応は早くて,もう trunk に修正パッチがマージされた. その後,その修正自体は 2.4.1 に含まれることになった.hmm,って感じ.

7(金)

Python によるデータ分析入門を読み始める.リスト内包表記のうれしさがイマイチ理解できていなかったのだが,解析の実例を見ながら見ていると大分便利だなと思う.1章の途中まで見ている感じだと,pandas は本質的には集合に対する操作なので,SQL にマッピ…

6(木)

久しぶりにおにく+ワインを頂いた.やはり美味しいモノは正義...

5(水)

DEIM2014 3日目. 東京に帰ってきてから魚料理を食べた.日本は飯が圧倒的にうまい. 夜明け SIGSPRING

4(火)

DEIM2014 2日目. 後輩の発表を聞いたり,議論したりしていた.間をぬってたまったパッチを消化しつつ,身体が限界を迎えつつあったので温泉+マッサージ+睡眠.懇親会ではインターンに来ていた方とお話.楽しい時間だった.

3(月)

今日から DIEM2014に参加. 発表完了.開始時にディスプレイが写らなくてだいぶテンパった.司会の方と同僚の方に助けられた.ポスターは,興味を持ってくださる方がかなり偏っていたせいか,非常に濃い議論ができた.お付き合い頂いたみなさま,ありがとう…

2(日)

明日の DEIM2014 に向けて,大坂に前日入り.寝過ごす心配を軽減する狙い.

1(土)

体力が限界を迎えたので睡眠を多めにとった.

28(金)

久しぶりにリソースがサチっている感じ.ぎりぎりなんとかなりそう.

27(木)

移動日.サンノゼ空港ラウンジのポテチがうまいと聞いて,試してみる.大変美味しかったため,2袋食べてしまった.幸せ.

26(水)

自分に assign されている古いチケットを消化しつつ,新しいチケットを見ている.Tez/MR/YARN に注力する方針.

25(火)

purge OS X に搭載されている purge (ディスクキャッシュを解放するコマンド)を実行したところ,なんと実行に2分以上かかって驚いた.CPU 使用率は 50% - 100% くらい.sync が走っているのか io wait もそこそこ発生していた気がする.

24(月)

Debugger break point をしかけてわかったのは,どうも意図したコードパスを通っていないこと.想定外.

23(日)

Tez ひたすら1つのテストケースが通らないのと格闘し続けている.何が辛いかというと,どうも例外が握りつぶされてログが全くでないことだ.あ,デバッガを使えばいいのか. サーバ 自宅のメディアサーバにしていた MacBook Pro が起動しなくなった.5年目だ…

22(土)

rebuild.fm Tatsuhiko Miyagawa さんが配信している rebuild.fm を 1 回目の配信から聴き始めた.1回目は, naoya さんのLSTV の話・デプロイの話・RubyMotion の話.rebuild.fm は丁度1周年くらいなんだね.RubyMotion の話を通して,自分の作りたいソフト…

21(金)

水よりお湯を使った方がお皿の汚れがとれやすい理由 昨日の日記に書いたこの件,小学生の頃から直感的には知っていたけれど,そういえば理由を考えたことがなかった.おそらく,凝固している物体の一部が若干融解するためである.脂を冷蔵庫に入れておくと凝…

20(水)

白米 カレーが余っているとのことで,スーパーで白米だけ買っていったところ,酢飯であった.しかもレンジでチンをしてしまったため,味が大変なことになってしまった.どうしようもなかったので,結局白米も頂いてしまった.申し訳なさでいっぱい. お湯で…