Google Compute Engine

訳あって Google Compute Engine で遊んでいる.後発なだけあって,EC2 よりも整理されているイメージ.できることは同じだけどもね.

2014/10/1 - 2014/11/3

常用している Google App Script のアップデート Gmail の古いメールを自動的にアーカイブ行きにするスクリプトを動かしていたのだが,あまりにも属性を参照しすぎているせいか,実行速度が遅くなっていたので,改善した. 改善前の挙動は以下の通り: Inbox …

TOFU

TOFU でご飯たべながら Nettiza の GLOOM TABLEというのが Secondary Index を上手く張れて良いらしいという話をしていた.

msgpack-java hakathon

突如として frysuki さん,taroleo さん,haj さんと集まって msgpack-java hakathon が開催された. お酒飲みながら v07 の Value 型のテストを書いたら夜中の3:00くらいになっていた.

Nexus 5

決めた,買うぞ. 購入手続き完了. 出荷されたみたい. 久しぶりに Android 熱が上がってきた気がする. 夕ご飯のお店. うまい.

サンフランシスコ市内

final な Factory クラス

Factory クラスが final クラスになっているために,テストが大変書きづらい状況に遭遇した.final じゃなかったら,override して mock オブジェクトを返せるのだけど.

29(火)

初 Symantec 社訪問.YARN の JIRA が 2000 を超える.一方で,Tez の JIRA は 1000 オーバー.勢いがあるね.

28(月)

RM HA のドキュメントを書いた.

HBaseZeroCopyByteString

今日は protobuf のコードと格闘していた.protobuf で宣言された bytes は全て ByteString クラスにマッピングされるのだが,ByteString クラスには 1 つ問題がある.デフォルトでは wrap メソッドを持たないため,copyFrom メソッドを用いる必要があり,ゼ…

22(火)

Scala 2.11.0 がリリース .2.10.x でコンパイルできるコードは 2.11.x でもコンパイルできるらしい.ミドルウェア書いている人々にとってはかなりうれしい気がする(Spark とか Play とか msgpack とか...).

21(月)

まるまる寝ていた次の日は元気に活動ができる. 後輩の研究の話を見ていた.システム系の研究は前提条件と課題設定のところで5割くらい決まる印象.実装コストが重いのも特徴か.アルゴリズムは技勝負(アイデア)の比率が高い気がする.

17(木)

Hadoop でたまにテストがこける問題の再現が面倒なので,failchecker というシンプルな bash スクリプトを作った.テストがこけるまで特定のテストを回し続けて,失敗した時点で停止する.こうすることで,テストがこけたときのログを無事に回収することがで…

12(土)

睡眠メイン. RDD を,Spark から切り離して汎用パーツとして使えるようになったら,結構便利だと思うのだが,難しいだろうか.つまるところ,耐故障性を担保する一番面倒な部分をプログラミングインターフェースを切り離して再実装するという話になるから,…

11(金)

@k_oi に NameNode HA の RetryCache の挙動を説明していたら理解に甘いところがあったので,再度設計と意義を確認した. (Active) UUID + CallID を受け取って処理実行. (QJM) UUID + CallID 込みで Journal に保存. (Active) 処理結果を基にレスポンスを…

10(木)

まあ,なんだ,びっくりした.

7(月)

Hadoop 2.4.0 のリリース作業. rc0 が出ていたので動作確認.テストがこける件について報告.コミュニティの対応は早くて,もう trunk に修正パッチがマージされた. その後,その修正自体は 2.4.1 に含まれることになった.hmm,って感じ.

7(金)

Python によるデータ分析入門を読み始める.リスト内包表記のうれしさがイマイチ理解できていなかったのだが,解析の実例を見ながら見ていると大分便利だなと思う.1章の途中まで見ている感じだと,pandas は本質的には集合に対する操作なので,SQL にマッピ…

6(木)

久しぶりにおにく+ワインを頂いた.やはり美味しいモノは正義...

5(水)

DEIM2014 3日目. 東京に帰ってきてから魚料理を食べた.日本は飯が圧倒的にうまい. 夜明け SIGSPRING

4(火)

DEIM2014 2日目. 後輩の発表を聞いたり,議論したりしていた.間をぬってたまったパッチを消化しつつ,身体が限界を迎えつつあったので温泉+マッサージ+睡眠.懇親会ではインターンに来ていた方とお話.楽しい時間だった.

3(月)

今日から DIEM2014に参加. 発表完了.開始時にディスプレイが写らなくてだいぶテンパった.司会の方と同僚の方に助けられた.ポスターは,興味を持ってくださる方がかなり偏っていたせいか,非常に濃い議論ができた.お付き合い頂いたみなさま,ありがとう…

2(日)

明日の DEIM2014 に向けて,大坂に前日入り.寝過ごす心配を軽減する狙い.

1(土)

体力が限界を迎えたので睡眠を多めにとった.

28(金)

久しぶりにリソースがサチっている感じ.ぎりぎりなんとかなりそう.

27(木)

移動日.サンノゼ空港ラウンジのポテチがうまいと聞いて,試してみる.大変美味しかったため,2袋食べてしまった.幸せ.

26(水)

自分に assign されている古いチケットを消化しつつ,新しいチケットを見ている.Tez/MR/YARN に注力する方針.

25(火)

purge OS X に搭載されている purge (ディスクキャッシュを解放するコマンド)を実行したところ,なんと実行に2分以上かかって驚いた.CPU 使用率は 50% - 100% くらい.sync が走っているのか io wait もそこそこ発生していた気がする.

24(月)

Debugger break point をしかけてわかったのは,どうも意図したコードパスを通っていないこと.想定外.

23(日)

Tez ひたすら1つのテストケースが通らないのと格闘し続けている.何が辛いかというと,どうも例外が握りつぶされてログが全くでないことだ.あ,デバッガを使えばいいのか. サーバ 自宅のメディアサーバにしていた MacBook Pro が起動しなくなった.5年目だ…