30分くらい寝過ごしてしまった。快速を捕まえるには、びみょーな時間帯。

posted at 08:37:29

RT @mamechi_t: 「知識詰め込み型教育」の対局が「考える力を養う教育」だとして、その考える力とやらも前提となる知識がないとダメなわけですよ。仮に「関ヶ原の戦いに関する歴史的意義について述べよ」という問題に答えるとして、その時代背景に関する知識なしに答えられるとは到底思えん

posted at 09:07:49

#index 「Hadoopソースコードリーディング 第8回 (2012/02/08) 参加メモ」<http://twilog.org/nsiena/date-120208/asc > #HadoopReading

posted at 09:12:57

いつも索引ツイートを流し忘れてしまうなぁ

posted at 09:13:29

なんだか天気がすぐれないし、空気がつめためだと思ったら。細かい雪がちらついてるような気が。

posted at 08:02:15

あう。水分補給してくるのわすれた ><;

posted at 08:06:21

RT @BlackFox17: 地元発の始発列車　乗った時から 大手町駅は　雪の中 会社向かう社畜の群れは　誰も無口で 上司の言うことだけを　きいている 僕も一人 エレベーターに乗り 壊れそうな同期見つめ 泣いていました ああ　社畜海峡冬景色

posted at 08:29:00

RT @ltzz: iフィルターはガチでヤバい。何がやばいってUNIXのエディタの紹介ページ開こうとしたら　ブ　ロ　ッ　ク。　理　由:　宗　教

posted at 09:22:35

RT @IPSJcom: #IPSJ　情報処理学会　本日19:30-NHKクローズアップ現代でコンピュータ将棋が取り上げられます。電通大の伊藤先生がご出演です。一昨年の「あから2010」の清水女流王将戦勝利、先月の「ボンクラーズ」の米長将棋連盟会長戦勝利など記憶に新しい所です。

posted at 16:55:08

@kunit @lllnorikolll がおー (>o<)

posted at 17:52:15

本日のMTGは途中退席させていただいて、 #HadoopReading に移動中。ぎりぎりまで参加していたので、始まるまでに着けないことが確定なのです /_;

posted at 17:57:02

会場着いたー ^^= #HadoopReading

posted at 19:09:41

#event 2012/02/08「Hadoopソースコードリーディング 第8回」<http://hadoopsrc8th.eventbrite.com/ > : 「最近こればっかという気がしつつも MapR を取り上げることにした」とのこと。 #HadoopReading

posted at 19:12:26

「第7回 日本OSS貢献者賞・奨励賞 <http://ossforum.jp/ > に、ぜひ推薦をしてほしい。これだけ言えれば、今日は満足w #HadoopReading

posted at 19:14:03

『オレオレMultipleInputを作る方法』(@muddydixon) : 「MongoDB を使うために MongoMultipleInput を作った経験から。 #HadoopReading

posted at 19:15:57

RT @ryu_kobayashi: ちょっと遅れてUST開始 (live at http://ustre.am/Ht6D/1) #hadoopreading

posted at 19:17:47

「TaggedInputSplit クラスが private なので、DelegatingInputFormatから利用できなくて困った。これは public であるべきでは? しかたなく、バイパスするためのクラスを作成してしのいだ。 #HadoopReading

posted at 19:21:51

ソースコード、読めるほど見えないです…… #HadoopReading

posted at 19:22:49

まぁ、ソースを読めばわかるだろう、といったところかしらん。 < <https://github.com/muddydixon/mongo-hadoop/blob/develop/mul... > #HadoopReading

posted at 19:36:41

『MapR & マルチテナント - MapR ってどうよ? -』(リクルート 中野さん、高林さん、大坪さん) : 「MapR とは。という資料は作ってません! というわけで、EMC の方に 10分ほど前にお願いしました!!」 (^^; #HadoopReading

posted at 19:54:40

「＼OSSな場で、プロプライエタリな話をするのはどうかという気もしますが／。 MapR Tech. は、元Google エンジニアによって創業。2年間の闇開発ののち、2011/05 に公開。 #HadoopReading

posted at 19:59:59

「HDFS を C/C++ で MapR FS に再設計・実装。Java API としては 100% 互換。 分散NameNode, NFS アクセス, ボリューム, ミラーリング, スナップショットなどをサポート。様々なボトルネックを解消。 #HadoopReading

posted at 20:00:56

「ここからが本題。MapR の 1.性能検証, 2.マルチテナントでの機能検証, 3.リクルートにおける Map の評価について。 #HadoopReading

posted at 20:03:22

「中古車サイトで使われているサマリ処理のバッチ処理で比較。パーティション・圧縮で MapR が 1.3倍、非パーティション非圧縮で 1.76倍程度高速。もちろん、チューニングによって変わるので注意。 #HadoopReading

posted at 20:06:23

「マルチテナント検証。1クラスタに複数ユーザのジョブを実行。ユーザは、お互いに隔離されて、データなどは見えないという設定。 #HadoopReading

posted at 20:08:06

「ユーザは Linux ユーザ準拠。MapR クラスタを一つのリソースとしてとらえて、ジョブ管理などの操作権限をいろいろ設定。ボリュームという、ユーザや HDFS などとは独立した論理ユニットを使用。 #HadoopReading

posted at 20:14:09

「FairScheduler に関して。プールのスロット数の設定を変えて、1テナント内で複数ジョブが実行された時のプールへの割り当て状況を確認。これは、課金処理などを想定した調査。 #HadoopReading

posted at 20:17:57

「じゃらん PV データ 1ヶ月分をロードし、検索処理などを行なう。ZooKeeper と CLDB に最大 3台、他に 8台を割り当てる "3+8台構成” や、全てを均等に使う "11台構成"、8台は不使用とする "3台構成" を比較。 #HadoopReading

posted at 20:23:01

「3+8台、11台構成はほぼ同様に。3台構成は台数なりに。それなりにフェアな割り当てが行われていることを確認。 #HadoopReading

posted at 20:24:21

「フェイルオーバ。Apache Hadoop と異なり、マスタ/スレーブを意識した設計が必要がない。 #HadoopReading

posted at 20:28:24

「JobTracker の切替え時間を累積時間で調査。停止検知まで 30秒前後 (ハートビートのタイミングか), 切替終了まで 1分前後, 実行中ジョブの引き継ぎ完了まで 6分前後, ジョブ実行西海まで 13分程度。 #HadoopReading

posted at 20:29:53

@ppoi なんですと…… ><;

posted at 20:33:21

RT @muddydixon: 本日の資料です。 http://www.slideshare.net/muddydixon/multipleinput #hadoopreading

posted at 20:37:59

「残り 5分くらいで Mesos のばーっと説明をするので、覚えて帰ってください >< Mesos は、Apache Incubator プロジェクト下で展開している、効率的なリソース分離・共有機能を提供するクラスタマネージャ。 #HadoopReading

posted at 20:38:46

「Hadoop クラスタから Mesos マスタにジョブ投入され、その後になって初めて Mesos スレーブ (== JobTracker) が起動されて、データノードで処理が実行される。 #HadoopReading

posted at 20:42:19

「MapR と異なり、Mesos では、CPU 使用率やメモリ使用率に制限をかけられない。マルチテナントでは、注意が必要。 #HadoopReading

posted at 20:44:08

マルチテナント環境での MapR と Mesos の利点・欠点の比較表。これは目立つところで共有すべきだと思った。 # 読みきれないよー /_; #HadoopReading

posted at 20:46:18

「リクルートにおける MapR に対する評価。利点: パフォーマンス、運用、耐障害性、バックアップ、NFS。課題: 保守、将来性、ドキュメント。CDH の相対評価はこれらが逆転。 ＼速いだけじゃ不安。CDHはNTTデータの保守サポートがあって安心／。 #HadoopReading

posted at 20:50:46

RT @mogemogu: MapRの宣伝かと思ったらNTTデータの宣伝だったおw #hadoopreading

posted at 20:52:04

中途半端に食べたら、空腹感がはんぱない --;

posted at 20:55:56

RT @shin_semiya: 「CDHに将来性を感じた理由ってなんですか？」「ステマ？」　#hadoopreading　→「いつEMCがHadoopから独自路線で行くぜ－ということへの危惧」「NTTデータがサポートしているから」→「NTTデータがMapRをサポートしたら？CDHを捨てたら？」

posted at 21:13:15

RT @shin_semiya: 結論：「 @shiumachi さんがいるからCDH超サイコー」　#hadoopreading

posted at 21:13:21

ステマを、デスマに空目してしまってしかたがない今日この頃。どきどき。 #soram

posted at 21:14:52

なにやら、書籍の執筆が進んでいるらしい。次回は、3月かも、とのこと。 #HadoopReading

posted at 21:20:10

というわけで、おしまい。もう少ししたら解散、かな。 今回も、おもしろかった。いつもありがとございますー。 #HadoopReading

posted at 21:21:17

どうやら、有楽町線のダイヤが乱れているらしい

posted at 21:34:55

RT @takagi: 発売日も決まったということで、ひとまず告知だけ。よろしくお願いします。『継続的デリバリー　信頼できるソフトウェアリリースのためのビルド・テスト・デプロイメントの自動化』 本体価格：3800円 発売日：3月5日 発行：株式会社アスキー・メディアワークス 訳：和智右桂、高木正弘

posted at 20:48:06

でんしゃあついー ;_;

posted at 08:04:55

RT @kskszk: わざわざ人が好きだっつってるものを否定する必要はないと思うけど、いやもうこれマジで世界狙えるわって同じことを30年前に言われてた人がガラパゴスなうなんだよっていうのを知ってると、可能性を見せてお金にするビジネスで食い続けるスキルの方にこそ学ぶところがあるんじゃねって思うけどね。

posted at 08:13:44

RT @kis: 「説明が面倒臭いんで、今の忙しさを「デスマ」ってことにしてる」あるあるｗ 「デスマ？ いいえ時間が浪費されただけです | おごちゃんの雑文」 http://www.nurs.or.jp/~ogochan/essay/archives/1858

posted at 08:14:03

しまった。今日の午後から明日いっぱい、雨なのね。傘を持ってくるんだった ;_;

posted at 08:36:54

@zakkas783 幻想御手が足りないわ!

posted at 08:58:02

@zakkas783 だって…… 学園都市(何処) に通ってるとはいえ、あたし Lv.0 ですやん ><;

posted at 09:10:34

@zakkas783 その後、質量的に部分部分が、指向性的にあっちこっちに空間移動する様を妄想してしまいまいた。 それ、なんていうばらばら殺人事件?

posted at 09:20:30

@zakkas783 ちょw 物は言い様ww

posted at 09:35:46

@hhelibex 読む価値があるのが 1/3 もあるなんて、素晴らしい世界じゃないか。とか思った。

posted at 09:58:51