情報更新
ツイートの記録を停止しています

 

ツイート検索

 

@kimutansk
サイトメニュー
Twilogユーザー検索
新規ツイートの取得を再開しました!取得再開にはログインが必要です。

Twilog

ツイートの記録を停止しています

このアカウントはTwitter APIの仕様変更の影響でツイートの記録を停止しています。
記録を再開するには、Twilogにログインしてください。

 

@kimutansk

Sotaro Kimura@kimutansk

  • 374フォロー
  • 991フォロワー
  • 85リスト
Stats Twitter歴
4,843日(2010/12/26より)
ツイート数
26,526(5.4件/日)

ツイートの並び順 :

表示するツイート :

2018年02月28日(水)3 tweetssource

2月28日

@kimutansk

Sotaro Kimura@kimutansk

なんか完全にコード読み違えた感が・・・ PlainTextのクラスを暗号化版と見間違えたか。寝ぼけてましたかねぇ。

posted at 12:03:39

2月28日

@kimutansk

Sotaro Kimura@kimutansk

完全に読み違えてましたがConsume時にSSL通すとZeroCopy喪失すると。で、この資料のベンチマーク、よく見るとBrokerのCPU使用率、Consumeされる際に爆上がりなんですが・・・やばいですね。 / “Kafka…” htn.to/uvJnoJ

posted at 11:59:34

2018年02月27日(火)6 tweetssource

2月27日

@kimutansk

Sotaro Kimura@kimutansk

#LINE_DM クラウドに乗ってるので、Kafkaから2重サブスクライブするなり、HDFSのファイルを移すなりしてホスト落としての試験は普通にできそうですが、しなかったのでしょうか。。。微妙に怖いですね

posted at 20:28:50

2月27日

@kimutansk

Sotaro Kimura@kimutansk

#LINE_DM ブロッキングで、単一サーバのダウンで全体性能減衰。。。うっ、頭が。TCPに応答ないパターンでないと顕在化しないのでプロセス落としたテストケースで検知できなかった。

posted at 20:18:09

2月27日

@kimutansk

Sotaro Kimura@kimutansk

地震があったのか、自分の感覚がおかしいのか、このくらいの地震だと瞬時に判断できないあたりに危うさを感じますねぇ・・・

posted at 08:09:09

2018年02月26日(月)1 tweetsource

2018年02月23日(金)2 tweetssource

2018年02月20日(火)5 tweetssource

2月20日

@kimutansk

Sotaro Kimura@kimutansk

今朝学んだこと。「水分多めにとってジョギングしてると二日酔い解消できる」(駄目人間 ただ、リアルに水分とって休んでるよりは早く引くんですよね。

posted at 09:39:05

2018年02月19日(月)43 tweetssource

2月19日

@kimutansk

Sotaro Kimura@kimutansk

@tagomoris なるほど。ありがとうございます。Kafkaだと3重レプリケーションで1かallどちらかのみで使いにくかったりする事情があったりしますので、2というのは丁度いいバランスになりそうですね。

posted at 23:51:43

2月19日

@frsyuki

Sadayuki Furuhashi@frsyuki

世界中にエッジサーバを設置し、一カ所のデータセンターに効率的に集めてくることができる分散データ収集システム。高信頼・高スループット・低レイテンシ・低転送コストを保証。カッコよくてIoT時代で売れそう。 #tdtech

Retweeted by Sotaro Kimura

retweeted at 17:46:01

2月19日

@kimutansk

Sotaro Kimura@kimutansk

#tdtech 定常集計のカテゴリわけ、データエンジニアとデータアナリスト、事業担当&マーケと。こういう形で段階的に切れる方が揃っているのは羨ましい所です。。。

posted at 16:37:11

2月19日

@tagomoris

tagomoris@tagomoris

「この画面、SEだけが使うっていう話だったんで2週間でちゃちゃっと作ったら普通にマーケターの人たちが使うようになっちゃって、使いにくいって言われてる」あるある系の話だ #tdtech

Retweeted by Sotaro Kimura

retweeted at 16:02:18

2月19日

@kimutansk

Sotaro Kimura@kimutansk

#tdtech 分析の敷居を徹底的にさげる、中間テーブルを作る、KPIの可視化グラフを沢山作ると。実際にこれを地道にやらないと文化は変わりませんよね。。。

posted at 14:10:26

2月19日

@tagomoris

tagomoris@tagomoris

TD、比較的最近ですがリソースプール機能が導入されて、顧客側で使えるリソースを分離・配分して重要な定期クエリに必要なリソースは別途確保できるように。これは運用でまじ重要なやつ。 #tdtech

Retweeted by Sotaro Kimura

retweeted at 13:58:46

2月19日

@tagomoris

tagomoris@tagomoris

24時間以上走り続けるクエリとかちょいちょいありまして、これがクエリエンジンのクラスタメンテナンスにおいて極めて重要な問題が……ぎぎぎ技術的面白さに #tdtech

Retweeted by Sotaro Kimura

retweeted at 13:53:42

2月19日

@tagomoris

tagomoris@tagomoris

「TDのお客さんじゃない方どのくらいいらっしゃいますか……あ、多いですね、よかった」よ、よ、よかった……いやまさにだからこそトークをお願いしているのです! よかった! #tdtech

Retweeted by Sotaro Kimura

retweeted at 13:48:52

2月19日

@kimutansk

Sotaro Kimura@kimutansk

@nora96o やはりそうなりますよね。そのあたりの最適化提案や調整が自動で走ると、デメリットを軽減できそうではあります。既に検討されているとは思いますが

posted at 13:44:48

2月19日

@kimutansk

Sotaro Kimura@kimutansk

#tdtech 時間範囲が動的になるということは、ArchivedのPlazma側とのマージなど、色々考えることはありそうですが、その分おもしろそうではあります

posted at 13:39:37

2月19日

@kimutansk

Sotaro Kimura@kimutansk

#tdtech パーティショニングで区切れはするのですが、メタデータテーブル肥大化とS3のアクセス数が増えますが、そのあたりのデータの特性毎のメリットデメリットが気になるところですね

posted at 13:37:11

2月19日

@kimutansk

Sotaro Kimura@kimutansk

色々コスト試算の結果とかを見てきて、クラウドに乗せるべき・・・はわかりませんが、乗せるべきではないシステム・サービスについては若干見えてきた気はします。 あとは、乗せるべきではないけど乗ってる(という記事がいくつかある)サービスが実際に存続するかを今後定点観測してみますかね。

posted at 11:52:36

2月19日

@kimutansk

Sotaro Kimura@kimutansk

Partitionオートスケールと、Tier分割による無期限保存がKafkaやPulsarと比して機能的には勝りますが、実際全保持するかというと、どうなりますかね。同一APIで古いものも読めるいうのは有利な点ではありますが。 htn.to/2kKaPV

posted at 10:51:09

2月19日

@kimutansk

Sotaro Kimura@kimutansk

KafkaがTransactional投入をサポートしたので、それでExactly onceを実現する内容ですか。データを保存し、PreCommitが全て済んだ後外部Commitをリトライし続けるアプローチですが、Kafka側でA… htn.to/5KnVw2

posted at 10:38:15

2月19日

@kimutansk

Sotaro Kimura@kimutansk

KafkaやPulsarみたいなメッセージバス系のOSSで、FlinkのコネクタもGitHubにはあると。Weekly読んでるとHDFSへの自動アーカイブとかもあって、それはそれでいいっちゃいいのですが。 / “Streams …” htn.to/Q65VpgCa

posted at 10:30:54

このページの先頭へ

×