ScalaMatsuriと被っていますか。後で資料は確認しておきますかね。 Apache Kafka Meetup Japan #4 @Yahoo! JAPAN https://kafka-apache-jp.connpass.com/event/77889/ #kafkajp
posted at 12:59:05
ツイートの記録を停止しています
このアカウントはTwitter APIの仕様変更の影響でツイートの記録を停止しています。
記録を再開するには、Twilogにログインしてください。
Stats | Twitter歴 4,843日(2010/12/26より) |
ツイート数 26,526(5.4件/日) |
表示するツイート :
ScalaMatsuriと被っていますか。後で資料は確認しておきますかね。 Apache Kafka Meetup Japan #4 @Yahoo! JAPAN https://kafka-apache-jp.connpass.com/event/77889/ #kafkajp
posted at 12:59:05
Offsetなんで巻き戻るんや・・・「これは発生しないはず。発生するということは俺たちがKafkaの内部動作を誤解しているのに違いない。」「俺もどうやらわかっていなかったらしい。」 https://twitter.com/kimutansk/status/958254377969397761…
posted at 17:24:52
「ぜんぜんわからない 俺達は雰囲気でkafkaをやっている」 https://potato4d.github.io/huniki_generator/?text=kafka… #huniki_generator
posted at 17:23:41
現状チーム内でSparkのユニットテストで1アプリケーション毎に1ケース実際にローカルクラスタデプロイして実行しているパターンがありますが、テストデータParquetをクラスタで作っていたのでparquet-cliビルド。これCSVから変換できるなら非常に使いいいのでは。 https://github.com/apache/parquet-mr/tree/master/parquet-cli…
posted at 14:22:35
お。2.1のignoreCorruptFilesに続いて、ignoreMissingFilesも入りますか。
https://issues.apache.org/jira/browse/SPARK-22366…
posted at 12:25:08
Digdag Retry、Exponential BackoffはTODOですか。このくらいなら自らやれんじゃね、という気もしますが、Configに入っている値をもちっと確認しないと元々の方針に反することやらかしそうなので、どこかでデバッグかけて確認しますか。 https://github.com/treasure-data/digdag/blob/v0.9.24/digdag-plugin-utils/src/main/java/io/digdag/util/RetryControl.java#L26…
posted at 10:26:51
まさにその通りではありますねぇ。社内に対する愚痴をつぶやくくらいならさっさか転職すればいいとは思います。 > RT
posted at 10:21:40
これは本当にそうで、社内の愚痴を頻繁につぶやく方が社内・社外において信用をなくしている事例を見たことがあります。 https://twitter.com/kzbandai/status/957274190352064512…
Retweeted by Sotaro Kimura
retweeted at 10:19:26
こういう様々な記述パターンが1質問に例と共にまとまっているのは相応にありがたいですね。 / “scala - How to select the first row of each group? - Stack Overflow” http://htn.to/FKmigT7
posted at 16:50:57
む。こんなのも出ますか。Dataの方も含めて読みますかね。Designing Distributed Systems: Patterns and Paradigms for Scalable, Reliable Services http://amzn.to/2rHKccw
posted at 08:36:11
データエンジニア、アナリストからなるデータ分析基盤チームのやるべきことと拡大する際に気を付けるべき4部作。面白い。最後にBigBrotherでのオファーがあるところもそれっぽくていいですねw / “Building The An…” http://htn.to/nygfuSoJzC
posted at 18:23:05
今回は海坊主とりょうさんってもうなんやねんw
posted at 09:57:54
非公開
retweeted at xx:xx:xx
KafkaのAck=allの時の動作、応答待ちの管理情報揃えて突っ込んで、後はBrokerがそのあたり気にせずにFetchしていき、追いついた段階で応答返すあたり、処理は追いにくいっちゃ追いにくいですね。Transactionの概念が入ったので、よりそのあたり入り組んできた感はあります。
posted at 11:16:12
インタビューして頂きました! / “「地味だけど、面白い!」―LINE・NTTエンジニアが語る、日本を支える大規模JVM運用の舞台裏|CodeIQ MAGAZINE” http://htn.to/iiNEHy
Retweeted by Sotaro Kimura
retweeted at 22:12:31
むむ・・・ Kafka側でFollowerがReplicaFetchする場合も、Offsetの確認はしてるんですよね。であれば、その時点の最新Offsetよりも遅いメッセージが書き込まれるようなことは実際ないはずなのですが、何があった? https://github.com/apache/kafka/blob/1.0.0/core/src/main/scala/kafka/log/Log.scala#L683…
posted at 17:17:45
表示拒否
retweeted at xx:xx:xx
尚、Spark Structured Streaming + Kafkaでログレベルをデバッグにすると1メッセージ毎に1行ログが出力するというとんでもない状況のため、分あたりログ量がGB級に到達して戦慄したのもいい経験でした。(? Executorが皆で全速でログ出すとやばいですね。
posted at 09:08:32
分散ミドルでエラーパターン網羅なんてできるとは思えませんし。単にコメントに「これは発生しないはず。発生するということは俺たちがKafkaの内部動作を誤解しているのに違いない。」がほっこり来ただけですか。
posted at 09:05:22
KafkaのデータのOffset巻き戻りが確定した時、これ完全にやらかしたかと思いましたが、バックアップ経路があるのはやはり大事や。Spark Structured StreamingがKafkaのエラーパターンに対応してないというのはありますが、まぁそのあたりはどういうパターンが発生するか網羅なんてできないでしょうしね
posted at 09:01:55
今日は完全に踏んだり蹴ったりでしたが、とりあえず明日復旧のめどは立った・・・
posted at 22:06:48
Kafka Brokerが保持するログのOffset逆行とかやらかしてしまいましたが、私は元気です(違 ReplicaFetcherで飛び交うリクエストと応答の内容をソースコード見て確認しないといけませんね。 何を満たしたら今回のような事象が発生するのか。
posted at 19:57:30
とりあえず、非常用に別経路のログを一定期間残しておいたのが助かった、という感じですか・・・ 今回やらかした分については復旧はできる。
posted at 17:53:07
ただ、事実としてはKafkaのローリングアップデート時に再起動の間隔次第では特定のPartitionのLogSegment中にOffsetが巻き戻るログが存在する状況になりえる。そしてそれはKafka_1.0.0でも発生すると。Ack=1で性能重視にしたのがまずかったかですかねぇ。
posted at 17:52:28
ざっとKafkaのログを見た限り、多少の欠落は発生しても、Offsetの巻き戻りは発生しそうには見えないのですが、何があった・・・
posted at 17:40:55
あー、Kafka上で順にメッセージを読んでいくと、Offsetが巻き戻っている個所があって、それがSpark Streaming的には予期しない流れなのか。どういう条件を満たしたらこれが発生するかを確認しないと。
posted at 16:50:37
ConsumerがKafkaから取得した結果で、Spark StreamingのConsumerがもっているレコードのIteratorを辿っていくと、何故か古いデータが引っかかってOffset値の矛盾でエラーになって死ぬわけですか。実際にこれはなぜ発生するかが甚だ疑問ではありますね。
posted at 15:50:01
まぁ、ネタはさておき。発生したからには何とか解消するしかないわけですか。
posted at 11:15:53
「This should not happen. If it does happen, then we probably misunderstand Kafka internal mechanism.」ってw 実際発生していますけどねぇ・・・ https://github.com/apache/spark/blob/v2.2.0/external/kafka-0-10-sql/src/main/scala/org/apache/spark/sql/kafka010/CachedKafkaConsumer.scala#L242…
posted at 11:14:07
この記事色々ぐさりと来ますね。NGポイント、まだまだ脱せていないことが沢山ある・・・ “Building The Analytics Team At Wish” by @samson_hu https://medium.com/wish-engineering/scaling-analytics-at-wish-619eacb97d16…
posted at 21:15:39
ようやくKafkaクラスタ一通りアップグレードして、http://inter.broker.protocol.versionも1.0になった。これでDisk死んでも影響範囲は抑えられるようになりましたか。他のことが積んであったというのはありますが、ようやくですか。ただ、これで一段階は安心と。 https://kafka.apache.org/documentation/#upgrade…
posted at 16:07:57
丁度また新しいSparkアプリケーション組むタイミングですし、切り出しやすそうなものから入れ込んでみますか。“Airframe: Lightweight Building Blocks for Scala” by @taroleo https://medium.com/@taroleo/airframe-c5d044a97ec…
posted at 12:06:28
やはり帰りの経路、電車乗って帰れる状況じゃありませんでしたか。とりあえず帰宅は出来たのでいいっすか。
posted at 17:40:04
「そんな装備で大丈夫か?」「大丈夫だ、問題ない」
posted at 16:39:10
雪降ってるといっても、関東ですよね。問題ないはず。
posted at 16:38:18
さーて、電車も人があふれて止まってたりするわけですし、年に1回くらいしかないでしょうし、雪を浴びながら歩いて帰りますか!(おい
posted at 16:33:24
朝から最初っから在宅でいいよというアナウンスがありつつも、家寒いのでオフィスに来て仕事しているあたり、生息地を会社と宣言しても問題ない気もしますねぇ。
posted at 14:13:59
現状オンプレとクラウド間の通信がProcessing時に発生すると通信費で爆死するので、単に透過的に見えて、扱えるだけだとハイブリッド環境からみると、いまいち美味しくないですからね。
posted at 08:51:20
予告通り情報で始めましたか。透過的な扱いは可能ですが、あとは実際の場所に応じたProcessing最適化がどう行われるかですか。「データを無理して1カ所に集めない」―Clouderaの新アプローチ、Shared Data Experienceとは? https://enterprisezine.jp/dbonline/detail/10279… @enterprisezineさんから
posted at 08:49:45
そして発売日また先延ばし・・・6月ですか。間が空くので忘れないようにしないと。 https://www.amazon.co.jp/Streaming-Systems-Where-Large-scale-Processing/dp/1491983876…
posted at 18:32:23
MapReduceをTable>Stream>Tableの流れで説明するの、わかりやすいですね。気になるのはAtWatermarkをどう判断するかですが、最適解があるわけでもないので、ドキュメントもきちんと読もう・・ / “Fo…” http://htn.to/tGBGoZW
posted at 18:27:21
あとは、忙しい+慣れてきて身につく技術の度合いが減ってきた場合も去るタイミングな気はしますね。そのあたり、時間的な余裕が担保されてたり、常に厄介な課題に挑めるかの要素もないと長くいるには正直厳しい・・・ https://twitter.com/s_kozake/status/954969378327375872…
posted at 17:58:20
非公開
retweeted at xx:xx:xx
Prometheus、2.0.0系にアップグレードして一息ついていたら実は2.1.0系出ている罠。上げますか・・・ https://github.com/prometheus/prometheus/releases/tag/v2.1.0…
posted at 15:31:06
Zookeeperのクラスタでホスト吹っ飛んだ場合、完全な物理上で運用してると厄介でしたが、ENIやら適切な仮想化基盤使えばこのあたり対応できるんですよね。 / “Rock Solid Kafka and ZooKeeper O…” http://htn.to/tg91ga
posted at 14:58:35
KPIは事業を「論理的に分解」したものであるけれど、実務の領域では、KPIとはまずもって事業責任者の「コミットメント」を皆につたえるメッセージ。それを良くすれば必ず事業が良くなるという責任者自身の「確信」や「覚悟」がないと機能しない。ここがよく理解されてないケースが多い。
Retweeted by Sotaro Kimura
retweeted at 13:21:14
フリーザ様&セルって何事や。今回。
posted at 09:58:09
表示拒否
retweeted at xx:xx:xx
こんな感じでネットワーク流量を基に実際にどこまで使えそうなの?という限界性能出して落とし込んでいくアプローチも面白い。 / “How To Size Your Apache Flink® Cluster: A Back-of-t…” http://htn.to/zihEy7
posted at 17:19:14
Topicをどう分けるかについての話。順序関係を保つ必要があるか否かが最重要判断基準など、内容は参考になりますし、あとはスキーマの適用戦略選択できるようになったのか。Schema Registry / “Should You P…” http://htn.to/xYVVNk
posted at 20:32:03
各システムでどのバージョン使われてるか確認しないと。そのあたり利用側にゆだねてるんすよね・・・ https://twitter.com/kani_b/status/954222809214894081…
posted at 14:38:24
2/9 に Kinesis Streams の証明書が変更されることで KPL をアップデートする必要があるのだけど、 fluent-plugin-kinesis 1.x は現状全て影響するので注意。 2.x を使いましょう https://docs.aws.amazon.com/ja_jp/streams/latest/dev/kinesis-kpl-upgrades.html…
Retweeted by Sotaro Kimura
retweeted at 14:37:27
@TJO_datasci 仮にこれが本質的な何かだとすると、もはや、「エグゼクティブ向けの説明」というのは、(聞き手を満足させる以外には)実質的な意味がないという事に・・・・。ひー。
Retweeted by Sotaro Kimura
retweeted at 12:13:54