Luigiという公式に某配管工の弟なフロー制御フレームワークの実装を読む日々。つらみ。 そもそもLuigiとはなんぞや？の場合、以下を読むとなんとなくイメージつくかもです。 https://qiita.com/colspan/items/453aeec7f4f420b91241qiita.com 読んでいくとき…

Redshiftのデータロード方法について、初めて触れるところがあるのでメモする。 データのロード - Amazon Redshift Insert COPYコマンドが推奨される。 COPY コマンドは Amazon Redshift の超並列処理 (MPP) アーキテクチャを活用し、Amazon S3 のファイル、…

前回Sparkについて調べた。 次はSpark、というかhadoopをEMRで立てるので、どういう設定になっているのかを調べる。 インストールされるコンポーネントだけで今は精一杯なので、とりあえずそこだけわかっていることをメモしておく。 インストールされるコン…

前回、アイカツ!シリーズのCD売り上げ枚数から現在の状況を見てみたんだけど、やっぱりここははずしちゃダメなんじゃないかという点を分析する。それはプリパラにアイカツ!は負けたのか？ 対象とするターゲット層やコンテンツ的にもアイカツ!とプリパラはラ…

仕事でpySparkを使うことになりそうなので、事前学習中。 まずはそもそものSparkについて勉強するために以下あたりで勉強。 初めてのSpark作者: Holden Karau,Andy Konwinski,Patrick Wendell,Matei Zaharia,Sky株式会社玉川竜司出版社/メーカー: オライリー…

Sparkの本読んでいて、アキュムレータというワードが出てきた。 あれ、これってCPUじゃないのと思っていろいろ調べたのでメモしておく。 CPUでアキュムレータっていうと算術論理演算装置（ALU）の演算結果を格納する場所ってイメージがあった。 wikipediaだ…

テストクラス作っていた時に、詰まったのでメモする。 python実装していて、自分で作ったモジュール（クラス）が今実装しているpyファイルとは別ディレクトリで、 別ディレクトリのモジュール内のクラスをimportするってことは往々にしてある。 はまったとき…