CubicLouve

Spring_MTの技術ブログ

Java SDKでApache Beam(Dataflow)でGradleを使うサンプル

Java SDKを使ったApache Beamのパイプライン構築については公式ドキュメントなどを見るとMavenを使うことが多いのですが、Gradleを使った例が見当たらなかったので作ってみました。 github.com 個人的な感想なのですが、Mavenだと依存関係をpomで定義書くの…

Apache BeamでPTransformを使って分割したステップについてテストをする(Java)

簡単なまとめ Apache Beamでは PTransform PCollectionを使ってパイプラインを小さいステップに分割できる Apache Beamは分割してステップを簡単にテストできるテスティングフレームワークが整備されている パイプラインを細かく分割して、それらのテストを…

サービスを作る

雑多にまとめておく MVPとかPocとか InVisionやFigmaで作る。 それで、プロダクトのコアコンセプトのテスト、仮説検証できるところまでやる。 最初の文化 なぜこのサービスをやるのかを最初からチームで話す www.ryuzee.com blog.agile.esm.co.jp すべてのタ…

docker build時のキャッシュの判定

メモ書き スタートはdispatchersから https://github.com/moby/moby/blob/cf0ce96eb129ebcc7d07f0f47a8683c16f228c7d/builder/dockerfile/dispatchers.go ADD や COPY https://github.com/moby/moby/blob/cf0ce96eb129ebcc7d07f0f47a8683c16f228c7d/builder/…

"プログラミングの基礎" を読んだ

2ヶ月かけてプログラミングの基礎という本を読みました。 この本を読んだきっかけ この本は2013年くらいに @kis におすすめされた本でした。 購入日は2013/05/29 買ってすぐ読んだ記憶があるのですが、2章くらいまでで読むのをやめた気がします。 その後、数…

2020/07から2020/10までのGKEのリリースノートからGKEの機能で気になる部分をまとめる

セキュリティ関連は書いてないです。 kubernetesのアップデート内容には触れていません。 July 2, 2020 https://cloud.google.com/kubernetes-engine/docs/release-notes#july_2_2020 NodeLocal DNSCacheがGA Setting up NodeLocal DNSCache | Kubernetes En…

macOSでKarabiner-Elementsが認識されなくなったら試すこと

リカバリモードで立ち上げる Mac の電源を入れた直後に、「command (⌘)」と「R」の 2 つのキーを押し続ける ユーティリティは選択せずにメーニューバーからユーティリティ -> ターミナルを選択 ターミナルが立ち上がるはず spctl kext-consent add G43BCU2T37…

Rails 5.2以降のRails 5系でDBに都度接続している場合においてはdatabase.ymlで `reaping_frequency: null` を設定する

Rails 5.2以降でDBに都度接続している場合においてはdatabase.ymlで reaping_frequency: null を設定しないと、スレッドが枯渇してサーバーにsshすらできなくなりサーバーの再起動が必要になります。 sshはこんなエラーになります。 shell request failed on…

bcryptの調査とbcrypt-rubyを見る

Ruby(主にRails)でパスワードを扱う際のハッシュ化には bcrypt-ruby を使うことがほとんどだと思います。 github.com bcryptについて勉強しつつ、さらに実装を確認してみようと思います。 bcrypt-ruby は v3.1.15 を利用しています。 bcrypt 説明はwikipedia…

Railsのforce_sslとssl_optionsについて

Railsの force_ssl と ssl_options について知らないことが多かったのでまとめてみます。 railsguides.jp force_ssl force_ssl を有効にすると、ActionDispatch::SSL がミドルウェアとして差し込まれます。 rails/default_middleware_stack.rb at 5394c94a2b…

ブラウザのXSSフィルタはどうなったのか(2020/08/14 時点)

ブラウザのXSSフィルタを有効にするために、 X-XSS-Protection レスポンスヘッダーでブラウザの設定を上書きして有効にするという内容が徳丸本のp 135にでてきます。 XSSフィルターってどういう機能なんだろうと調べてみたところ、下記記事にある通り、2020/…

VS Codeでフォルダの階層をまとめない

Compact Folders を off or settings.jsonで下記を設定 "explorer.compactFolders": false, https://code.visualstudio.com/updates/v1_41#_compact-folders-in-explorer いつも忘れるのでいい加減メモっておく

React Navigationを4系から5系にバージョンアップする

ReactNative は 0.63.2 まで更新してある状態で、React Navigationのバージョンを4系から5系にバージョンアップしました。 その時の対応をまとめます。 React Navigation 5のアップデート内容 下記にまとまっています。 reactnavigation.org ここで取り上げ…

GKE上で動くPodでeBPFを使ってみる

GKEのバージョン 1.16.13-gke.1 Node Container-Optimized OS from Google コンテナのOS OSは下記を使うのでちょっと特殊 https://console.cloud.google.com/gcr/images/gcp-runtimes/GLOBAL/ubuntu_18_0_4?gcrImageListsize=30 # cat /etc/os-release NAME=…

Dockerコンテナのリソース利用状況をコンテナ内から把握する

dockerには docker stats というコマンドが用意されており、ホストからdockerコンテナの状態を知ることができます。 docs.docker.com www.datadoghq.com crate.io ホストからこのコマンドを叩けばdockerコンテナのリソース利用状況の一覧を取得できます。 ま…

suとsudo

su su コマンドは、PAM認証ユーザーの切り替えを行い、シェルの実行を行います。 su だけ打つとrootユーザーへ切り替え、rootユーザのシェルが実行されます。 su - は su -l と同じ意味をもち、ログインするときを全く同じになります。 su(1) manページ シェ…

ソフトウェアの資産計上について

よくわからんので、まとめていく 用語 説明 減価償却資産(有形固定資産) サーバーとか 減価償却資産(無形固定資産) ソフトウェアはここにあたる開発後一定期間継続的に利用することが想定されるので、そういうものに費やされた工数(費用)は減価償却する。 販…

ADMIN PINGとは

前提 Railsのバージョン https://github.com/rails/rails/tree/v4.2.6 ADMIN PINGの正体 ADMIN PINGというコマンドはありません。 実態はMySQLのCOM_PINGというコマンドになります。 https://dev.mysql.com/doc/refman/5.6/ja/mysql-ping.html https://githu…

JavaのJSONObjectのgetIntとoptInt

import org.json.JSONException; import org.json.JSONObject; public class HelloWorld { public static void main(String... args) { String json = "{\"screen_name\":\"katty0324\",\"age\":\"\"}"; JSONObject jsonObject = new JSONObject(json); Syst…

重回帰分析について

spring-mt.hatenablog.com から続く話です。 単回帰分析では、2つの変量しか扱っていませんでした。 重回帰分析では2変量以上の多変量とを扱います。 ただし、ある1変量を説明しようとするのは単回帰分析でも重回帰分析でもかわりません。 単回帰分析の回帰…

単回帰分析について

回帰分析とは 複数の変量(変数)があるときに、1つの変量を残りの変量で説明すること。 よくわからん 変量とは bellcurve.jp 単回帰分析 2つの変量を扱うものを単回帰分析と呼びます。 単回帰分析において、導きだしたい変量(目的変量)をy、導き出すために使…

Cloud Traceを使ってGKE上で動いているモノリシックなRailsアプリのパフォーマンスを分析する

Cloud TraceはGCPが提供するマネージドな分散トレースシステムです。 cloud.google.com Cloud Traceはマイクロサービスのような分散アーキテクチャで便利に使えるものですが、もちろんモノリシックなアプリケーションでも十分に使う価値があるサービスです。…

GKE上で動いているRailsアプリでアクセスログとアプリケーションログをCloud Loggingでグルーピングする

medium.com こちらに書いてある内容をRailsで実現するためにやったことを書きます。 StackdriverはOperation Suiteと名前が変わっており、それに伴ってStackdriver loggingも Cloud Logging と名前を変えています。 GKEで動かしているアプリケーションのログ…

2020/07/07 気になった記事メモ

1 https://codeburst.io/api-rate-limiting-with-node-and-redis-95354259c768 確かにrate limitをシンプルに実装するならこれでいいか。 2 qiita.com コンテナのセキュリティ周りについて網羅性がある。 3 scrapbox.io このステップはとても理解しやすい。

2020/07/06 気になった記事メモ

1 y-anz-m.blogspot.com developer.android.com く、わかるようでわからん。 2 medium.com 大分サボってたけど、これやってみるか 3 asnokaze.hatenablog.com UUIDv6では、特殊な操作なく単純なソートで時系列順にでき、利用時にアクセスの局所性を持つ様に…

2020/07/03 気になった記事メモ

1 mrasu.hatenablog.jp Zanzibarはデータを非正規化をせずに(Leopardは例外)、代わりにキャッシュを使って対処しています。 なるほど 2 speakerdeck.com qiita.com ワークフロー定義はどうしようかな、、Composerつらそう

2020/07/02 気になった記事メモ

1 qiita.com speakerdeck.com github.com TiDBは夢がありそう 2 qiita.com 基礎をちゃんと押さえられる資料です!

2020/07/01 気になった記事メモ

1 tech.mercari.com 環境整備の話もそうなんですが、tput とか使ったことなかった。。。 2 blog.jxck.io 3rdPCが死んでいく過渡期にいるから、対応が大変だ 3 logmi.jp 運用でカバー、とりあえず に関してはbotでも作ろうかなw

2020/06/30 気になった記事メモ

1 scotthelme.co.uk qiita.com www.chromium.org Laxすっかり忘れてましたね、、 ChromeのSameSite対応 7月14日から対応再開ですね。 asnokaze.hatenablog.com FirstPartyLaxという仕様も提案されている。 2 docs.google.com GCPの原始の世界を知ることで現…

2020/06/29 気になった記事メモ

1 thinkit.co.jp istio.io istio いつのまにか istiodなるものが登場して、Citadel Pilot Galleyをまるっと一つにしてた。 Mixerもいなくなったのか。 これ結構でかいんでは、、、 2 kokotatata.hatenablog.com シフト・レフトテスト、シフト・ライトテスト…