AWS
最近DynamoDBを使う機会があったのでキーワード毎にゆるくまとめたいキーワード:Query/Scan、GSI/LSI、パーティションとソートキー、HashとRange キーワードごとのまとめ Query/Scan Query:プライマリキーの値に基づいて項目を探す操作、RDBで言うとインデ…
AWSソリューションアーキテクト – アソシエイト 試験勉強 やったこと 勉強期間 リモート試験 やってみてよかったこと AWSソリューションアーキテクト – アソシエイト aws.amazon.comどんな資格か? 認定によって検証される能力 AWS のテクノロジーを使用して…
s3mock github.com ユースケース ユニットテストでS3バケットへのファイルアップロード/ダウンロードをテストする場合 mockのS3バケットをJUnitで立ち上げたり、全部のファイルを事前に削除して再作成、みたいなことができる 使い方 ライブラリのセットアッ…
クロスアカウントとは AWSのアカウントが別個に存在するということ。セキュリティ的に分けている方針もあれば、そもそも使用している会社組織が異なるために別のアカウントになっていることもあるでしょう。今回はこれでだいぶハマりました。 クロスアカウン…
AWS GlueでSparkのDataframeを使う Glue上のクラス構造 DynamicFrameからDataFrameへの変換 DataFrameからDynamicFrameへの変換 DataFrameを使った処理など 連番作成 カラムの追加、リネーム AWS GlueでSparkのDataframeを使う Glue上のクラス構造 docs.aws.…
現象 AWS Glue上でboto3を呼ぼうとしたのですが、あるはずのメソッドを呼ぶとエラーで落ちた。 対策 ここを読みましたLambda pythonから S3 にアクセスできない? 試しに、Lambda Functionパッケージ内から boto3とbotocoreを 削除する。削除した状態で Lmab…
JMX 仕事でアプリサーバの監視をする必要が出てきたので、Jettyにjmxを設定してみた。JMXとは Java Management Extensions - Wikipedia の略らしい。以下のサイトを参考にしました。 d.hatena.ne.jp ameblo.jp ハマりどころ RMI Serverが利用するポートの開…
ELBへの証明書登録 WEBから登録できないとき httpからhttpsへのリダイレクト Amazon Certificate Manager Let's encrypt AWSはすごいのでロードバランサー*1に証明書を登録できる。ロードバランサーまではSSLで、そこからアプリケーションサーバはHTTPで通信…
設定を事前にしておかないと、インスタンス再起動時にホスト名が変わってしまう…qiita.com上記からの引用 cloud-init用の事前環境設定EC2インスタンスコピー時に環境設定が変わってしまう問題を防ぐために以下を行います。 ・vi /etc/cloud/cloud.cfg ・pres…