なんとな~くしあわせ?の日記

「そしてそれゆえ、知識そのものが力である」 (Nam et ipsa scientia potestas est.) 〜 フランシス・ベーコン

AWS

DynamoDBのテーブル構造や設計について、特にRDBと違う点を中心に

AWS

最近DynamoDBを使う機会があったのでキーワード毎にゆるくまとめたいキーワード:Query/Scan、GSI/LSI、パーティションとソートキー、HashとRange キーワードごとのまとめ Query/Scan Query:プライマリキーの値に基づいて項目を探す操作、RDBで言うとインデ…

AWSソリューションアーキテクト – アソシエイトに合格した

AWS

AWSソリューションアーキテクト – アソシエイト 試験勉強 やったこと 勉強期間 リモート試験 やってみてよかったこと AWSソリューションアーキテクト – アソシエイト aws.amazon.comどんな資格か? 認定によって検証される能力 AWS のテクノロジーを使用して…

KotlinでS3バケットをmockする場合s3mockが便利だった

s3mock github.com ユースケース ユニットテストでS3バケットへのファイルアップロード/ダウンロードをテストする場合 mockのS3バケットをJUnitで立ち上げたり、全部のファイルを事前に削除して再作成、みたいなことができる 使い方 ライブラリのセットアッ…

クロスアカウントS3の設定

AWS

クロスアカウントとは AWSのアカウントが別個に存在するということ。セキュリティ的に分けている方針もあれば、そもそも使用している会社組織が異なるために別のアカウントになっていることもあるでしょう。今回はこれでだいぶハマりました。 クロスアカウン…

AWS GlueでSparkのDataframeを使う

AWS GlueでSparkのDataframeを使う Glue上のクラス構造 DynamicFrameからDataFrameへの変換 DataFrameからDynamicFrameへの変換 DataFrameを使った処理など 連番作成 カラムの追加、リネーム AWS GlueでSparkのDataframeを使う Glue上のクラス構造 docs.aws.…

AWS Glue上でboto3を使ってみる

現象 AWS Glue上でboto3を呼ぼうとしたのですが、あるはずのメソッドを呼ぶとエラーで落ちた。 対策 ここを読みましたLambda pythonから S3 にアクセスできない? 試しに、Lambda Functionパッケージ内から boto3とbotocoreを 削除する。削除した状態で Lmab…

EC2上でJettyにJMXを設定してjconsoleでメモリ使用量を確認する

JMX 仕事でアプリサーバの監視をする必要が出てきたので、Jettyにjmxを設定してみた。JMXとは Java Management Extensions - Wikipedia の略らしい。以下のサイトを参考にしました。 d.hatena.ne.jp ameblo.jp ハマりどころ RMI Serverが利用するポートの開…

AWSにSSL証明書を登録したりした

AWS

ELBへの証明書登録 WEBから登録できないとき httpからhttpsへのリダイレクト Amazon Certificate Manager Let's encrypt AWSはすごいのでロードバランサー*1に証明書を登録できる。ロードバランサーまではSSLで、そこからアプリケーションサーバはHTTPで通信…

AWSの罠

設定を事前にしておかないと、インスタンス再起動時にホスト名が変わってしまう…qiita.com上記からの引用 cloud-init用の事前環境設定EC2インスタンスコピー時に環境設定が変わってしまう問題を防ぐために以下を行います。 ・vi /etc/cloud/cloud.cfg ・pres…