なんとな~くしあわせ?の日記

「そしてそれゆえ、知識そのものが力である」 (Nam et ipsa scientia potestas est.) 〜 フランシス・ベーコン

MateでGoogle Drive使うならgoogle-drive-ocamlfuseがおすすめ

MateでGoogle Drive使うならgoogle-drive-ocamlfuseがおすすめ Linux上でGoogle Driveにマウントしたいという需要がある場合、google-drive-ocamlfuseというツールがおすすめ。という話。github.com Mate Linuxだと一応Gnomeの方にネットワークログインとい…

GradleのAntの環境情報を取得する方法

GradleのAntの環境情報を取得する方法 Gradle内部にはantを操作するAPIがあるのだが、ドキュメントがよくわからない。 内部でどんなバージョンのAntが使われているかもわからない。 // 以下のようにすると、Gradle内部のantがもってる情報が拾える task vers…

Mateでウィンドウから閉じるボタン(☓)が消えて困った

Mateでウィンドウから閉じるボタン(☓)が消えて困った Mateでウィンドウから閉じるボタン(☓)が消えて困った 現象 調査 使用しているウィンドウマネージャの調査 原因 現象 PC起動後に開くアプリケーションから、最小化ボタン、最大化ボタン、☓ボタンが消…

pytorchでGPUで訓練したモデルをCPUで動かす時

github.com表題通り pytorchは機械学習モデルの学習にCPUを使うかGPUを使うか選べる pythonでは機械学習モデルをpickle形式で保存することがある pytorchでGPUで訓練したモデルをCPUで動かす時、起こるエラーとその対処 以下のようにtorch.loadに引数を与え…

Debianをsidからbuster(stable)に戻した

Debianをsidからbuster(stable)に戻した Debianをsidからbuster(stable)に戻した sidからbusterに戻す手順 表題通り、ここしばらく(1年ぐらい)Debianを入れていたマシンが不調で原因がわかっていなかった。いろいろやってメモリがだめだとわかったので新…

torch.nn.LSTMのややこしいパラメータ

torch.nn.LSTMのややこしいパラメータ LSTMに渡すテンソルはどうするのが正しい? LSTMに渡すinputは, 3次元のテンソル 「文章の長さ × バッチサイズ × ベクトル次元数」, とQiitaにある PyTorchを使ってLSTMで文章分類を実装してみた - Qiita StackOverflo…

raspberry piのファイルシステムにUSBメモリーを使う

ラズベリーパイを久しぶりに起動させたのだがディスク容量が少ない、USBメモリーを使って容量を増やす。 // fdisk -l すると接続済みのUSBメモリーが出てくる $ sudo fdisk -l Disk /dev/sda: 7.6 GiB, 8103395328 bytes, 15826944 sectors Disk model: Tran…

Kotlinであるinterfaceを実装したサブクラスを関数の返り値に設定する方法

意外にネット上に情報がなかった Kotlinはfunのあとに型引数をとれるので、そこで以下のようにやるとインターフェースを実装したTを返り値にとれる fun <T: インターフェース名> hoge(): T {} あとは関数内で生成した対象をas Tしてやる その際の警告はアノテーション@Suppress("UNC</t:>…

KotlinでS3バケットをmockする場合s3mockが便利だった

s3mock github.com ユースケース ユニットテストでS3バケットへのファイルアップロード/ダウンロードをテストする場合 mockのS3バケットをJUnitで立ち上げたり、全部のファイルを事前に削除して再作成、みたいなことができる 使い方 ライブラリのセットアッ…

WSL2上でXServerを立ててLinuxのアプリを使う

WSL2上でXServerを立ててLinuxのアプリを使う autoize.com 上記の設定通りやればWindows10上でLinuxのアプリケーションが実行できる 前提となる条件としてはWSL2がインストールされていること VcXsrv Windows X Server download | SourceForge.net をインス…

Kotlin+spring-bootでapplication.ymlのデータを読み込む

Kotlin+spring-bootでapplication.ymlのデータを読み込む @ConfigurationPropertiesを使う Binder APIを使用する サンプルコード Kotlin+spring-bootでapplication.ymlのデータを読み込む spring-bootでコンフィグファイルを外だしするとき、一般的にはappli…

WindowsのCドライブをSSDにしてみた

なかなか快適になった。CPUが重いというよりファイルアクセスが多く、HDDが古くなっていたからだ。PLEXTOR PX-512M8VC 512GB 2.5インチ SSDメディア: エレクトロニクス

docker for windowsでPort 2375でdockerがLISTENしてない

そんなことがあるgithub.comstackoverflow.com 解決策 docker for windowsの設定ファイルを修正してdockerのdaemonを再起動する // windows-daemon-options.json - "hosts": ["endpoint|redacted"], + "hosts": ["endpoint|redacted|tcp://0.0.0.0:2375"],

EntityとDto

EntityとDto Dtoについてこれまで誤解していたことと、本来の使われ方について書く EntityとDtoの違い java - Difference between Entity and DTO - Stack Overflow 今回はこの記事について書く TL;DR: エンティティはビジネスドメインの一部でありうる。そ…

Apacheの同時接続スレッド数

表題の件を調べることになった、このページには最終的な手順のみ残す workerで動いてるか、preforkで動いてるか確認 Apacheのプロセス管理がなんのモジュールで行われているか確認する $ apachectl -l Compiled in modules: core.c worker.c http_core.c mod…

VisualVMが使ってみるとけっこうよかった件

visualvm.github.io仕事で負荷試験などを行ったのだが、ボトルネックがどこであるか非常にわかりやすい。 ボトルネックの見つけ方 ローカル環境 or JMXのポートを開けた環境でアプリケーションを起動する VisualVMで対象のアプリケーションの環境につなぐ サ…

Seleniumにおける待ち合わせの概念

Selenium このページの重要な点を翻訳 stackoverflow.com Implicit Wait(暗黙的待ち合わせ) 暗黙的待ち合わせはウェブドライバーのインスタンスにHTML DOMの要素を見つけたり、要素のグループやコレクションを見つけたりする時に即時利用可能でない場合の…

プロジェクトオイラーProblem 12を解いてみた

今回はほとんど自力では解けてないので、翻訳実装しただけです。 問題 三角数の数列は自然数の和で表わされ, 7番目の三角数は 1 + 2 + 3 + 4 + 5 + 6 + 7 = 28 である. 三角数の最初の10項は: 1, 3, 6, 10, 15, 21, 28, 36, 45, 55, ... となる. 最初の7項に…

AtCoder Beginner Contest 009 (辞書式順序ふたたび) を解いてみた

ABC 009 C問題に使われるアルゴリズム要素は貪欲法です。貪欲法自体は定型のアルゴリズムがあるわけではないので、知識ではなく地頭を問う問題です。 C - 辞書式順序ふたたび 解説:Abc009 問題文 文字列Sとその長さN、そして入れ替えしていい文字数Kが与え…

JSONを階層構造を保ったままCSV化

Herokuで公開しているアプリ aqueous-everglades.herokuapp.com無かったので作りました サンプル { "glossary": { "title": "example glossary", "GlossDiv": { "title": "S", "GlossList": { "GlossEntry": { "ID": "SGML", "SortAs": "SGML", "GlossTerm":…

クロスアカウントS3の設定

AWS

クロスアカウントとは AWSのアカウントが別個に存在するということ。セキュリティ的に分けている方針もあれば、そもそも使用している会社組織が異なるために別のアカウントになっていることもあるでしょう。今回はこれでだいぶハマりました。 クロスアカウン…

AWS LambdaでLayer機能を使う

Layers AWSのドキュメント AWS Lambda レイヤー - AWS Lambda AWSのLayersを使うと、Pythonの依存ライブラリなどを設定し共通ライブラリとして使える。(AWS Lambdaのソースコード容量制限は厳しいので、これを使うのが正しいだろう) AWS Lambdaのデプロイ…

PySparkの実行でImportError: No module namedが出たとき

ImportError: No module named エラー EMRの実環境でPySparkでクエリやUDFを実行させていたら以下のようなエラーが発生した。 ImportError: No module named 'foo' どうやら各ノードにPythonのモジュールが分散されていない(?)ようだ。 対処 StackOverflo…

PySparkのハマり(メモ)

pipで取得したpysparkを起動させると、以下のようなエラーが出ることがある。 Sparkのバージョンは2.3.1。 (venv) C:\Users\hiroyuki.nagata\PycharmProjects\vjsk-etl-flow>pyspark Python 2.7.12 (v2.7.12:d33e0cf91556, Jun 27 2016, 15:24:40) [MSC v.15…

Go言語で継承みたいなこと

Go

最近Go言語でつくるインタプリタを読んでいる。ほとんど趣味だが、lexer/parser(字句解析/構文解析)->ast化(抽象構文木)->eval(評価)までの流れを辿れるためとてもおもしろい。Go言語でつくるインタプリタ作者: Thorsten Ball,設樂洋爾出版社/メーカー…

PySparkでいろいろ調査したのでメモ書き

PySparkにはいろいろなファイルロード/セーブ方法がある。 メモ ローカル環境でShift-JISファイルを読み込んでUTF-8で出力 順当にリストをparallelizeしてRDDからDataframe化 #!/usr/bin/env python # -*- coding: utf-8 -*- from pyspark.sql import SparkS…

Neo4jRBでグラフDBをRailsから使う

Neo4j単体でも面白いのだけど、結果を現実世界に出すにはWEB画面を作るのが楽。というわけでNeo4jRBに触れてみる。とりあえず環境構築のみ。 環境構築 とりあえずDebianで環境構築をやってみる neo4jの準備 各環境にあったパッケージリポジトリを使用しまし…

Neo4jでJOINクエリ

Neo4jでJOINクエリ 課題・やりたいこと 課題 やってること なぜ、SQLでJOINしまくる羽目になるのか? やりたいこと 実践 概要と手順 データ設計の見直し 使ったクエリ プラットフォームの選択 Neo4jのコンフィグまわり WSLの環境へヘッダありCSVを読み込む例…

Neo4jでグラフアルゴリズム

前から調べようと思っていたNeo4jの勉強会に行ってきた。 jp-neo4j-usersgroup.connpass.com グラフアルゴリズム AOJ - 深さ優先探索 データセットの用意 ビジュアライズ アルゴリズム実装 グラフアルゴリズム とりあえず深さ優先探索、幅優先探索、ダイクス…

SoundHound Inc. Programming Contest 2018 - (Ordinary Beauty) 再考

問題 考えたこと 方針 期待値の線形性を利用して数列の美しさの算出を分解する 例 問題 d = 0の場合と d != 0の場合で場合分けする 解答コード 問題は単純なのだが、解法が全然思いつかず。 問題 C - Ordinary Beauty N, M, D が与えられるとき 1 ~ N まで…