なんとな~くしあわせ?の日記

「そしてそれゆえ、知識そのものが力である」 (Nam et ipsa scientia potestas est.) 〜 フランシス・ベーコン

Hadoop Hive用にDockerのイメージを作ってみた

動機 Hiveのテスト時にいちいちEMRを起動したくない リポジトリ https://hub.docker.com/r/hiroyuking/docker-hiveserver2/ https://hub.docker.com/r/hiroyuking/docker-bigtop/ 参考にしたもの DockerとDocker Composeについては以下のサイトqiita.comApac…

文系エンジニアだがCourseraの機械学習コースを修了した

動機 以下の記事をQiitaで見つけて、これはいいなと思い受講してみました。qiita.com qiita.com 感想 学習期間 2月初旬に始めていたはずなのだが、結局終わったのは5月下旬。4ヶ月かかっている。 本来3ヶ月で終わるべきだが補習授業みたいな感じで期間を…

AOJ - ITP1_7_D (行列の積) を解いてみた

AOJ - ITP1_7_D 行列の積をプログラムに起こすと? 問題の内容 問題の解法 行列計算の参考リンク ITP1_7_Dは、今自分の中でブームの行列の積の問題です。生で計算しないにしても、機械学習にも大いに関係があります。 AOJ - ITP1_7_D Matrix Multiplication …

AOJ - ITP1_7_B (組み合わせ) を解いてみた

偉そうに書いてるが、これは序の口の問題である。。。 AOJ - ITP1_7_B 解法1 algorithm - Finding all possible combinations of numbers to reach a given sum - Stack Overflow アルゴリズム 処理フロー 結果 解法2 Given an array A[] and a number x, …

Bash/Octaveで順列・組み合わせ

Bashで計算しようとしたのだが、結論から言うと遅すぎて使えない。Octaveで計算すると早かったのでそっちを推奨する。 Bash 順列 (nPr) bash - Generate combinations of elements with echo - Stack Overflow 参考になったが、これはCombinationではなくPer…

Javaで簡単な組み合わせの総数 nCr を求めてみる

Aizu Online Judgeをやっていて、求められんかな?と思ったので。 速さとかは遅いと思う。 Java 実働してるやつ 参考 ソースコード 所感 Ruby 実働してるやつ ソースコード Java 実働してるやつ [Wandbox]三へ( へ՞ਊ ՞)へ ハッハッ 参考 stackoverflow.com ソー…

Apache PigでZipファイルをロード

github.com 経緯 仕事でHadoopを使うとき、gzip/bzipは標準で読み込めるがzipは読み込めなかった。困る。 Hadoopの本流でzipファイルを読む機能がマージされてないまま放置されていることに気づく Hadoopがzipをサポートしていない理由 | Tech Blog [MAPREDU…

Hadoop関連ソフトウェアを手っ取り早くパッケージでインストールする

Apache Bigtop Bigtop - Apache Bigtop Bigtop is an Apache Foundation project for Infrastructure Engineers and Data Scientists looking for comprehensive packaging, testing, and configuration of the leading open source big data components. Bi…

Apache PigでShift_JISテキストをUTF-8化

Apache PigでShift_JISテキストをUTF-8化 hdfs上にファイルを取り込む際、デフォルトの文字コードはUTF-8らしい。 どうやって取り込むか悩んだが、UDFという方法を見つけた。 User Defined Function:UDF Pig ユーザー定義関数メモ(Hishidama's Apache Pig U…

Msys2でSSL certificate problem: unable to get local issuer certificateが出たとき

エラー内容 git cloneしようとして、以下のようなエラー fatal: unable to access 'https://gitlab-xxxx/yyyy/xxxx.git/': SSL certificate problem: unable to get local issuer certificate 原因 対象のGitサーバが使用している証明書のRoot証明書がmsys2…

文系プログラマーがCourseraの機械学習コースを受講中

Qiitaで話題のCourseraの機械学習コースを受講して1ヶ月ぐらいになる。 Machine Learning | Coursera無手勝流でなんとかWeek3を終わらせた。このままだと遅延しているのだが、頑張って最後までやれば証明書がもらえるらしい。 2017/03/18 Week4終了 2017/04…

ClojureとREPL駆動開発

REPL駆動開発 またClojureです。REPL使ってやりたいことが即座にできなかったので、やり方をまとめました。 REPLを自分のプロジェクトの名前空間で起動 clojure - How to Run Code Using Leiningen? - Stack Overflow user> (in-ns 'myproject.core) 名前空…

Monger + mLab + ClojureでMongoDBに触る

MongoDBはいわゆるNoSQLで、きっちり行と列を定めなければいけないRDBと違い、JSONをそのままぶっこめる。 今趣味で触っているプログラムに使おうと思い、Mongerをクライアントライブラリとして使用してみた。 準備編 Monger ClojureのMongoDBクライアント側…

leiningenで作るuberjarがmavenでできたらいいと思ったら出来なかった話

Leiningenでuberjarを作る Clojureの日本語ガイドにあるように -> Part7: どのようにして Heroku へデプロイするか Leiningenから lein uberjar と打てばいわゆるFAT Jarができる。これは依存ライブラリを全て含んでいるのでJavaさえあれば実行できる。 Mave…

HickoryでHTMLをS式化

HiccupでHTMLをテンプレートとして扱いたいのだが、元ネタのHTMLが素のHTMLの場合、どうやってS式にするか?Stackoverflowに聞いてみそ stackoverflow.com 推しアンサー Github Wikiに方法がいっぱいあるやん clojure - Is there a parser for html to hiccu…

Spring Session

Qiitaに記事を書きました。qiita.com

Clojureを使ってみる

たまたまClojureを触ってみて、なんだか良さそうだと感じたのでいろいろ書き散らしている。 環境構築が比較的容易で、WEBアプリが作りやすそうなのがよかった。あとScalaほど四角四面ではなく、Groovyほど壊れにくい*1 環境構築 yoppi.hatenablog.comまずこ…

LinuxでOS自作入門の20日目に到達

長く苦しい戦いだった…*1 画像ははりぼてOSのコンソールからhelloコマンドを打っているところ 結局はりぼてOS向けアセンブラの実装の一番の難所は3日目と6日目ぐらいで、残りは命令を実装していけば終わりました 3日目はリンカスクリプトで、6日目はCOFF…

アセンブラを再実装してOS自作入門の4日目に到達

nantonaku-shiawase.hatenablog.com以前進捗報告したのが2016-06-09、それから5ヶ月ぐらい経っているわけですが、ようやく3日目が終了しました。長かった。 これまでの流れ harib00iに出てくるアセンブリの実装に手間取る → harib00iの実装 · Issue #4 · Har…

x86 汎用命令 - ModR/M の解説

ModR/Mについては前もちょっと記事を書いたけど、まだちょっと中途半端だったのでもう一度まとめます。nantonaku-shiawase.hatenablog.com ModR/Mの実際の例 ModR/Mの構造 ModR/Mバイトの構造 '''/r'''および'''/7'''の意味 regとr/mで使われるレジスタコー…

Let's Encryptを手動更新

blog.apar.jpだいたいここの指示にしたがえばよしこんなエラーが出た。 Cleaning up challenges Attempting to renew cert from /etc/letsencrypt/renewal/freestylewiki.xyz.conf produced an unexpected error: At least one of the required ports is alr…

Heroku + Plack + plenvを試す

ある目的のためにPlackをHerokuに上げたいと思っていた。で、試したので手順を書いておく。 plack-testing 今回試したリポジトリ github.com 手順 初期設定 plenv Rubyで言うところのrbenv、結構古いPerlじゃないと依存関係がぶっ壊れる $ git clone git://g…

CMakeでNinja向けファイルを生成する

Windowsでlinux向けC++コードをビルドする際に困るのはそのビルドの遅さだ。msys2を使ってMakefileを生成すると、死ぬほど時間がかかる。今までの数年間はautomakeでMakefileを生成していた。けれどもその遅さは普通の人間なら気が狂うレベルの遅さなのでや…

Windows10でxyzzyを使い始めてみる

所用がありWindowsを家で久しぶりに使った。 前はNTEmacsを使用していたが、xyzzyを使ってみた。結論から言うとまず最初に環境変数を設定する必要がある。 環境変数 環境変数 XYZZYHOME は,どのように設定したらよいのですか? 環境変数 XYZZYHOME は,どの…

Tinyexprで文字列上の数値計算をする

C++

久しぶりにC++の記事以下のような文字列中の数値計算をどうすれば行えるか悩んでいた。これを MOV ECX,512*1024/4 これに変換したい MOV ECX,131072 Tinyexpr それには文字列型の計算式を評価して結果を返すライブラリが必要。とりあえず組み込みやすいやつ…

BitBucketでSync branchするときの方法

git

Bitbucketで分岐元ブランチのコミットが進んだ場合、こんな表示が出る $ git checkout <hash> $ git merge remotes/origin/<branch>実際この操作だけだと、mergeしたソースをpushできない。 Merge detached HEAD back to origin/master – Git cmatskas.comこのサイトを参考</branch></hash>…

お使いのGoogleアカウントは停止されました…マジか

いきなり下のようなメールが来てアカウントが停止されてしまった! 原因 原因は、パソコンや携帯以外の端末(WEBサーバ)からGmailを送ったからでした。復旧用のメール設定しといてよかった。 qiita.com

FreeStyleWikiをAWSからHostingerに移してみた

nantonaku-shiawase.hatenablog.com結構前にFreeStyleWikiをいじっていたのですが、いつの間にか使わなくなりほったらかしでした。今回は、そのデータをサルベージしてHostingerにデータを移したりしてみました。 やったこと 独自ドメイン取得 freestylewiki…

SAML認証に関する自分なりのまとめ

SAML認証に関わるプログラミングをずっと続けていたので、ここらで少しわかりやすいまとめと考察を書きたい。まず、SAMLはだいたい2種類に分けられる。SP-initiated SAMLとIdP-initiated SAMLだ。 用語説明 SPとはService Providerの略でWEBサービスの提供…

Linuxでコンソールなどの背景透過にはcomptonを使うのがよさそう

環境はDebian/sid, LXDEを使っています(最近Mateの調子が悪い)。ご覧の通り、comptonを使えば背景透過がWindowsのようにうまくできます。Qiitaの記事に従って設定ファイルを作り、スタートアップに登録すればよろしいのではないでしょうか。qiita.com