なんとな~くしあわせ?の日記

「そしてそれゆえ、知識そのものが力である」 (Nam et ipsa scientia potestas est.) 〜 フランシス・ベーコン

Python

Slackのメッセージを一括削除したいのでslack-cleaner2を使った話

Slackのメッセージを消したいのでslack-cleaner2を使った話 動機 Slack側の設定手順 インストール手順 メッセージの削除 Slackのメッセージを消したいのでslack-cleaner2を使った話 動機 Slackのbotなどを使っており、テストでbotが作ったメッセージを消した…

cryptographyがRustを依存先にもったためpipが失敗するようになった

github.comコメントから https://github.com/pyca/cryptography/issues/5771#issue-803350135 新しく追加されたRustへの依存により、サポートされている多くのGentooアーキテクチャ(およびこれらは実際にcryptographyに依存するPythonパッケージを使用する…

pipで失敗した場合のメモ

いずれもAmazon Linux メモリ不足 qiita.com前もこのエラーを見た気がするが何度も忘れる。 $ pip install -r requirements.txt --no-cache-dir gcc: error trying to exec 'cc1plus': execvp: No such file or directory stackoverflow.comC++のツールが足…

pytorchでGPUで訓練したモデルをCPUで動かす時

github.com表題通り pytorchは機械学習モデルの学習にCPUを使うかGPUを使うか選べる pythonでは機械学習モデルをpickle形式で保存することがある pytorchでGPUで訓練したモデルをCPUで動かす時、起こるエラーとその対処 以下のようにtorch.loadに引数を与え…

torch.nn.LSTMのややこしいパラメータ

torch.nn.LSTMのややこしいパラメータ LSTMに渡すテンソルはどうするのが正しい? LSTMに渡すinputは, 3次元のテンソル 「文章の長さ × バッチサイズ × ベクトル次元数」, とQiitaにある PyTorchを使ってLSTMで文章分類を実装してみた - Qiita StackOverflo…

AWS LambdaでLayer機能を使う

Layers AWSのドキュメント AWS Lambda レイヤー - AWS Lambda AWSのLayersを使うと、Pythonの依存ライブラリなどを設定し共通ライブラリとして使える。(AWS Lambdaのソースコード容量制限は厳しいので、これを使うのが正しいだろう) AWS Lambdaのデプロイ…

PySparkの実行でImportError: No module namedが出たとき

ImportError: No module named エラー EMRの実環境でPySparkでクエリやUDFを実行させていたら以下のようなエラーが発生した。 ImportError: No module named 'foo' どうやら各ノードにPythonのモジュールが分散されていない(?)ようだ。 対処 StackOverflo…

PySparkのハマり(メモ)

pipで取得したpysparkを起動させると、以下のようなエラーが出ることがある。 Sparkのバージョンは2.3.1。 (venv) C:\Users\hiroyuki.nagata\PycharmProjects\vjsk-etl-flow>pyspark Python 2.7.12 (v2.7.12:d33e0cf91556, Jun 27 2016, 15:24:40) [MSC v.15…

PySparkでいろいろ調査したのでメモ書き

PySparkにはいろいろなファイルロード/セーブ方法がある。 メモ ローカル環境でShift-JISファイルを読み込んでUTF-8で出力 順当にリストをparallelizeしてRDDからDataframe化 #!/usr/bin/env python # -*- coding: utf-8 -*- from pyspark.sql import SparkS…

AWS GlueでSparkのDataframeを使う

AWS GlueでSparkのDataframeを使う Glue上のクラス構造 DynamicFrameからDataFrameへの変換 DataFrameからDynamicFrameへの変換 DataFrameを使った処理など 連番作成 カラムの追加、リネーム AWS GlueでSparkのDataframeを使う Glue上のクラス構造 docs.aws.…

AWS Glue上でboto3を使ってみる

現象 AWS Glue上でboto3を呼ぼうとしたのですが、あるはずのメソッドを呼ぶとエラーで落ちた。 対策 ここを読みましたLambda pythonから S3 にアクセスできない? 試しに、Lambda Functionパッケージ内から boto3とbotocoreを 削除する。削除した状態で Lmab…

PythonにおけるDBドライバごとのプレースホルダの違いなど

最近少しPythonなどに触れている。そこでぶつかった話 psycopg2 Postgresql用のPythonのDB用ドライバ実装、psycopg2を使うと以下のような見た目のコードになる Basic module usage — Psycopg 2.6 documentation >>> cur.execute( ... """INSERT INTO some_ta…