Python
Slackのメッセージを消したいのでslack-cleaner2を使った話 動機 Slack側の設定手順 インストール手順 メッセージの削除 Slackのメッセージを消したいのでslack-cleaner2を使った話 動機 Slackのbotなどを使っており、テストでbotが作ったメッセージを消した…
github.comコメントから https://github.com/pyca/cryptography/issues/5771#issue-803350135 新しく追加されたRustへの依存により、サポートされている多くのGentooアーキテクチャ(およびこれらは実際にcryptographyに依存するPythonパッケージを使用する…
いずれもAmazon Linux メモリ不足 qiita.com前もこのエラーを見た気がするが何度も忘れる。 $ pip install -r requirements.txt --no-cache-dir gcc: error trying to exec 'cc1plus': execvp: No such file or directory stackoverflow.comC++のツールが足…
github.com表題通り pytorchは機械学習モデルの学習にCPUを使うかGPUを使うか選べる pythonでは機械学習モデルをpickle形式で保存することがある pytorchでGPUで訓練したモデルをCPUで動かす時、起こるエラーとその対処 以下のようにtorch.loadに引数を与え…
torch.nn.LSTMのややこしいパラメータ LSTMに渡すテンソルはどうするのが正しい? LSTMに渡すinputは, 3次元のテンソル 「文章の長さ × バッチサイズ × ベクトル次元数」, とQiitaにある PyTorchを使ってLSTMで文章分類を実装してみた - Qiita StackOverflo…
Layers AWSのドキュメント AWS Lambda レイヤー - AWS Lambda AWSのLayersを使うと、Pythonの依存ライブラリなどを設定し共通ライブラリとして使える。(AWS Lambdaのソースコード容量制限は厳しいので、これを使うのが正しいだろう) AWS Lambdaのデプロイ…
ImportError: No module named エラー EMRの実環境でPySparkでクエリやUDFを実行させていたら以下のようなエラーが発生した。 ImportError: No module named 'foo' どうやら各ノードにPythonのモジュールが分散されていない(?)ようだ。 対処 StackOverflo…
pipで取得したpysparkを起動させると、以下のようなエラーが出ることがある。 Sparkのバージョンは2.3.1。 (venv) C:\Users\hiroyuki.nagata\PycharmProjects\vjsk-etl-flow>pyspark Python 2.7.12 (v2.7.12:d33e0cf91556, Jun 27 2016, 15:24:40) [MSC v.15…
PySparkにはいろいろなファイルロード/セーブ方法がある。 メモ ローカル環境でShift-JISファイルを読み込んでUTF-8で出力 順当にリストをparallelizeしてRDDからDataframe化 #!/usr/bin/env python # -*- coding: utf-8 -*- from pyspark.sql import SparkS…
AWS GlueでSparkのDataframeを使う Glue上のクラス構造 DynamicFrameからDataFrameへの変換 DataFrameからDynamicFrameへの変換 DataFrameを使った処理など 連番作成 カラムの追加、リネーム AWS GlueでSparkのDataframeを使う Glue上のクラス構造 docs.aws.…
現象 AWS Glue上でboto3を呼ぼうとしたのですが、あるはずのメソッドを呼ぶとエラーで落ちた。 対策 ここを読みましたLambda pythonから S3 にアクセスできない? 試しに、Lambda Functionパッケージ内から boto3とbotocoreを 削除する。削除した状態で Lmab…
最近少しPythonなどに触れている。そこでぶつかった話 psycopg2 Postgresql用のPythonのDB用ドライバ実装、psycopg2を使うと以下のような見た目のコードになる Basic module usage — Psycopg 2.6 documentation >>> cur.execute( ... """INSERT INTO some_ta…