Dockerコンテナ内でcronジョブを実行する
コンテナ内で実行環境を構築する場合、スクリプトを定期的に動かすために、コンテナ内で cron を起動します。
Posts by Tag
- python 11
- swift 7
- celery 5
- docker 5
- aws 4
- redis 4
- m5stack 3
- arduino 3
- xcode 3
- shell 3
- 3dprinting 2
- platformio 2
- flask 2
- fluentd 2
- linux 2
- nlp 2
- esp8266 2
- nodemcu 2
- datatables 1
- unicode 1
- terminal 1
- opencv 1
- text-to-speech 1
- sqlalchemy 1
- ffmpeg 1
- yaml 1
- jupyter 1
- haskell 1
- swiftui 1
- nodejs 1
- apache 1
- rubygems 1
- ruby 1
- ios 1
- gunicorn 1
- matplotlib 1
- attiny 1
python
requestsを使ってmultipart/form-data形式でファイル送信
Requests では、files パラメータを指定すれば、簡単に multipart/form-data 形式でファイルを送信できます。
Gunicornでコードを一回だけ実行する
Gunicorn を起動すると、マスタープロセスと指定された数のワーカープロセスが起動される。
Send Python logs to Teams
When any error occurs in your application, by sending error notifications to Teams (or Slack, etc.), you can know what happened and deal with the problem imm...
Fluentdを利用してS3にPythonログを収集する
Fluentd のインストール
Pythonでメモリ使用量を分析する
memory_profiler を利用する
Celeryメモ
リモートコントロールコマンド
Celeryのブロードキャストについて
broker は RabbitMQ を使う場合
SQLAlchemyを用いてCSVからデータベースへのインポート・エクスポート
CSVファイルをデータベースにインポートする
全角と半角の変換
最近、全角と半角の変換処理を行なったことがあります。 やり方としては、key を Unicode コードポイント (ord 関数によって)、value を置換後の文字列を持つの辞書を作成して、変換テーブルとして str.translate メソッドに渡すだけです。 注意すべきなのは、半角から全角に変換する時の...
Flask+Pandas+DataTablesで作ったポケモン一覧表
ポケモン全然詳しくないので、もっと詳しくなろうという気持ちが強くて Pokédex みたいなものでも作ろうかと思った。
swift
Training a text classification model with Create ML
In this post, we’ll use Create ML framework from Playgrounds to create a sentiment analysis model. Sentiment analysis is a common use of text classification ...
NLTaggerで固有表現抽出
Swift で固有表現を抽出するには、Natural Language フレームワークの NLTagger クラスを利用します。Foundation フレームワークの NSLinguisticTagger もありますが、Natural Language フレームワークに置き換えられて、非推奨になっています。
iOSでカメラと写真にアクセスする
iPhone 実機でカメラにアクセスする
Codableメモ
CodingKeys について
Codableを使ってJSONを解析する
Codable は、Encodable および Decodable プロトコルのエイリアスです。Codable プロトコルに準拠すると、データをエンコードおよびデコードできます。
Swift REPLでiOS SDKを使う
ときには Xcode や Playground で Swift コードを実行するのではなく、Swift REPL で実行したい場合がある。
SwiftUI ForEachのNon-constant range警告
Xcode 13.4 で、以下のコードに Non-constant range: argument must be an integer literal という warning が表示される:
celery
Get waiting tasks count in Celery
If you’re using Redis as broker, you can simply run the following command to get the number of waiting tasks in a queue:
Celeryのロガーをカスタマイズする
Celery は after_setup_logger シグナルを提供している。このシグナルにカスタムログハンドラーを渡せば、Celery がグローバルロガーを設定した後にトリガーされる。
CeleryでのRedis最大接続数の設定
redis_max_connections は result backend での Redis コネクションプールへの最大接続数です（デフォルトは無制限）。
Celeryメモ
リモートコントロールコマンド
Celeryのブロードキャストについて
broker は RabbitMQ を使う場合
docker
Dockerコンテナ内でcronジョブを実行する
コンテナ内で実行環境を構築する場合、スクリプトを定期的に動かすために、コンテナ内で cron を起動します。
Connect to Redis via SSH port forwarding
From inside a Docker container, I need to connect to the Redis server that started on another Amazon EC2 instance.
Apache FQDN warning
Docker コンテナーで Apache を起動すると、以下の警告が表示されました。
Dockerコンテナのタイムゾーンを変更する
Ubuntuを使用する場合は、tzdata をインストールする必要がある。
Using GPU in Docker container
I need to access GPU within my docker container, so I followed the Docker documentation, added the following lines to the docker-compose.yml file:
aws
AWS CDKでECSサービスのオートスケーリングのリソースを作成
AWS CDK (Cloud Development Kit) は IaC ツールで、コードを書くことでインフラストラクチャのプロビジョニングを行います。 好きなプログラミング言語でインフラストラクチャを定義し、CloudFormation テンプレートを自動生成できます。抽象化レベルが高いので、コード量が少ない...
Using IMDSv2 from within Docker container
After upgrading from IMDSv1 to IMDSv2, when I started a service that uses the AWS SDK inside a Docker container, I suddenly got a credential error. However, ...
boto3でS3バケットのサブフォルダを取得
S3 はオブジェクトストレージであり、ファイルストレージとは異なり、ディレクトリのような階層構造がないです。
boto3でローカルディレクトリとS3バケットを同期
boto3 は download_file() や upload_file() を提供しているが、これらを実行するたびに同じファイルであってもコピーされる。
redis
Redis の RDB 永続化
Redis には、RDB (Redis Database) と AOF (Append Only File) という 2 つのデータ永続化方式があります。
Connect to Redis via SSH port forwarding
From inside a Docker container, I need to connect to the Redis server that started on another Amazon EC2 instance.
Get waiting tasks count in Celery
If you’re using Redis as broker, you can simply run the following command to get the number of waiting tasks in a queue:
CeleryでのRedis最大接続数の設定
redis_max_connections は result backend での Redis コネクションプールへの最大接続数です（デフォルトは無制限）。
m5stack
Timer Camera X で遊ぼう
動画ストリーミングを M5Stack の LCD に表示させる
VSCode + PlatformIO で Timer Camera X を動かす
M5Stack で遊んでいるが、以前使っていた Arduino IDE は使いづらいので、開発環境を PlatformIO へ移行しました。
M5StackのLCDで画像を表示させる
買ったばかりの M5Stack を、さっそくいじってみました。 M5Stack Basic です。Switch Science で購入しました。
arduino
Arduinoを使ってATtiny85にプログラムを書き込む
Arduino Nano を ISP (In-System Programmer) にする
LCDに現在の温度・湿度を表示する
Arduino Nano を使用して、DHT11 温湿度センサから現在の温度と湿度を読み取り、16x2 のキャラクタLCD に表示します。
M5StackのLCDで画像を表示させる
買ったばかりの M5Stack を、さっそくいじってみました。 M5Stack Basic です。Switch Science で購入しました。
xcode
iOSでカメラと写真にアクセスする
iPhone 実機でカメラにアクセスする
Xcodeでデバッガーを使用せずにアプリを実行する
Product > Perform Action > Run Without Building を選択し、 iOS シミュレータでアプリを実行している場合、lldb でプロセスにアタッチすると（Debug > Attach to Process も同じ）、以下のエラーが発生した。
Swift REPLでiOS SDKを使う
ときには Xcode や Playground で Swift コードを実行するのではなく、Swift REPL で実行したい場合がある。
shell
SystemdによるDockerコンテナの自動起動
コンテナのユニットを起動する前に、docker サービスを先に起動する必要があります。
getoptsを使ってオプションを解析する
getopts は bash のビルトインコマンドで、オプションを解析する際に使われます。
シェルスクリプトでのCSVファイルの読み込み
以下のサンプルでは、引数で渡したCSVファイルを読み込んで、各列のデータを配列に格納します。
3dprinting
3Dプリンタをプロッタにする
3D プリンタは G-code によって制御されます。G-code は CNC プログラミング言語であり、機械にどこに、どのように移動するかなどを指示します。
初めての3Dプリンター
Creality Ender-3 X にしました。 箱を開けてみて。 組み立て終わった後、ノズルを加熱して、後側に付属している PLA を入れます。 ノズルから吐き出しましたね。 印刷する前に、ベッドのレベリングを行う必要があります。 最初にプリントした物は、このイーブイです。 スライサーソフト...
platformio
ESP8266とリレーモジュールでLED電球を制御する
リレーはコイルと、コイルに通電することで開閉する接点で構成されて、低入力電圧で高電圧デバイスを制御することができます。
VSCode + PlatformIO で Timer Camera X を動かす
M5Stack で遊んでいるが、以前使っていた Arduino IDE は使いづらいので、開発環境を PlatformIO へ移行しました。
flask
FlaskでURLの作成にHTTPSを使用する
ロードバランサーを使用するとき、URL の作成やリダイレクトに HTTPS を使用したいです。
FlaskでCORSへの対応
CORS (Cross-Origin Resource Sharing, オリジン間リソース共有) とは、 ブラウザで実行されているフロントエンドの JavaScript コードがバックエンドと通信する時、そのバックエンドがフロントエンドとは異なるオリジンである場合、アクセスを許可するかどうかを決めるものです。
fluentd
FluentdでPythonのログをTeamsに通知する
Fluentd では Python のログを収集していますので、 ログレベルが WARNING 以上のログを抽出して、Teams に送信したいです。
Fluentdを利用してS3にPythonログを収集する
Fluentd のインストール
linux
SystemdによるDockerコンテナの自動起動
コンテナのユニットを起動する前に、docker サービスを先に起動する必要があります。
Linuxエフェメラルポート範囲の設定
現在使用中のエフェメラルポートの範囲を確認する。 $ sysctl net.ipv4.ip_local_port_range net.ipv4.ip_local_port_range = 32768 60999
nlp
Training a text classification model with Create ML
In this post, we’ll use Create ML framework from Playgrounds to create a sentiment analysis model. Sentiment analysis is a common use of text classification ...
NLTaggerで固有表現抽出
Swift で固有表現を抽出するには、Natural Language フレームワークの NLTagger クラスを利用します。Foundation フレームワークの NSLinguisticTagger もありますが、Natural Language フレームワークに置き換えられて、非推奨になっています。
esp8266
ESP8266とリレーモジュールでLED電球を制御する
リレーはコイルと、コイルに通電することで開閉する接点で構成されて、低入力電圧で高電圧デバイスを制御することができます。
ESP8266 NodeMCU V3 を使い始める
NodeMCU は ESP8266 の開発ボードで、USB-UART ブリッジや電圧レギュレータなどが組み込まれています。
nodemcu
ESP8266とリレーモジュールでLED電球を制御する
リレーはコイルと、コイルに通電することで開閉する接点で構成されて、低入力電圧で高電圧デバイスを制御することができます。
ESP8266 NodeMCU V3 を使い始める
NodeMCU は ESP8266 の開発ボードで、USB-UART ブリッジや電圧レギュレータなどが組み込まれています。
datatables
Flask+Pandas+DataTablesで作ったポケモン一覧表
ポケモン全然詳しくないので、もっと詳しくなろうという気持ちが強くて Pokédex みたいなものでも作ろうかと思った。
unicode
全角と半角の変換
最近、全角と半角の変換処理を行なったことがあります。 やり方としては、key を Unicode コードポイント (ord 関数によって)、value を置換後の文字列を持つの辞書を作成して、変換テーブルとして str.translate メソッドに渡すだけです。 注意すべきなのは、半角から全角に変換する時の...
terminal
ブイブイ
最近イーブイのブームが来たので、ターミナルでもイーブイが見たいなと思っていた。 Terminal.app で見る catimg を使っています。 catimg の使用について、ターミナルの色設定を 256 Color に指定する必要があります。 $ echo $TERM xterm-256color ...
opencv
Timer Camera X で遊ぼう
動画ストリーミングを M5Stack の LCD に表示させる
text-to-speech
Real-Time Voice Cloningを試してみた
Real-Time Voice Cloning を見つけて、面白そうなので試してみました。
sqlalchemy
SQLAlchemyを用いてCSVからデータベースへのインポート・エクスポート
CSVファイルをデータベースにインポートする
ffmpeg
FFmpegとPillowで動画をGIFに変換
FFmpegで動画をGIFに変換
yaml
YAMLにおける変数の置換
YAML ではアンカーとエイリアスを提供しています。 アンカーを指定すれば、エイリアスでこれを参照することができます。 アンカーは&で、エイリアスは*で示されます。
jupyter
JupyterにカスタムCSSを設定する方法
特定の notebook だけにカスタム CSS を適用したい場合は、IPython の magic command %%html を利用するのが便利です。
haskell
macOSでのHaskell環境構築
ビルドツール Stack
swiftui
SwiftUI ForEachのNon-constant range警告
Xcode 13.4 で、以下のコードに Non-constant range: argument must be an integer literal という warning が表示される:
nodejs
Node.jsのバージョンを指定してインストールする
node-sass をインストールする時にエラーが発生したため、Node.js のバージョンを合わせる必要がある。
apache
Apache FQDN warning
Docker コンテナーで Apache を起動すると、以下の警告が表示されました。
rubygems
Bundler warning
When I run the jekyll build command, I keep getting the following warning:
ruby
FluentdでPythonのログをTeamsに通知する
Fluentd では Python のログを収集していますので、 ログレベルが WARNING 以上のログを抽出して、Teams に送信したいです。
ios
Swift REPLでiOS SDKを使う
ときには Xcode や Playground で Swift コードを実行するのではなく、Swift REPL で実行したい場合がある。
gunicorn
Gunicornでコードを一回だけ実行する
Gunicorn を起動すると、マスタープロセスと指定された数のワーカープロセスが起動される。
matplotlib
matplotlibで日本語を表示する（Google Colab）
日本語フォントは Google Fonts を使う。
attiny
Arduinoを使ってATtiny85にプログラムを書き込む
Arduino Nano を ISP (In-System Programmer) にする