M:Arthur Documentation – Getting Started

Docs: M:Arthurご利用開始までの流れ

Mon, 01 Jan 0001 00:00:00 +0000

M:Arthurご利用までの流れを簡単にご説明します。
M:Arthurでは、カレンダーからジョブを投入する際にエージェントを利用しています。

ご利用開始までの流れ

以下の手順で、ご利用準備をお願いいたします。
M:Arthurの実行環境については、別紙:前提とする設定についてをご参照ください。

ご利用開始の際は、はじめに下記の項目を弊社担当までお伝えください
- 管理者のメールアドレス

[弊社作業] 1.の後、弊社にてM:Arthurのアカウントを作成し、ログイン情報をメールにてお知らせいたします。

M:Arthurから通知のあったアカウント情報を元に、下記URLよりログインしてください
- M:ArthurログインURL: https://dashboard.m-arthur.com/login
別紙:エージェントのインストール手順に従い、アクティベーションコードを発行して、ログインサーバーにエージェントをインストールしてください

ご利用開始後の手引き

以下の手順で、M:Arthurをご利用いただけます。
詳細はUser Guideをご参照ください。

サーバーグループおよびサーバーの登録
- 登録直後はログインサーバー登録されています。必要に応じて計算サーバーの登録を行ってください。
- ログインサーバー登録にはエージェントのインストールが必要です。別紙:エージェントのインストール手順を参照してください。
使用者(管理者、ユーザー)の登録
登録直後は管理者が登録されています。必要に応じてユーザを追加してください。
各ユーザのログインサーバーのユーザ名をaliasの欄に記載してください。
ジョブの登録と実行
- 新規で登録
- 履歴を引用して登録
ジョブの実行状況の表示

Docs: 別紙:エージェントのインストール手順

Mon, 01 Jan 0001 00:00:00 +0000

M:Arthurのログインサーバーに、エージェントをインストールする手順をご説明します。

1. はじめに

本手順は、M:Arthurに利用するエージェントをお客様の環境にインストールするための手順です。
本手順を実施するのはログインサーバーのみになります。

本手順を実施するにあたって、OpenPBSまたはSlurmがすでにインストールされている必要があります。
その他の前提条件につきましては、別紙:前提とする設定についてをご確認ください。

以下の　2.　以降の手順で、エージェントのインストールをお願いいたします。
Proxyをご利用の場合は、2.~4.を実施の後、弊社作業を挟みまして、5.まで実施をお願いいたします。

2. [お客様作業]アクティベーションコードの発行

お客様から管理者のメールアドレス等をご連絡頂いた後、弊社にてお客様のアカウントを作成いたします。作成後、メールにてログイン情報をお送りいたします。

弊社からお送りする情報
- 管理コンソールのログインURL
- 登録Eメールアドレス
- パスワード

上記の情報を基にログインできましたら、本マニュアルのアクティベーション作成とログインサーバー登録の章を参考にアクティベーションを作成します。
以下の情報がお手元にあることを確認して、次の手順に進みます。

アクティベーション時に実行するコマンド
- コマンドにアクティベーション情報が含まれています。

3. [お客様作業]エージェントインストールの実施

3.1.~3.2.の手順で、エージェントのインストールをお願いいたします。

3.1. エージェントのインストール

【Ubuntuの場合】

$ mkdir -p /tmp/ssm
$ curl https://s3.amazonaws.com/ec2-downloads-windows/SSMAgent/latest/debian_amd64/amazon-ssm-agent.deb -o /tmp/ssm/amazon-ssm-agent.deb
$ sudo dpkg -i /tmp/ssm/amazon-ssm-agent.deb

【AlmaLinux / Rocky Linux8場合】

$ sudo dnf install -y https://s3.amazonaws.com/ec2-downloads-windows/SSMAgent/latest/linux_amd64/amazon-ssm-agent.rpm
$ sudo dnf install -y https://amazoncloudwatch-agent.s3.amazonaws.com/redhat/amd64/latest/amazon-cloudwatch-agent.rpm

Tips

Proxyをご利用する場合は下記のコマンドを実行し、Proxyの登録を行ってください。

sudo systemctl edit amazon-ssm-agent

上記コマンドを実行した後、下記の項目を記載ください。hostname, portの部分に、御社のproxyの情報を記載ください。 proxyがhttpsに対応していない場合にはhttps_proxyの項目はhttp://に書き換えて記載ください。no_proxyについては変更不要で問題ございません。

[Service]
Environment="http_proxy=http://hostname:port"
Environment="https_proxy=https://hostname:port"
Environment="no_proxy=169.254.169.254"

3.2. amazon-ssm-agentの有効化

下記のコマンドを実行します。アクティベーションコード発行画面でコピーしたコマンドを実行します。
ユーザー権限により、必要に応じて sudo -E を付加して実行してください。

$ sudo systemctl stop amazon-ssm-agent
$ sudo -E amazon-ssm-agent -register -code "xxxxx" -id "xxxxx" -region "ap-northeast-1"
$ sudo systemctl start amazon-ssm-agent

引き続き、下記のコマンドを実行し、正常にサービスが起動しているか確認してください。

$ sudo systemctl status amazon-ssm-agent ## 起動の確認

【実行結果例】

実行後、サービスが起動しているかご確認ください。

$ sudo systemctl status amazon-ssm-agent
● amazon-ssm-agent.service - amazon-ssm-agent
 Loaded: loaded (/lib/systemd/system/amazon-ssm-agent.service; enabled; vendor preset: enabled)
 Active: active (running) since Mon 2024-04-01 05:40:58 UTC; 1 weeks 4 days ago

Proxy をご利用されないお客様は、以上でインストール作業は完了です。
User Guideに沿って運用を開始いただけます。

Proxy をご利用のお客様は次の手順に進みます。

5. （Proxyをご利用のお客様のみ）Proxy設定の追加

Tips

Proxyをご利用されている場合は、下記ファイル内のコメントアウト部分を外して頂き、Proxyの設定値をご入力ください。

編集対象のファイル

/opt/aws/amazon-cloudwatch-agent/etc/common-config.toml

common-config.toml変更前(初期状態)

## Configuration for proxy.
## System-wide environment-variable will be read if it is absent here.
## i.e. HTTP_PROXY/http_proxy; HTTPS_PROXY/https_proxy; NO_PROXY/no_proxy
## Note: system-wide environment-variable is not accessible when using ssm run-command.
## Absent in both here and environment-variable means no proxy will be used.
# [proxy]
# http_proxy = "{http_url}"
# https_proxy = "{https_url}"
# no_proxy = "{domain}"

common-config.toml変更後

## Configuration for proxy.
## System-wide environment-variable will be read if it is absent here.
## i.e. HTTP_PROXY/http_proxy; HTTPS_PROXY/https_proxy; NO_PROXY/no_proxy
## Note: system-wide environment-variable is not accessible when using ssm run-command.
## Absent in both here and environment-variable means no proxy will be used.
[proxy]
http_proxy = "http://hostname:port"
https_proxy = "https://hostname:port"
no_proxy = "169.254.169.254"

変更後、下記コマンドにてサービスを再起動してください。

sudo systemctl restart amazon-cloudwatch-agent

以上でインストール作業は完了です。
User Guideに沿って運用を開始いただけます。

Docs: 別紙:前提とする設定について

Mon, 01 Jan 0001 00:00:00 +0000

M:Arthurの実行環境、および、各ジョブスケジューラを使うにあたって前提としている設定を記載いたします。
M:Arthurは、OpenPBSおよびSlurmに対応しております。

1. M:Arthur実行環境

弊社確認環境は以下の通りです。

[ログインサーバー]

CPU：　x64ベースプロセッサ
OS：　
- Ubuntu 20.04
- Ubuntu 22.04
- Alma Linux 9
- Rocky Linux 8

[ブラウザ（クライアント）]

Windows OS：
- Edge(v123.0.2420.81以上)
- Chrome(v123.0.6312.106以上)
Mac OS：
- Chrome(v123.0.6312.87以上)

2. ジョブスケジューラ設定

前提となるジョブスケジューラ設定は以下の通りです。

2.1. OpenPBS

OpenPBSを下記のディレクトリにインストールしてください
- /opt/pbs : OpenPBSの本体
- /var/spool/pbs : 各種ログ
Job Historyを有効にしてください qmgr -c "set server job_history_enable = True"
OpenPBSのコマンドが下記のパスにあるようにしてください（シンボリックリンク可）
- /opt/pbs/bin/qsub
- /opt/pbs/bin/qstat
- /opt/pbs/bin/qdel
- /opt/pbs/bin/pbsnodes

2.2. Slurm

M:Arthurは下記のログを監視します。ログローテーション等を行う場合には下記のルールに従ったファイル名にしてください (シンボリックリンク可)
- /var/log/slurmctld.log*
sacctコマンドが実行出来る様、accounting情報の機能を有効にしてください
slurmのコマンドが下記のパスにあるようにしてください（シンボリックリンク可）
- /usr/local/bin/sacct
- /usr/local/bin/sbatch
- /usr/local/bin/scancel
- /usr/local/bin/scontrol