無料でRustのJupyterLab機械学習環境を作る in AWS

2021-12-23Tech / MachineLearning, , ,

この記事はRust Advent Calendar 2021の23日目の記事です。

Rustで機械学習をやってみたいという方は少数派かもしれません。PythonやRの環境が圧倒的過ぎて他の追随を許さないからです。しかしそれがタダで手に入るとなったらいかがでしょうか？　ブラウザだけでどこでも利用できるRustの機械学習環境をクラウド上に持てるのであれば試す価値があるかもしれません。本記事ではAmazon SageMaker Studio Labを利用して、無料でRustの機械学習環境を作る方法にチャレンジします。

はじめに

本記事ではAmazon SageMaker Studio Labを利用して、Rustの機械学習環境を構築する試みを紹介します。無料のJupyterLab環境をRustで利用しようという狙いです。

Amazon Web Services
プレビュー開始 – 機械学習を学び、実験できる無料のサービス、Amazon SageMaker Studio Lab | Amazon Web Services
https://aws.amazon.com/jp/blogs/news/now-in-preview-amazon-sagemaker-studio-lab-a-free-service-to-learn-and-experiment-with-ml/
AWS の使命は、機械学習 (ML) をより利用しやすくすることです。ここ数年の会話を通して、私は機械学習の初 […]

単にJupyter Notebookの環境が欲しいだけならVisual Studio Codeでも対応していますし、GoogleのColaboratoryというサービスもあります。しかし高機能で拡張可能なJupyterLabの最新の3系バージョンを試せるとなると話が違ってきます。しかもGPUインスタンスも選択できるという太っ腹です。最強のNotebook環境を無料でクラウド上に維持できるのなら試してみない手はありません。

Amazon SageMaker Studio LabはPythonやRで機械学習の定番環境を構築するのは簡単なのですが、RustをJupyterLabで利用できるようにするのには苦戦しました。それはsudoやRootアカウントが利用できないからです。本記事ではその辺りを乗り越えつつ、Rustで利用できる機械学習クレートを紹介していきます。

Amazon SageMaker Studio Labとは

Amazon SageMaker Studio LabはAWS re:Invent 2021で発表された、無料で利用できる機械学習環境です[^1]。メールアドレス一つで簡単に利用登録できるオンラインの機械学習環境であり、クレジットカードの登録もいりません。　具体的な利用条件や環境は以下のとおりです。

[^1]: Amazon SageMaker Studio Lab はAWS re:Invent 2021で発表されましたが、正確にはAWSのアカウントなしで使えるのでAWSのサービスではありません。しかし既存のAWSのサービスであるSageMakerとの関連も深く、 「AWS re:Invent」 で発表されたということもあり、タイトルには 「in AWS」 と付けさせて頂きました。

  • 利用について
    • クレジットカードの登録はいらない
    • AWSのアカウントもいらない
    • 必要なのはメールアドレスのみ
  • 利用対象者
    • データサイエンティスト、エンジニア、科学者、教師、学生
  • 利用目的
    • Jupyterノートブックを使用したディープラーニングの学習または実験
      • 言語の制限はないのでRustも問題なし!
    • 本番タスクには使用してはならない
      • 会社での利用でもディープラーニングの学習や実験のためであれば問題ないが、業務用の本番環境としての利用は駄目だということだと思われる
  • インスタンスについて
    • CPUインスタンス・GPUインスタンスが選択できる
    • CPUインスタンス
      • 1セッションで12時間の利用が可能
      • T3.xlargeインスタンス
    • GPUインスタンス
      • 1セッションで4時間の利用が可能
      • G4dn.xlargeインスタンス
    • インスタンスはx86_64のAmazonLinuxベース
  • セッションで利用可能な時間が過ぎると自動でインスタンスが終了する
    • 1回終了しても手動ですぐに再開可能
    • 残りの利用時間は起動ページに表示されている
    • インスタンスを一旦手動でストップして、再開すれば残りの利用時間はリセットされる
  • 環境のカスタマイズ
    • pipとcondaが利用可能
    • gitが利用可能
    • sudo,aptは利用できない
    • JupyterLab や Jupyter Server拡張をインストール可能
  • メモリ・ストレージ
    • 15GBの永続ストレージと16GBのRAM
  • 暗号通貨をマイニングできますか？
    • 禁止です。違反したら垢BANされます。

さらに詳しく知りたい方は以下のFAQもご確認ください。

SageMaker Studio Lab

Amazon SageMaker Studio Labの利用方法

まずはAmazon SageMaker Studio Labのアカウントを取得します。以下のページのRequest free accountボタンを押してください。

SageMaker Studio Lab

以下のような入力フォームが出ますが、必須はEメールアドレスだけです。入力完了したらSubmit requestボタンを押してアカウントの要求を行います。

しばらくするとEメールアドレスの確認メールが飛んできます。メールのVeryfy emailボタンで確認を行うと、「Account request confirmed」というタイトルのメールが飛んできて、アカウント要求が受け付けられます。ここから作成されるまでには1〜5営業日かかります。私の場合は翌日に利用可能になりました。「Your account is ready」というタイトルのメールが来るのでサインインを行って利用が開始できます。サインイン後の画面は以下のとおりです。CPUインスタンスかGPUインスタンスを選択して、Start Runtimeを押すことでインスタンスが開始します。

しばらくするとランタイムが利用可能になるのでOpen Projectを押すと別タブでJupyterLabの画面を開くことができます。「Getting Started.ipynb」というノートブックには利用方法が書いてあります。(hinastoryというディレクトリは私が作成したものです)
s

JupyterLabでRustを利用可能にする

ここからがこの記事の本番です。赤枠で囲った+ボタンをクリックするとLancherタブが開きますが、デフォルトではdefault:Pythonと書かれたPython環境だけが利用可能なことが分かります。目的はここにRust環境を表示させることです。

Rustのインストール

まずはLancherからTerminalボタンをクリックし、ターミナルを立ち上げます。

Rustのインストールは以下で可能です。

1
$ curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

さらに以下を実行することで現行のシェルにPATHを通すことができます。

1
$ source $HOME/.cargo/env

evcxr_jupyterのインストール

RustをJupyterLabから利用可能にするためにはevcxr_jupyterのインストールが必要です。

GitHub
evcxr/README.md at main · evcxr/evcxr
https://github.com/google/evcxr/blob/main/evcxr_jupyter/README.md
Contribute to evcxr/evcxr development by creating an account on GitHub.

ただここで一つ問題が起こります。インストールにcmakeが必要でこれをaptでインストールせよとあります。しかしSageMaker Studio Labの環境ではsudoもRootアカウントも使えないので別の方法でインストールする必要があります。

幸いにもcondaにcmakeがあったのでcondaでcmakeをインストールした後にevcxr_jupyterをインストールします。

1
2
3
4
$ conda install cmake
$ rustup component add rust-src
$ cargo install evcxr_jupyter
$ evcxr_jupyter --install

さて、ここまですればJupyterLabのランチャーにRustのボタンが現れてくれるはずでしたが、残念ながら表示はされませんでした。

RustカーネルがJupyterLabで利用できない原因を色々調べる

とりあえずjupyter kernelspec listで表示してみるとRustカーネルは認識されているみたいですが、なぜかJupyterLabからは表示されないし、カーネルも選択できない状態でした。

1
2
3
4
5
6
(studiolab) studio-lab-user@default:~$ jupyter kernelspec list
[ListKernelSpecs] WARNING | Config option `kernel_spec_manager_class` not recognized by `ListKernelSpecs`.
Available kernels:
  rust       /home/studio-lab-user/.local/share/jupyter/kernels/rust
  python3    /home/studio-lab-user/.conda/envs/studiolab/share/jupyter/kernels/python3
(studiolab) studio-lab-user@default:~$

よくよく調べてみるとcondaで環境を作成してipykernelをcondaでインストールすればJupyterLabに認識させられるとのことだったので、とりあえずそこに突破口がありそうでした。

最終的にうまくいった方法

大分苦戦しましたが以下がうまく行った方法です。

1
2
3
4
$ conda create -n <my-rust-env>
$ mkdir -p ~/.conda/envs/<my-rust-env>/share/jupyter/kernels
$ cp -rf ~/.local/share/jupyter/kernels/rust  ~/.conda/envs/<my-rust-env>/share/jupyter/kernels
$ ln -s ~/.cargo/bin ~/.conda/envs/<my-rust-env>/bin

まずはcondaで新しい環境を作成し、Rustカーネルをその環境下にコピーします。ただこれだけだとJupyterLabにRust環境のbinへのパスが通らないので無理やりシンボリックリンクを貼りました。ここまでの作業を実施しランチャーを開くとRustの環境が追加されていることが分かります。（ランチャーに表示されるまでには１分程かかりました）

とりあえずこれで動きましたが、注意点としてはシンボリックリンクでbinを無理やり書き換えているのでこの環境にアクティベートしてconda　installすると~/.cargo/bin配下にcondaのバイナリがインストールされてしまうことです。

もっとスマートなやり方があるとは思っていますが、とりあえず今回はこれでRustの機械学習環境の構築を完了とします。

Rustで使える機械学習関連のクレート紹介

ここからはRustで利用可能な機械学習関連のクレートをノートブックの実行結果で紹介していきたいと思います。

ベクトル、行列を扱う - ndarray

まずはndarrayクレートを使ってベクトル、行列を表示してみます。ndarrayはPythonでいうnumpy相当です。以下がノートブックの実行結果です。見て頂くと大体どんな雰囲気で利用できるかご理解頂けるとおもいます。

いくつか補足しますと:depはevcxr_jupyterの組み込みのコマンドでRustのクレートをcargoコマンドでインストールすることなしにノートブックで利用できます。この機能は超絶便利で他のノートブックに干渉しないのも魅力です。しかし毎回クレートのビルドが走るのでクレートによっては超絶重いのは覚悟してください。

あとshowataというクレートも利用していますがこれはndarrayの出力をJupyterLabできれいに出力するためのものです。

データフレームを扱う - polars

次はpolarsクレートを用いてデータフレームを利用してみたいと思います。polarsはPythonのpandas相当です。pandasを利用したことがある方であれば以下の実行結果はなんとなくわかるのではないかと思います。

表がアスキーアートなのがイケていませんがevcxr_jupyterではカスタム出力ができるので、簡単にHTMLで表示するようにできそうです。

グラフを扱う - plotters

データフレームの次は定番のグラフ描画に行きたいと思います。Rustではグラフ描画のクレートはいくつかあるのですがここではplottersクレートを利用します。plottersはPythonのMatplotlib相当です。以下はplottersのサンプルを実行したものです。

ここまででRustの機械学習関連のクレートの紹介はおしまいです。本当はもっと色々試すつもりだったのですが今回は時間がなかったのでまた次の機会に記事にしてみたいと思います。

おまけ

Rustで機械学習の記事としては中途半端になってしまったお詫びにRustをJupyterLabで利用するにあたって超絶に便利な機能を3つほどご紹介します。

:dep

最初はすでにご紹介した:depです。ノートブックの途中で好きなクレートを読み込むことができます。この機能は非常に便利ですが、裏ではライブラリのダウンロードとビルドが走るので激重です。Jupyterカーネルを再起動するとダウンロードとビルドがまた走るのでキャッシュみたいなことはしていないようです。

1
2
:dep showata = { version = "0.3.2", features=["show_ndarray"]}
:dep ndarray = "0.14"

:vars

:varsは現在利用している変数を表示してくれます。型も表示してくれるので非常に重宝します。

ちなみにJupyterLab 3.0から標準搭載されたビジュアルデバッガは非常に便利で変数表示はもちろんブレークポイントやコールスタック表示もできるのですが、Rustでは現状ビジュアルデバッガは使えません。Pythonを使うときにはぜひお試しください。

:timing

:timingはセルの実行時間を実行結果とともに表示してくれます。ちょっと時間を計測したいときには便利に使えます。トグル式なので一回実行するとその後のセルも実行時間が表示されます。もう一度:timingを実行するとオフにできます。

まとめ

本記事ではAWS re:Invent 2021で発表されたAmazon SageMaker Studio Labを利用して無料でRustの機械学習環境を手に入れる方法を紹介しました。またRustの機械学習関連のクレートであるndarray(numpy相当)、polars(pandas相当)、plotters(matplotlib相当)を紹介し、ノートブックの実行結果をお見せしました。おまけとしてはJupyterLabでRustを利用するときに死ぬほど便利な:dep、:vars、:timingもご紹介しました。この記事で紹介したノートブックはGitHubに上げたので興味がある方はご覧ください。

GitHub
rust_ml_notebook_sample/rust_ml_base.ipynb at main · hinastory/rust_ml_notebook_sample
https://github.com/hinastory/rust_ml_notebook_sample/blob/main/rust_ml_base.ipynb
Contribute to hinastory/rust_ml_notebook_sample development by creating an account on GitHub.

本当はTensorflowのRustバインディングも試してGPUインスタンスの性能チェックまで行ってみたかったのですが、意外とRustをAmazon SageMaker Studio Labで利用するまでに時間を使いすぎてしまったため、タイムアップとなってしまいました。機会があればそちらの方も継続してチャレンジして記事にしてみたいと思います。

最後になりましたがAmazon SageMaker Studio Labは本当に素晴らしい環境です。Rust環境の作成には多少苦労しましたが、PythonやRの機械学習環境としては申し分ないと思います。まだプレビュー版ですが、JupyterLab　3.0でカスタマイズ性も高くGPUを無料で自由に触れる砂場としては最高の環境なので、これからがっつり遊び倒していきたいと思います。

本記事がAmazon SageMaker Studio LabやRustで機械学習に興味がある方の一助になれば幸いです。

article.related_posts

最近の記事

リンク

カテゴリ

アーカイブ

タグ

AWS14
AdventCalendar6
Algorithm1
Azure1
Blog1
Book5
CDK1
CategoryTheory2
Cats1
Certification4
Cloud2
Compiler1
Container3
Diet1
Dotty3
Environment1
ErgoDash2
Event11
Exam1
FizzBuzz1
Flourish2
GCP3
Game1
Git2
Go3
Hexo6
IaC1
Interpreter1
Jupyter4
Keras1
Keyboard7
Keymap1
M11
MLOps1
Mac1
MachineLearning5
MakerFaire1
Mind1
Minikube1
OGP1
Qiita1
ReView1
Ruby6
Rust6
SEO1
Scala8
Serverless1
Snowflake1
StepFunctions1
TensorFlow1
TypeScript1
UI/UX1
WFH1
Web5
WebAnalytics1
gRPC1
html51
k8s3
npm4
oEmbed2
pulumi1
Your browser is out-of-date!

Update your browser to view this website correctly.&npsb;Update my browser now

×

×