本講義の基本的な情報
- HPPCS at Meiji Univ.
- 講義日：毎週水曜日 4 限
- 担当 ：修士以上のみんな
教科書と参考書
目標
性能最適化という考え方があることを理解する。 本書では、これまでHPCの分野などで口頭で伝授されてきた、性能解析や性能最適化などのノウハウが文章化されている。 深層学習に限らず、他のどの分野にも適用できる。
輪講形式で教科書を読む。 各人が割り当てられた担当部分の講義資料を作成し、プレゼンを行う。 プレゼン中は随時質疑応答を行う。 プログラムがある場合は、それを動かす。
本書を読むにあたって必要な知識（序章より）
担当分け
| 担当箇所 | 箇所 | 開始 | 終了 | 区間 | 担当者 | 日程 |
|---|---|---|---|---|---|---|
| 第1章 パフォーマンスエンジニアリング概論 | 1.1-1.6 | 1 | 34 | 33 | みやじま | |
| 第2章 まずはパフォーマンスを計測する | 2.1-2.3 | 35 | 52 | 17 | ||
| 第2章 まずはパフォーマンスを計測する | 2.4-2.6 | 53 | 84 | 31 | ||
| 第3章 次にパフォーマンスを改善する | 3.1-3.4 | 85 | 108 | 23 | ||
| 第3章 次にパフォーマンスを改善する | 3.5-3.7 | 109 | 131 | 22 | ||
| 第3章 次にパフォーマンスを改善する | 3.8-3.13 | 131 | 154 | 23 | ||
| 第4章 実践1：LLM 推論 | 4.1-4.4 | 157 | 191 | 34 | ||
| 第5章 実践2：LLM 事後学習 | 5.1-5.5 | 192 | 207 | 15 | ||
| 第5章 実践2：LLM 事後学習 | 5.6-5.9 | 208 | 232 | 24 | ||
| 第6章 実践3：LLM（継続）事前学習 | 6.1-6.4 | 233 | 253 | 20 | ||
| 第6章 実践3：LLM（継続）事前学習 | 6.5-6.6 | 254 | 277 | 23 | ||
| 第6章 実践3：LLM（継続）事前学習 | 6.7-6.9 | 278 | 307 | 29 | ||
| 第7章 実践4：自動運転AI 学習 | 7.1-7.5 | 308 | 327 | 19 | ||
| 第7章 実践4：自動運転AI 学習 | 7.6-7.9 | 328 | 341 | 13 | ||
| 第8章 実践5：自動運転AI 推論 | 8.1-8.6 | 342 | 371 | 29 |
輪講資料で注意すべきこと
- 自分が大切だと思った要点をまとめること
- 教科書の全文をコピー&ペーストする必要はない。たとえば、教科書に載っている事例は、輪講資料に載せる必要は必ずしもない
- コードを動かす
- 分かりやすいように、要点を列挙したり、教科書の文章をまとめ直したりすること
- 5行以上の文章は、箇条書きなどに構成しなおす（NEW!）
- たとえば、以下のような形です
- 図を描いて説明する。ノートに手書きしたものを写真に撮る形でも OK です
- 文章から重要な部分を抜き出して、箇条書きにする
- 重要な部分を太字にする
- 時間内に説明できることを心がけること。たとえば、教科書に載っている事例を、輪講中に説明する必要は必ずしもない
輪講資料の作り方
資料を作成するときは、GitLab と Markdown を使います。
具体的には、ゼミの資料ページを clone して、自分の担当する章の branch を作って、docs ディレクトリの下の担当の章のディレクトリで作業をして、push してマージリクエストをする流れになります。
資料自体は Markdown で書くこと。
GitLabプロジェクトへのメンバー追加とclone
みなさんを、輪講の GitLab プロジェクトにみなさんを Developer として登録します。
ですので、GitLab.com のアカウントを私に教えてください。もし作っていない人は作ってね。
また、以下のコマンドでリポジトリを clone してください。
1 | |
作業開始
リポジトリの docs ディレクトリの内部で作業をします。
また、自分の作業用ブランチを必ず切ってください。
mainブランチは保護されているので、直接コミットができません。
たとえば、第 2 章を担当する人は、chapter2ブランチを作成した後、docs/chapter2/{chapter2.md,figures/}以下で作業をしてください。
資料作成
clone できたら資料を作ります。 今回は、Markdown から Web ページを作成する際には、mkdocs というものを使っています。 Linux 環境で mkdocs をインストールして、やってみてください。1
make installするとmkdocsのインストールができます。make serveしてhttp://127.0.0.1:8080にアクセスするとmkdocsがリアルタイムでレンダリングされます。- 数式を囲むときは、
$ではなくて、$`と`$で囲むので注意してください。 {: style="height:150px"}こんな風に書くと画像の表示サイズが調整できます。- 一部使えない拡張があるかもしれません。
- mkdocs の環境構築がつらい、という人は GitLab.com の Web インタフェースで書くこともできます。
資料作成をマージ
資料が完成したら push して、マージリクエストのページから自分のブランチをmainブランチにマージするリクエストを作成してください。
また、みやじまに Slack などでマージしてほしい旨を連絡してください。
少しするとページが更新されるますので、できあがりを確認してください。
なお、コミットすると自動的に CI が走る設定ですが、自分の GitLab アカウントでクレカの登録が必要です。 これが原因で CI が失敗になりますが、失敗でもかまいません。 課金はされないので、登録できる人はしてください。 CI の結果は、プロジェクトページのCIの部分で見られます。
-
https://zenn.dev/mebiusbox/articles/81d977a72cee01 ↩