Gentoo Linuxでコンパイル時間を短縮する5つの裏ワザ

ソースパッケージ管理とは何ですか？

ソースベースのパッケージ管理は、Linux でサードパーティのプログラムを配布 するためのオリジナルの方法です。これは、メンテナがプログラムを入手し作成する際のレシピのリストを持つシステムです。

• パッケージのレシピだけを配布することは、バイナリコピーを配布するよりも少ないデータ量で済みます。パッケージのレシピだけを配布すると、バイナリコピーを配布するよりも少ないデータ量で済みます。これは、リポジトリのミラーをホストするのに必要なリソースの量を減らすことにつながります。
• パッケージのソースコードからコンパイルすると、オペレーティングシステムを 動作させるためのプログラムにアクセスすることになります。パッケージのソースコードからコンパイルすることで、オペレーティン グシステムを動作させるプログラムに触れることができます。
• 最後に、ソースコードからパッケージをコンパイルすると、プログラムの動作をカスタ マイズしたり変更したりすることが可能になります。必要ない機能を入れたり外したりすることも簡単にできます。

しかし、この方法にはいくつかの欠点もあります。例えば、FirefoxやChromiumなどのパッケージは、コンパイルとインストールに数時間かかります。これは、これらが数百万行のコードと数百の依存関係を持つプログラムであるためです。

1. MAKEOPTSを最適化する

Gentooでコンパイル時間を短縮する最も簡単な方法の1つは、make.confを最適化することです。これはPortageがあなたのマシンのコンパイル設定を決定するために使用するメインの設定ファイルです。そのため、あなたのシステムのアーキテクチャや設定を決定する様々な変数が含まれています。

cat /etc/portage/make.conf

Portageを最適化するために変更する必要があるのは、MAKEOPTSだけです。これは、あなたのシステムの最適化フラグを扱う設定です。以下の例で考えてみましょう。

[...]
 
MAKEOPTS="-j1 -l1"
 
[...]

この場合、MAKEOPTS で使用できるフラグは 2 つあります。

• jフラグは、CPU に割り当てるコンパイルジョブの量を指定します。この値を設定する際の目安としては、CPUのコア数の半分程度にするとよいでしょう。例えば、クアッドコアのCPUを使用している場合、この値を-j2` に設定することができます。
• 一方、-lフラグは、システムに必要なロードアベレージを設定します。ロードアベレージとは、CPUがある時間内に行うタスクの総量です。例えば、システムのコンパイル時間を短縮したい場合、この値を -l2 に設定します。

2. CCache を利用する

コンパイル時間を短縮するもう一つの方法は、CCacheを利用することです。これはサードパーティのプログラムで、一般的なコンパイル済みファイルをコンピュータの一時的なスペースに保存することができます。

sudo emerge --ask dev-util/ccache

次に行うことは、CCacheの設定です。そのためには、ccache.conf ファイルを作成する必要があります。

sudo mkdir /var/cache/ccache/ && touch /var/cache/ccache/ccache.conf

ここから、CCacheのデフォルトのコンフィギュレーション設定を使って、作業を開始することができます。

max_size = 20.0G
umask = 002
ハッシュディレクトリ = false
compiler_check = %compiler% -v
キャッシュディールレベル = 3

最後に、パッケージのコンパイル時にCCacheを使用するようにPortageに指示する必要があります。そのためには、make.confに以下の行を追加してください。

FEATURES="ccache"
CCACHE_DIR="/var/cache/ccache"

3. DistCCを試す

CCacheと同様に、DistCCもまた、コンパイル時間を短縮するのに役立つサードパーティーのプログラムです。CCache と違って、DistCC はコンパイル作業をネットワーク上の他のコンピュータに分散させることで、これを実現します。これは、家庭内に使っていないコンピュータが複数ある場合に、特に有用です。

• distccdは、コンピュートサーバで動作するユーティリティです。これは、クライアントから入ってくるDistCCリクエストを聞き、それらからタスクを取り込む単純なプログラムです。コンパイルが終わると、コンパイルされたオブジェクトはクライアントに送り返され、パッケージ化されます。
• 一方、distccは、distccdに接続するクライアントプログラムです。これは、Portageと連携して、ネットワーク上でシームレスにコンパイル作業をスケジュールし、分散させるプログラムです。

小さなDistCCクラスタを作成するのは比較的簡単です。そのためには、サーバとクライアントの両方のPCにdistccプログラムをインストールする必要があります。

sudo emerge --ask sys-devel/distcc

DistCCサーバーの設定

次に、DistCC接続を受け入れるようにサーバーを設定する必要があります。これは、"/etc/conf.d/“にdistccの設定ファイルを作成することで行えます。

sudo touch /etc/conf.d/distccd

それができたら、次のコードの行を distccd ファイルに記述してください。

DISTCCD_OPTS="--port 3632 --log-level notice --log-file /var/log/distccd.log -N 10 --allow 192.168.254.101"

• port フラグは distccd が着信接続を待ち受けるポートを示します。3632はDistCCのデフォルトのポートです。 3632はDistCCのデフォルトのポートです。 * log-level と log-file はDistCCが取っているタスクのログファイルを保持するように指示します。
• N フラグは distccd の “niceness” を表します。これは DistCC がコンパイルタスクのためにどれだけサーバーの CPU を使うことができるかを示す変数です。これは 0 から 20 までの値で、0 が最も悪く、20 が最も良いということです。
• 最後に、allowフラグはDistCCに特定のアドレスからの着信接続のみをリッスンするように指示します。例えば、上の行は、DistCCに、1つのクライアントからの着信接続のみをリッスンするように指示します。

このような場合、 を使用します。 次に必要なことは、distccdのログファイルを作成することです。

sudo touch /var/log/distccd.log
sudo chown distcc:root /var/log/distccd.log

これで、Distccd サーバーが DistCC の接続を受け入れることができるようになりました。

sudo rc-update add distccd default
sudo rc-service distccd start

DistCCクライアントの設定

distccdと違って、DistCCクライアントの設定は信じられないほど簡単です。まず、クライアントにどこでdistccdサーバを探すかを教える必要があります。

sudo /usr/bin/distcc-config --set-hosts "localhost 192.168.254.102".

これは、プログラムをコンパイルするためにローカルマシンとサーバーの両方を使用するようにDistCCに指示します。ここから、DistCCを使うようにmake.confを設定することだけが残されています。

MAKEOPTS="-j4 -l4"
FEATURES="distcc"

4. BuildPKGを使用する

Gentooでコンパイル時間を短縮するもう一つの方法は、バイナリ配布サーバーを作成することです。この場合、パッケージがビルドされ、バイナリ形式で配布される別のマシンを使用することになります。

FEATURES="buildpkg" (ビルドパック)

これは、サーバにインストールするすべてのプログラムについて、バイナリパッケージを自動的に作成するようにPortageに指示するものです。

sudo emerge --ask www-servers/lighttpd

次に、"/etc/lighttpd/lighttpd.conf “に以下の行を追加して、lighttpdにあなたのサーバーのパッケージを提供するように指示します。

server.modules += ( "mod_alias" )
alias.url = ( "/packages" => "/var/cache/binpkgs" )

Gentooへのバイナリパッケージのインストール

これで、ディストリビューションサーバーからバイナリパッケージをインストールするのは、簡単な2ステップのプロセスになりました。まず、ディストリビューションサーバのアドレスをPortageに教える必要があります。

PORTAGE\_BINHOST="http://192.168.254.110/packages"

そこから、Portageを使ってバイナリパッケージをインストールしました。

sudo emerge --ask -K www-client/firefox

ここで、-KオプションはPortageにインストールしたいパッケージのバイナリだけを探させます。

5. Gentooでコンパイラを最適化する

最後に、GNU C Compiler (GCC) のオプションを設定して、速度を最適化できるようにすることもできます。

さらに、これらのオプションは COMMON_FLAGS 変数内に配置する必要があります。例えば

COMMON_FLAGS="-march=native -O1 -pipe".

この中で、GCCを最適化するために設定できるオプションは3つあります。

• march オプションは、あなたが望むCPUでプログラムをコンパイルするようにGCCに指示します。ほとんどの場合、あなたは GCC にあなたのローカル CPU 用にプログラムを作成するよう指示します。そうするためには、“native “という値を与えれば、GCCは現在動作しているCPU用にビルドします。
• O` オプションは、プログラムの最適化のレベルを指定します。これは0から3の間の値で、高い値を設定するほどプログラムの実行速度が速くなります。しかし、そうすることでコンパイルにかかる時間が長くなります。
• pipe オプションはトグルで、コンパイルの速度を上げるために設定します。これは、オブジェクトを一時ファイルに保存するのではなく、RAMに保持することで行います。そのため、メモリを大量に消費し、限られたRAMでこれを使うとGCCがクラッシュします。

よくある質問

1. make.confにMAKEOPTSやFEATURES変数がありません。私のGentooインストールは壊れているのでしょうか？

いいえ！デフォルトのmake.confファイルにMAKEOPTSとFEATURES変数がないのは正常です。Make.confに変数とその値を追加すれば、Portageがそれを認識してすぐに適用してくれます。

2. 2. CCache を必要なパッケージだけ有効にすることは可能ですか？

はい！特定のパッケージに対してのみCCacheを有効にすることができます。そのためには、まず FEATURES 変数から “ccache” という値を削除する必要があります。

www-client/firefox ccache.conf
sys-devel/gcc ccache.conf
sys-devel/clang ccache.conf

そうすることで、Firefox、GCC、ClangのCCacheを有効にしました。これは、Portageがこれらのプログラムとそれに関連する依存関係のオブジェクトファイルのみを保存することを意味します。

3. Gentooディストリビューションサーバーを運用する上で、何か問題はありますか？

Gentooディストリビューション・サーバーを運営する際の主な問題の1つは、バイナリ・パッケージを最新の状態に保つ責任があなたにあることです。つまり、クライアントをアップデートする前に、まずディストリビューションサーバーをアップデートし、クライアントの古いバイナリを削除する必要があります。