以下のような方法がある

ローカル環境 or 隔離された実行環境GoogleColabなど

open ai apiを使う or code llama コードラマというLLMを使う

以下作業ログ

macOSプリインpythonが2.7で古いのでhomebrewでpython3をインストール

brew install python3

brew info python

.zshrcに下記追加

export PATH=”/usr/local/opt/python@3.11/libexec/bin:$PATH”

python –version Python 3.11.5になった

※1 python3で実行できるモードになる

pip実行できるようになったので open-interpreterをインストール

pip install open-interpreter

interpreter

これで対話できるインターフェースができた

▌ OpenAI API key not found

To use GPT-4 (recommended) please provide an OpenAI API key.

To use Code-Llama (free but less capable) press enter.

ひとまずopen ai のapiは使える状態ではないので後者にする。

※2 Code-Llamaはどんなモデルなのか？

interpreter —local　とするとCode-Llamaになるよ。

パラメータのデータ量と言語モデルの品質を選ぶ、速さとかRAM使用量が変わる

[?] Parameter count (smaller is faster, larger is more capable): 7B

7B 13B 34B

パラメータカウント、言語モデルのサイズどれくらいにしますか？

[?] Quality (lower is faster, higher is more capable): Low | Size: 3.01 GB, RAM usage: 5.51 GB

Low | Size: 3.01 GB, RAM usage: 5.51 GB Medium | Size: 4.24 GB, RAM usage: 6.74 GB High | Size: 7.16 GB, RAM usage: 9.66 GB

このメッセージは、モデルの品質とリソース使用量の選択肢を示しています。品質とリソースのバランスを調整できるように、いくつかのオプションが提供されています。

選択肢とその説明は次のようになっています：

Low | Size: 3.01 GB, RAM usage: 5.51 GB: このオプションは、モデルの品質を低く保ちながら、モデルのサイズとRAM使用量を最小限に抑えた設定です。モデルは小さいですが、リソース効率が高く、速度が速いです。一般的なタスクには十分な品質であり、リソースが制限されている場合に適しています。
Medium | Size: 4.24 GB, RAM usage: 6.74 GB: このオプションは、モデルの品質を中程度に保ちつつ、モデルのサイズとRAM使用量を中程度に増やした設定です。品質は高いですが、リソース使用量もやや増加します。より要求の高いタスクに向いており、コンピュータが中程度のリソースを持っている場合に適しています。
High | Size: 7.16 GB, RAM usage: 9.66 GB: このオプションは、モデルの品質を高く保ち、モデルのサイズとRAM使用量を最大限に増やした設定です。品質は非常に高いですが、リソース使用量も大きくなります。非常に要求の高いタスクや大規模なプロジェクトに適していますが、高性能なハードウェアが必要です。

選択肢を選ぶことで、品質とリソース使用量のバランスを調整できます。モデルの品質を上げると、モデルの性能が向上しますが、同時にリソース使用量も増加します。モデルの選択は、特定のタスクやプロジェクトの要件、コンピュータの性能に合わせて行う必要があります。

とりあえずMediumにしてみる

[?] Use GPU? (Large models might crash on GPU, but will run more quickly) (Y/n):

yes

※3 ただmacのGPUについては詳しくない。たぶんyesで使ってよさそう

Code-Llamaがないのでインストールはじめた

Colab　ブラウザからアクセスできてpyhonが実行できる、open interpreterのデモ環境もある。

https://colab.research.google.com/?utm_source=scs-index

Code-Llamaインストール失敗した

Failed to build llama-cpp-python

ERROR: Could not build wheels for llama-cpp-python, which is required to install pyproject.toml-based projects

Error during installation with Metal: Command ‘[‘/usr/local/opt/python@3.11/bin/python3.11‘, ‘-m’, ‘pip’, ‘install’, ‘llama-cpp-python’]‘ returned non-zero

exit status 1.

python3 -m pip install llama-cpp-python　でインストール成功した

Code-Llamaのスモールを入れた。llama-cpp-pythonも別でインストールしたら動くようになった。

ミドルもインストールしている。けどかなり時間かかるし、いまのPCで動くものなのか不明。

いまいち仕組みがわからない？というか、Code- Llamaの方は応答も遅い。コードもちゃんと実行してくれない。環境のせいなのかこういうものなのか不明。

openapiのapi keyつくってGPT-4モデルにしたら格段に応答が早い。

API利用料発生し始めるからコストはかかってくる。いったん上限は下記に設定中。