AI とおしゃべりできる Discord bot です。
AIVtuber とか AI キャラクタを見て、面白そうだし作ってみるかで始めたプロジェクト。
身内用の複数の Discord サーバに Bot を入れている。
無し。
厳密には管理用のコマンドが多数存在する。
テキストチャンネル #punira を作成し、そこで @ぷにら でメンションすることで反応する。
例えば、@ぷにら こんにちは というメッセージを送れば、こんにちはに対するメッセージが返ってくる。
今のバージョンは v3.2 となっているが、それ以前にも多数のバージョンがあった。
v3 までは基本的に背後にある LLM のモデルや学習状況に応じて、バージョンが変わっていた。
学習内容や性格設定が微妙に異なるので、ほぼ別物となっている。
現状「ぷにら」は３段構成となっている。
ここはオープンソースになっており、後述する Dify にメッセージを飛ばしたり、逆に返ってきたメッセージをよしなに解釈して送信する機能を備えている。
いわゆるフロントエンドに当たる部分。
LLM と Discord bot の橋渡しをしている API サーバのこと。
OSS の Dify を使っている。
いわゆるバックエンドに当たる部分。
ここで作業すれば、リアルタイムに会話状況や LLM の応答状況について詳しく知ることができる。
プロンプト周りの整形もこっちでやっている。
GPT, Gemini, Llama とか。
コスパの観点で容赦なく API を使っている。
現状、オンプレに GPU を置くほど使用率が高くない。
どの LLM を使うかはその時の利用料や性能、都合によって変わる。
アクセス権限を持っている場合は ai.alflag.internal で会話が可能。