とりあえずブツから・・・
Llama3(8B版)の動作検証用のチャットボット
http://dify.unluckysystems.com/chat/6SiUKhNf2Bkg8Ye5
スマホでやりたければ・・・↓を読み取ればたぶん楽
ただし激重
質問投げたらトイレか風呂にでも入ってろ！
動作環境として用意した環境は2GB RAM 3CoreのVPS
これでもWebサイト用ならまぁまぁな性能なのだが、AIには割と厳しかったようだ。というか8GB超必須なので動いていること自体が奇跡感ある。
下のような簡単な受け答えでも7分ほどかかったよ。（各パラメータはDifyのデフォルト値です。）
優しく使ってね。。。
あんまり雑に使うとマジで落ちると思うので、優しく使ってね。。。
需要高そうならサーバ増強したいなぁ。
遅れながらコトの発端
2024/4/18にMeta AIが公開した新しい大型言語モデルのLlama3を使いたかったけど、すぐ使えるWebシステムがなかったのでDifyでチャットボットを作ってみた。
同じように試したい人は使ってみてくれると嬉しい。
いつもの
記事の内容および上記アプリの動作についてはすべて無保証です。
