Gradio ホントよくできてる
(AIモデル+設定 を試せるデモアプリをサクッと作れるやつ)
「デモアプリが作れるやつ」「UIはいかにもGradioだよね」って認識の人が多いけど、使い方次第ではプロダクトにも導入できるし、個人的にそれが現時点では最高の方法の一つに見える。ホント良い
まず、プログラミング得意じゃない人でも数行のコード書けばあとは無限にブラウザ上でぽちぽちテストできるの強い
モデルを切り替えてモデル + ファインチューニング + 固定プロンプトを試したり、色々できる
これまで実装したいくつかのAI系プロダクトでは、コストかけてモデルの精度あげるより、ファインチューニングや固定プロンプトでアウトプットのコントロールする方がコスパ良いシーンがあった
また、多くのプロダクトでは予算の都合で自前モデルは作れなかったり、自前モデルなしでフィジビリティチェックすることになる
アウトプットの品質についても、ビジネス上のポイントとなる品質理解をしている人のほとんどは非dev系人材なので、 gradio で色々試せる環境作った上でその人に「これで最適なパラメータの組み合わせ出してください」ってやってもらうと、非常に良いものが出てくる
出力がファジーな生成AIだからこそ非dev系人材は重要に思えるし、エンジニアが無理にそこを頑張る必要ないなと思った。少なくとも自分はそこを頑張りたくない
Gradioは「あくまでデモ用でしょ」って認識されること多いけど、APIモードにすれば気に入った挙動をそのまま他のアプリやバッチから呼び出すことができるから、プロダクトのバックエンドとして使うのも個人的には十分実用的に見える
実際、一つのプロダクトで8ヶ月ほど運用しているけど、Gradio固有の問題にはぶつかっていない
Apache2.0ライセンスで使い勝手良いし、負荷も余程の大規模サービスでもなきゃ無視できるレベル
Gradioで環境作って、biz系人材にその環境で試行錯誤千錯万綜していただいて、出来上がった良いリクエストをそのままAPIモードのGradioに投げるアプリを作れば、多くのケースで現時点での平均点以上の「生成AI系プロジェクト」になるんじゃないかな
という肌感
Gradio、マジで良い