Gradioは、機械学習モデル、API、Pythonの関数を紹介するためのインタラクティブなWebアプリケーションを構築するためのオープンソースPythonライブラリです。sambanova-gradioパッケージは、SambaNova モデルの統合を簡素化することでGradioの機能を拡張します。開発者がSambaNova モデルをアプリケーションに接続するためのユーザーフレンドリーなインターフェースを提供します。 このsambanova-gradioパッケージには、OpenAIとGradioの2つの依存関係があります。組み込みのレジストリ関数により、セットアッププロセスを合理化し、sambanova_gradio.registry様々なモデルへのシームレスな接続を容易にします。レジストリ関数はmodel IDをnameパラメータとして受け取ります。スクリプトを実行すると、指定されたモデルを使用してアプリケーションインターフェースが自動的に生成されます。 実装の詳細と追加の設定については、Githubリポジトリをご覧ください。

​
インストール

以下の手順に従って、SambaNova モデルをGradioと統合します。
1

Install the sambanova-gradio package by running the command below to install the required package.

pip install sambanova-gradio
2

Set Your SambaNova API Key by saving your API key as an environment variable, as shown below.

export SAMBANOVA_API_KEY=<your token>

​
Gradioインターフェースの作成

以下のようにsambanova_gradio.registry関数を使用してGradioアプリケーションを構築し、起動します。
このPythonスクリプトを実行すると、Meta-Llama-3.1-405B-Instructモデルに接続されたGradioインターフェースが起動します。
import gradio as gr
import sambanova_gradio

gr.load(
    name='Meta-Llama-3.1-405B-Instruct',
    src=sambanova_gradio.registry,
).launch()

​
インターフェースのカスタマイズ

以下のように、モデル、入出力コンポーネント、および追加設定を変更することで、インターフェースをカスタマイズすることができますgr.Interface。 
import gradio as gr
import sambanova_gradio

gr.load(
    name='Meta-Llama-3.1-405B-Instruct',
    src=sambanova_gradio.registry,
    title='Sambanova-Gradio Integration',
    description="Chat with Meta-Llama-3.1-405B-Instruct model.",
    examples=["Explain quantum gravity to a 5-year old.", "How many R are there in the word Strawberry?"]
).launch()

​
スクリーンショットの例

以下のインターフェースは、上記のコードスニペットを使用して生成されました。 Gradioアプリケーションの詳細な例については、SambaNova HuggingFace spaceをご覧ください。