SambaNova Cloud APIとOpenAIのクライアントライブラリを組み合わせれば、既存のアプリケーションを、最速かつ最高のオープンソースモデルで簡単にアップグレードできます！

​
ライブラリのインストール

以下のコマンドを実行して、OpenAIライブラリをインストールしてください。 
pip install openai

​
OpenAIクライアントライブラリでSambaNova APIを使用する

OpenAIのクライアントライブラリでSambaNova APIに切り替えるのは、以下に示すように2つの値を設定するだけで簡単にできます。まず、新しいファイルを作成し、base_urlとapi_keyを渡したクライアント変数を定義します。api_keyは安全な場所に保存してください。
  1. base_urlには“https://api.sambanova.ai/v1”を指定します。
  2. api_keyにはご自身の「SambaNova Cloud APIキー」を指定します。
SambaNova Cloud APIキーをまだお持ちでない場合は、SambaNova Cloud ポータルから取得できます。
from openai import OpenAI

client = OpenAI(
    base_url="https://api.sambanova.ai/v1", 
    api_key="YOUR SAMBANOVA CLOUD API KEY"
)
これで、モデルに対してAPIリクエストを送信し、出力方法を選択できるようになります。

​
非ストリーミングの例

以下のコードは、OpenAIのPythonクライアントで非ストリーミング出力を行う例です。 
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Answer the question in a couple sentences."},
      {"role": "user", "content": "Share a happy story with me"}
    ]
)

print(completion.choices[0].message)

​
ストリーミングの例

以下のコードは、OpenAIのPythonクライアントでストリーミング出力を行う例です。 
completion = client.chat.completions.create(
  model="Meta-Llama-3.1-8B-Instruct",
  messages = [
      {"role": "system", "content": "Answer the question in a couple sentences."},
      {"role": "user", "content": "Share a happy story with me"}
    ],
  stream= True
)

for chunk in completion:
  print(chunk.choices[0].delta.content)

​
SambaNova側で未対応のOpenAI機能

以下のOpenAI APIパラメータは現時点では未対応のため、リクエストしても無視されます。
  • logprobs
  • top_logprobs
  • n
  • presence_penalty
  • frequency_penalty
  • logit_bias
  • seed

​
機能の差異

temperature：SambaNova Cloud APIでは、0から1の範囲で指定可能です。

​
OpenAIクライアント側で未対応の機能

SambaNova APIはtop_kパラメータに対応していますが、OpenAIクライアントライブラリでは利用できません。