APIキー APIキーは、リクエストを認証するために使用され、秘密にしておく必要のある一意の文字と数字の組み合わせです。例えば、コード部分では<YOUR API KEY>、括弧内に実際のキー値を代入します。 エンドポイントパス エンドポイントへのパスは、サーバーから実行されるアクションを決定します。例えば、https://api.sambanova.ai/v1/chat/completionsはチャットエンドポイントを指し、詳細はAPIリファレンスに記載されています。 モデル名 APIリクエストには、適切に接続するための完全なモデル名が必要です。Meta-Llama-3.1-405b-Instructのような完全な名前は、カジュアルな参照ではLlama 3.1 405Bと省略されることがあります。リクエストを行う際は、サポート対象モデルページで利用可能な完全な名前を使用してください。 プロンプト入力 プロンプトには2つの異なる役割があります：‘system’と‘user’。システムプロンプトは、リクエストを返す際のモデルの動作を設定します。ユーザープロンプトは、タスクやクエリを完了するためのモデルへの指示を動的に概説します。 停止シーケンス APIがさらなるトークンの生成を停止するシーケンスのリスト。これは文字列、または文字列の配列にすることができます。

​
モデルパラメータ

max_tokens 生成するトークンの最大数。 ストリーム レスポンスをストリームにするか単一のレスポンスにするかを決定します。 ストリームオプション 設定された場合、data: [DONE]メッセージの前に追加のチャンクがストリーミングされます。このチャンクのusageフィールドには、リクエスト全体のトークン使用統計が表示され、choicesフィールドは常に空の配列となります。他のすべてのチャンクにも、null値のusageフィールドが含まれます。使用量メトリクスにはOpenAIメトリクスとSambaNova Cloudでサポートされている追加のメトリクスが含まれます。 temperature レスポンスのランダム性の度合いを決定します。 top_p top_p（nucleus）パラメータは、累積確率に基づいて予測される各トークンの選択肢の数を動的に調整するために使用されます。 top_k top_k（type: number）パラメータは、次に予測される単語またはトークンの選択肢の数を制限するために使用されます。デフォルト値はMAX_INTです。