Run in Apifox
Request
Example: Bearer {{YOUR_API_KEY}}
Body Params application/json
messages
array [object {2}]
required サンプリング温度を0から2の間で指定する。高い値(例えば0.8)は出力をよりランダムにし、低い値(例えば0.2)は出力をより集中して決定論的にする。 通常、この値か top_p
のどちらかを変更することを推奨するが、両方を変更することは推奨しない。
カーネルサンプリングと呼ばれる温度サンプリングの代替手法で、上位_p個の確率質量を持つマーカーの結果を考慮するモデルです。つまり、0.1は上位10%の確率を占めるマーカーだけを考慮することを意味します。 私たちは通常、これか temperature
を変更することを推奨しますが、両方は推奨しません。
各入力メッセージに対して いくつのチャット完了オプションが生成されるか。
設定された場合、ChatGPTのように部分的なメッセージデルタが送信されます。トークンはデータのみのサーバ送信イベント として、利用可能になると送信され、ストリームはデータで終了します:[DONE]メッセージでストリームを終了します。例示源碼 ,OpenAI Cookbookをご覧ください。 APIはそれ以上のトークンに対して、最大4つのシーケンスの生成を停止する。
チャット完了時に生成されるトークンの最大数。 入力トークンと生成されたトークンの長さの合計は、モデルコンテキストの長さによって制限されます。
指定されたトークンが補完候補に表示される可能性を変更します。 マーカー(マーカー内のマーカー ID で指定)と、関連する偏差値(-100 から 100)を対応付ける json オブジェクトを受け入れます。数学的には、偏差値はサンプリング前にモデルによって生成されたロジットに加算されます。正確な効果はモデルによって異なりますが、-1から1の間の値は選択の可能性を減少または増加させるはずです。-100や100のような値は、関連するトークンの選択を禁止または排他的にするはずです。
{
"model" : "Qwen/Qwen2-Math-72B-Instruct" ,
"messages" : [ { "role" : "user" , "content" : "7.11和7.8谁大" } ]
}
Request samples curl --location --request POST 'https://api.302.ai/v1/chat/completions' \
--header 'Accept: application/json' \
--header 'Authorization: Bearer sk-mfYQzy0XTFfz4P16vRE4gFrKK1Nly4TozsMqbbb9PSiJUvFO' \
--header 'Content-Type: application/json' \
--data-raw '{
"model": "Qwen/Qwen2-Math-72B-Instruct",
"messages": [{"role": "user", "content": "7.11和7.8谁大"}]
}'
Responses application/json Generate Code
choices
array [object {3}]
required
{
"id" : "chatcmpl-123" ,
"object" : "chat.completion" ,
"created" : 1677652288 ,
"choices" : [
{
"index" : 0 ,
"message" : {
"role" : "assistant" ,
"content" : "\n\nHello there, how may I assist you today?"
} ,
"finish_reason" : "stop"
}
] ,
"usage" : {
"prompt_tokens" : 9 ,
"completion_tokens" : 12 ,
"total_tokens" : 21
}
}
Modified at 2024-11-20 09:52:00