模型微调与部署
专为大模型微调与托管打造的一站式服务平台。通过该平台,用户可以快速、无缝地将自定义模型部署为服务,并根据自己上传的数据进行模型微调。
简单易用
from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.siliconflow.cn/v1")
response = client.chat.completions.create(
model='alibaba/Qwen1.5-110B-Chat',
messages=[
{'role': 'user', 'content': "抛砖引玉是什么意思呀"}
],
stream=True
)
for chunk in response:
print(chunk.choices[0].delta.content)
模型推理
只需数行代码,开发者即可快速使用SiliconCloud的快速模型服务。
模型部署
·
上传模型服务描述,获取模型服务 API。
·
根据负载自动缩扩容,保持资源最优化。
·
平台根据配置提供加速效果评估,用户按需选择是否加速。