Meta: Llama 3.1 70B Instruct

meta-llama/llama-3.1-70b-instruct

Получить ключ AI-чат

Эту модель можно также запустить на своём GPU — требования к VRAM и совместимые видеокарты в базе моделей.

Запустить на GPU

Характеристики

Контекстное окно
131,072
Входящие данные
Текст
Исходящие данные
Текст

Цены

Оплата по факту за использованные токены, цены за 1M токенов в рублях.

Входящие токены 39.50 ₽
Исходящие токены 39.50 ₽

Описание модели

Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...

API и примеры кода

Единый OpenAI-совместимый endpoint. Укажите base_url и ключ из личного кабинета. 

curl https://app.cloudcompute.ru/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"meta-llama/llama-3.1-70b-instruct","messages":[{"role":"user","content":"Привет!"}]}'
from openai import OpenAI

client = OpenAI(
    base_url="https://app.cloudcompute.ru/api/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="meta-llama/llama-3.1-70b-instruct",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

Полная документация API →

← К списку моделей