ШІ-моделі
На платформі підключено моделі різних розробників. Одні сильніші й дорожчі, інші швидші й дешевші; одні розпізнають зображення й уміють міркувати, інші ні. Каталог один для всього кабінету: ту саму модель можна обрати в ШІ-чаті і в блоці AI-агент.
Де знаходиться
Розділ «ШІ-моделі» — у меню проєкту. У ньому три сторінки, меню праворуч:
- «Моделі» — каталог;
- «Статистика» — графіки витрат токенів;
- «Логи» — список звернень до моделей із вартістю.
«Статистику» і «Логи» описано на сторінці Баланс для ШІ. Співробітник бачить їх, лише якщо це дозволяє його роль.
Каталог
У списку «Моделі» — усі доступні моделі. Над списком — фільтр «Провайдер» і поле «Пошук» за назвою.
У рядку моделі показано:
- значок розробника й назву;
- що модель уміє — значки «Генерація тексту», «Вбудоване міркування», «Ембединг»;
- ціну за вхідні токени й ціну за вихідні токени — за мільйон токенів, у валюті вашого кабінету;
- «Контекст» — скільки токенів модель утримує в одному запиті.
Клік по рядку відкриває сторінку моделі.
Сторінка моделі
На сторінці «Про модель» — опис і характеристики:
- «Модальності» — що модель приймає і що повертає: текст, зображення, документи, аудіо, відео.
- «Ціна за вхідні/вихідні токени» — за мільйон токенів.
- «Вхід з кешу» і «Запис у кеш» — окремі ціни для частини запиту, що повторюється, якщо в моделі вони є. Що це означає — на сторінці Баланс для ШІ.
- «Контекст» і «Дата релізу».
- Мітки вмінь: «Генерація тексту», «Вбудоване міркування», «Виклик інструментів», «Написання коду», «Структурований вивід», «Багатомовна».
На сторінці «Статистика» — витрати токенів і кількість запитів саме за цією моделлю у вашому проєкті.
Чим моделі відрізняються
| Характеристика | На що впливає |
|---|---|
| Ціна за токени | Скільки коштує кожна відповідь. Вхід — ваше запитання разом з історією діалогу, вихід — відповідь моделі |
| Контекст | Скільки тексту модель бачить за один раз: довгий діалог, великий документ, об'ємний сценарій бота потребують великого контексту |
| Розпізнавання зображень | Чи можна прикріплювати картинки. Моделі без нього картинку не приймуть |
| Вбудоване міркування | Чи може модель «подумати» перед відповіддю. Рівень задається в чаті пунктом «Міркування» |
Таблиця цін усіх моделей — на сторінці Ціни додаткових послуг.
Як обрати
- Звичайні запитання, тексти, переклади, відповіді клієнтам за інструкцією — недорога швидка модель. Різницю в якості на таких завданнях помітити важко, а в ціні — легко.
- Складний аналіз, довгі документи, багатокрокові завдання — сильна модель із великим контекстом; за потреби увімкніть «Міркування».
- Картинки та знімки екрана — модель, яка приймає зображення.
- Збирання чат-бота — підходять не всі моделі. Непридатні позначено в списку моделей, поки в чаті ввімкнено збирання, а на непридатній моделі чат сам запропонує заміну. Докладніше — на сторінці Збирання бота в ШІ-чаті.
- AI-агент у боті — відповідає багато разів на день, тому ціна моделі тут найважливіша. Почніть із недорогої моделі й перевірте відповіді через «Перевірити бота».
Порада
Те саме запитання можна поставити різним моделям: змініть модель і натисніть «Перегенерувати» під відповіддю. Витрати кожної спроби видно в «Логах».
Обране й модель за замовчуванням
Моделі, якими ви користуєтеся найчастіше, додайте до обраного — зірочкою в списку «Усі моделі» в чаті. Обрані моделі стоять на початку меню вибору моделі.
Новий діалог у ШІ-чаті відкривається на першій моделі з обраного. Обране в кожного користувача своє; під час першого входу до нього вже додано кілька моделей.
Відкритий раніше діалог продовжується на тій моделі, яка дала в ньому останню відповідь.
Російські моделі
Серед розробників є російські. З ними пов'язані дві особливості:
- Збирання чат-бота на російських моделях недоступне — поки в чаті ввімкнено збирання, у списку моделей у них позначка «Збирання чат-бота на російських моделях недоступне».
- Коли діалог іде на російській моделі, службові запити чату — наприклад, назву діалогу — теж виконує російська модель.
Якщо модель зникла зі списку
Моделі з часом оновлюються, і застарілі прибирають із каталогу. Діалоги, які йшли на такій моделі, залишаються: під час відкриття чат повідомить «Модель «…» більше недоступна — чат продовжиться на …» і продовжить на моделі за замовчуванням.