SoloWay Tech
AI-асистент на сайті
Лідерборд
Порядок за підсумковим балом. Колонка «Висновок» враховує ще й швидкість: якщо кожна десята відповідь іде довше с, модель для чату на сайті не підходить.
Підсумок = 0.5 × надійність × якість оцінки проєкту + 0.5 × надійність × якість підбору. Смужка показує бал і 90% інтервал. Джерело: оцінювання 240 прогонів тестування 8–9 жовтня 2026 і журнал викликів OpenRouter.
Надійність висновку
Точка — бал на всіх кейсах. Лінія — діапазон, у який бал потрапляв у 90% із 2000 перерахунків на випадкових вибірках кейсів. Сильне перекриття ліній означає, що різниця між моделями може бути випадковою.
Джерело: оцінювання 240 прогонів тестування 8–9 жовтня 2026.
Складові якості
Середні значення складових по придатних відповідях моделі, шкала 0–1. Насиченіша клітинка означає кращий результат. Відповіді, що не пройшли відсікання, знижують надійність у правих колонках.
Джерело: оцінювання 240 прогонів тестування 8–9 жовтня 2026.
Швидкість і вартість
Клієнт на сайті чекає, поки модель допише відповідь. Медіана показує типове очікування, p90 показує, скільки чекає кожен десятий клієнт. Вартість наведено на 1000 викликів моделі.
Точка — медіана, кінець товстої лінії — p90, коротка риска — найдовша відповідь. Вертикальна лінія — поріг с.
Шкала від нуля. Вартість одного звернення — значення, поділене на 1000.
Джерело: журнал викликів OpenRouter. Близько 23 викликів на модель, одне вікно по 25–30 хвилин 8–9 жовтня 2026.
Слабкі місця
Де кожна модель помиляється
Відсікання — відповіді, які отримали нуль через грубу помилку. Найслабша відповідь — придатна відповідь моделі з найнижчим балом, з коментарем судді.
Продукт
Шість проблем, які не залежать від вибору моделі
Ці речі однаково шкодять будь-якій моделі й знижують конверсію. Їх варто виправити паралельно з вибором моделі.
- Довгий запит обрізається на 4000 символах.Ліміт
MESSAGE_CONTENT_MAX_LENGTH = 4000. У двох кейсах модель не побачила кінець брифу: в одному відрізано речення про прикріплені макети, в іншому текст обірвався на півслові. - Запит на розробника йде в оцінку проєкту.Обидва кейси підбору в Оксани отримали «недостатньо контексту» у всіх 8 моделей і були позначені як «Оцінка проєкту». У нотатках Юри те саме: без явного вибору типу запиту асистент оцінює проєкт.
- Короткі, але зрозумілі запити відсікаються.Облік замовлень для меблевого виробництва і розрахунок доставки у WooCommerce: 8 з 8 моделей повернули «недостатньо контексту». Клієнт із конкретною задачею лишається без відповіді.
- Картинки, схоже, не доходять до моделі.У сесії Юри вкладення показано лише назвами файлів. Кейс GearShare з трьома картинками завершився технічною помилкою у 6 моделях з 8, склад за скетчем не оцінила жодна.
- Технічні помилки й таймаути.10 прогонів закінчились карткою «Не вдалося підготувати відповідь», усі в одній сесії. Таймаут клієнта LLM у конфігурації 60 с, а повільні моделі генерують по 2–5 хвилин.
- Пошук повертає того самого кандидата двічі.У 4 картках підбору той самий спеціаліст стоїть у списку двічі.
Методика
Як рахували
Оцінка проєкту
Q = G × (0.10·C + 0.20·D + 0.35·S + 0.20·H + 0.15·K)
Підбір розробника
Q = G × (0.45·F + 0.20·A + 0.20·N + 0.15·U)
- G
- Відсікання 0 або 1: оцінка замість підбору, чужі символи в тексті, бюджет чи строк утричі далі від медіани інших моделей.
- R
- Надійність: частка кейсів, де модель дала придатну відповідь. Рахуються лише кейси, де хоч одна модель відповіла на той самий текст запиту.
- C, D, F, U, N
- Рахуються правилами, без LLM: узгодженість цифр, відстань до медіани інших моделей, відповідність кандидатів вимогам (стек, ставка, англійська, локація, рівень), дублікати, наявність пояснення.
- S, H, K, A
- Оцінює LLM-суддя за списком «так / частково / ні»: які модулі клієнта враховано, чи чесно відповідь говорить про бюджет, строк і прямі питання, чи зрозумілий текст, чи помічено проблеми запиту.