Как выбрать подрядчика для внедрения ИИ: 12 вопросов, по которым видно, понимает ли он задачу

Короткий ответ: подрядчика по ИИ проверяют не только как разработчика, но и как того, кто отвечает за качество ответов, ваши данные и ежемесячный счёт за модель. Задайте двенадцать вопросов: как он измерит качество на ваших примерах, где будут обрабатываться данные, сколько будет стоить работа модели при вашем объёме, что случится при смене модели, какие действия разрешены ИИ-агенту, что пишется в журнал и что вы получите на руки. Хороший подрядчик отвечает цифрами и пунктами договора и предлагает платный пилот на ваших данных до большого контракта.

Общие вопросы к любой студии — о смете, сроках, договоре и правах на код — мы собрали в статье какие вопросы задать студии на первом созвоне. Здесь — только то, что появляется, когда в проекте есть языковая модель.

Чем выбор подрядчика по ИИ отличается от заказа сайта?

Сайт либо работает по макету, либо нет — это видно глазами. ИИ-решение работает с вероятностью: на одних вопросах отвечает верно, на других ошибается, и доля ошибок зависит от ваших данных. Поэтому подрядчика оценивают по тому, как он измеряет и ограничивает ошибки, а не по красоте демонстрации.

Есть ещё три отличия, о которых при заказе сайта думать не приходится:

• Ежемесячный расход растёт вместе с нагрузкой. Каждое обращение к модели стоит денег, и счёт зависит от длины запросов и числа шагов, а не от числа посетителей.
• Через решение проходят ваши данные. Письма клиентов, договоры, переписка попадают в запрос к модели. Где она работает — в российском облаке, на вашем сервере или за рубежом — вопрос не технический, а юридический.
• Решение умеет действовать. ИИ-агент создаёт сделки, ставит задачи, готовит документы. Ошибка здесь стоит дороже неудачного ответа в чате, и границы его прав нужно задать до сборки.

12 вопросов и хорошие ответы

Ниже вопросы в порядке, удобном для первого письма подрядчику. После каждого — что считать хорошим ответом. Просите отвечать письменно: устные обещания сравнить нельзя, а письменные потом сверяются с договором.

1. «Как вы измерите качество на наших данных?» Хороший ответ: соберём контрольную выборку из ваших реальных случаев с правильными ответами, прогоним решение до запуска и покажем долю верных, неполных и ошибочных ответов. Порог приёмки записываем до сборки. Подробно о том, как устроена такая проверка, — в статье о галлюцинациях нейросети.
2. «Что делает решение, когда не знает ответа?» Хороший ответ: говорит, что не нашло сведений, и передаёт вопрос сотруднику; ответ без источника не показывается. Тревожный — «модель всегда что-нибудь ответит».
3. «Где будут обрабатываться наши данные и что именно уходит в запрос?» Хороший ответ называет место работы модели, перечень полей, которые попадают в запрос, и способ убрать лишнее: телефоны, паспортные данные, суммы договоров, если они не нужны для задачи. Для персональных данных клиентов подрядчик сам поднимает вопрос 152-ФЗ — разбор есть в статье можно ли отправлять данные клиентов в ИИ.
4. «Сколько будет стоить работа модели в месяц при нашем объёме?» Хороший ответ — расчёт: столько-то обращений в месяц, столько-то шагов на обращение, примерная длина запроса, итог по тарифу поставщика. Плюс способ следить за расходом и ограничить его. Как складывается этот счёт, мы разбирали в статье сколько стоит ИИ-агент.
5. «На чей аккаунт оформлен поставщик модели и кто платит ему?» Хороший ответ: учётная запись заводится на вашу компанию, вы платите поставщику напрямую и видите расход. Если оплата идёт через подрядчика, в договоре должна быть расшифровка и наценка, если она есть.
6. «Что будет, если модель придётся заменить?» Версии моделей обновляются и со временем выводятся из обращения, меняются и цены. Хороший ответ: модель вынесена в настройку, замена — это повторный прогон по той же контрольной выборке и сравнение результата, а не переписывание решения.
7. «Какие действия разрешены ИИ-агенту?» Хороший ответ — список: что читает, что создаёт, что меняет и какие шаги подтверждает сотрудник. Деньги, отправка документов наружу и удаление данных — только с подтверждением человека.
8. «Что пишется в журнал и кто его видит?» Хороший ответ: каждый запрос, найденные источники, ответ или действие, кто подтвердил. Журнал доступен вам, а не только подрядчику, и по нему можно разобрать любой спорный случай.
9. «Кто и как будет обновлять базу знаний?» Хороший ответ: ваш сотрудник добавляет и заменяет документы сам через понятный интерфейс, а подрядчик показывает, как это делать, при сдаче. Если каждое обновление прайса — заявка подрядчику, вы будете платить за поддержку дольше, чем рассчитывали.
10. «Что мы получим на руки при сдаче?» Хороший ответ: исходный код в вашем репозитории, доступы к базе знаний и настройкам, инструкции модели и сценарии, описание интеграций и короткая инструкция для сотрудников. Отдельно — на каких условиях вы можете всем этим пользоваться и дорабатывать с другой командой.
11. «Как будет устроена приёмка?» Хороший ответ: приёмка идёт по той же контрольной выборке и порогу, что записаны до сборки, плюс проверка интеграций на тестовых данных. «Посмотрите, как вам» — не критерий.
12. «Что будет после запуска?» Хороший ответ разводит три вещи: гарантию на дефекты по вине подрядчика, поддержку с ценой и разбор ошибок по журналу в первые недели. Качество ИИ-решения без такого разбора обычно снижается: меняются документы, вопросы и сами процессы.

Тревожные признаки

Насторожиться стоит, если подрядчик обещает точность без проверки на ваших данных, уходит от вопроса, где обрабатываются данные, не может прикинуть расход на модель или предлагает решение, которое работает только в его кабинете. Каждый из этих признаков потом превращается в затраты.

• «Точность 99 %» до того, как подрядчик увидел хотя бы десяток ваших реальных писем или документов. Цифра без выборки ничего не значит.
• Демонстрация на чужих данных. Красивый ответ на заранее подготовленный вопрос не говорит, как решение справится с вашим прайсом из трёх версий и письмами без темы.
• «Сделаем всё сразу»: ассистент для клиентов, агент для продаж и разбор документов одним проектом. Так растёт смета и теряется возможность проверить что-то одно.
• ИИ-агент без подтверждений. Если в схеме нет шагов, где решает сотрудник, ошибка модели дойдёт до клиента или до денег.
• Нет ответа про смену модели. Значит, через год замена может стоить как новая разработка.
• Всё в кабинете подрядчика. Аккаунт у поставщика модели, база знаний и журнал оформлены на исполнителя, а вам выдаётся только окно чата. Уйти от такого подрядчика — значит начать заново.
• Оплата за «обучение нейросети на ваших данных» там, где задаче достаточно поиска по документам. Чем отличаются эти подходы, мы объясняли в статье RAG простыми словами.

Пилот на ваших данных до большого договора

Пилот — это первый этап с отдельной ценой, ограниченный одним процессом, с заранее записанным порогом качества. По его итогам вы решаете, идти ли дальше и с этим ли подрядчиком. Если порог не взят, вы теряете стоимость этапа, а не всего проекта.

Чтобы пилот был проверкой подрядчика, а не презентацией, договоритесь о пяти вещах:

1. Границы. Один процесс и один канал: например, только вопросы о сроках поставки в чате на сайте или только разбор входящих счетов.
2. Выборка от вас. Реальные случаи с ответами, которые вы считаете правильными, — подрядчик не подбирает их сам. Часть выборки держите у себя и покажите только на приёмке: так видно, как решение работает на незнакомых примерах.
3. Порог. Какая доля верных ответов считается успехом и какие ошибки недопустимы совсем, например неверная цена или срок.
4. Расход. Сколько обращений к модели ушло за пилот и сколько это будет стоить при полном объёме.
5. Что останется у вас. База знаний, выборка и журнал пилота, даже если дальше вы пойдёте к другому подрядчику.

Как выбрать сам процесс для пилота и какие метрики записать до старта, мы разобрали в статье как внедрить ИИ в компании. На пилоте стоит посмотреть и на поведение подрядчика: присылает ли он разбор ошибок сам, объясняет ли, почему решение ошиблось, и что предлагает исправить — данные, инструкции или процесс.

Что закрепить в договоре

В договор и техническое задание переносят всё, что подрядчик ответил на двенадцать вопросов: контрольную выборку и порог приёмки, место обработки данных, перечень действий ИИ-агента, состав журнала, что передаётся при сдаче и на каких условиях вы этим пользуетесь. Устные обещания в споре не помогут.

Проверьте, что в документах есть:

• Критерии приёмки в цифрах — доля верных ответов на выборке и список недопустимых ошибок.
• Схема данных — где работает модель, какие данные попадают в запрос, кто оператор персональных данных и кто кому их поручает обрабатывать.
• Права ИИ-агента — перечень систем, операций и шагов с подтверждением человека.
• Расходы вне сметы — работа модели, подписки сторонних сервисов, кто и по какому тарифу за них платит.
• Права на результат. Кому принадлежит исключительное право на код и что получает заказчик — лицензию или право целиком, на какой срок, можно ли дорабатывать с другой командой. Отдельно — что материалы и данные, которые вы передали, остаются вашими.
• Гарантия и поддержка — срок гарантии, что считается дефектом, цена поддержки после неё.

Как это устроено у нас. Оплата — 50 % в течение 3 рабочих дней после подписания договора и 50 % в течение 3 рабочих дней после подписания акта, на приёмку у заказчика 5 рабочих дней, в цену входят до 2 раундов правок: для ИИ-решения — на прототипе и после сборки. Гарантия — 30 календарных дней с даты акта, первые 7 дней после запуска мелкие правки бесплатно. Исключительное право на код остаётся у студии, заказчику после полной оплаты выдаётся лицензия на весь срок действия права: исходники в его репозитории, размещение на любом сервере, доработка с любым подрядчиком. Переданные вами документы и данные, накопленные при работе системы, остаются за вами, а учётная запись у поставщика модели заводится на вашу компанию. Состав работ и этапы — на странице внедрения ИИ под ключ.

Пункт	Что должно быть в предложении	Тревожный вариант
Задача	Один процесс, его объём и метрика до запуска	«Внедрим ИИ во все отделы»
Качество	Контрольная выборка из ваших случаев и порог приёмки в процентах	«Модель умная, отвечает хорошо»
Данные	Где работает модель, что уходит в запрос, как маскируются персональные данные	Вопрос о данных переносится «на потом»
Расход на модель	Расчёт на ваш объём, на чей аккаунт оформлен поставщик модели	Фиксированная «подписка на ИИ» без расшифровки
Смена модели	Модель вынесена в настройку, есть повторный прогон по выборке	Решение собрано вокруг одной модели без замены
Права ИИ-агента	Список действий: что читает, что меняет, что подтверждает человек	«Агент сам всё сделает»
Журнал	Запрос, источник ответа, действие и кто его подтвердил	Журнала нет или он только у подрядчика
Что вы получаете	Код в вашем репозитории, база знаний, инструкции модели, доступы	Только доступ в чужой кабинет
Цена и этапы	Смета по тарифам, этапы с оплатой и приёмкой	Одна сумма без состава работ

Как сравнить предложения?

Сведите КП в одну таблицу по одинаковым пунктам и сравнивайте не итоговые суммы, а то, что за ними стоит. Предложение дешевле на треть, в котором нет контрольной выборки и расчёта расхода на модель, на деле может обойтись дороже: эти работы всё равно придётся заказать.

Общие правила сравнения КП студий — в статье как сравнить коммерческие предложения. Для ИИ-проектов добавьте пункты из таблицы выше. Если какой-то строки в предложении нет, это не значит, что подрядчик её не сделает, — спросите письменно и сравнивайте по ответу.

Ориентиры по цене у нас такие: ИИ-решение — ассистент на ваших данных или автообработка заявок и переписок — от 72 000 ₽ и от 3 дней; интеграция до двух систем, например CRM и почты, — отдельно, от 32 000 ₽ и от 2 дней; поддержка и развитие — от 7 900 ₽ в месяц. Работа модели оплачивается её поставщику по факту, с вашего аккаунта, без наценки студии. Проекты с тремя и более системами или системами без API считаем после аудита и фиксируем цену в договоре.

Как понять по работам подрядчика, что он умеет?

Смотрите не на число ИИ-проектов в портфолио, а на то, как в них решены проверка ответов, данные и подтверждения человеком. Попросите показать работающую систему и спросите, что происходит, когда модель ошибается.

Два примера из наших работ, на которых видно, о чём спрашивать. В платформе «Реестр» ИИ распознаёт документ стройки примерно за 35 секунд и извлекает реквизиты, но каждое изменение в базе проходит подтверждение, пишется в журнал и может быть откачено — это ответ на вопросы 7 и 8. В ассистенте юриста «Довод» ссылку на норму, которую ассистент не открывал в своей базе, сервер вычёркивает до показа ответа, а материалы дела обрабатываются в российском облаке — это ответы на вопросы 2 и 3.

Когда подрядчик по ИИ вам не нужен?

Если задача решается жёстким правилом, ИИ лишний: «пришла заявка с сайта — создать сделку и уведомить менеджера» делает обычная интеграция дешевле и надёжнее. Подрядчик по ИИ нужен там, где надо понимать смысл текста.

• Процесс случается редко. Если операция занимает час в неделю, внедрение не стоит своих денег.
• Нет данных и примеров. Пока регламентов нет или они устарели, решение будет повторять беспорядок. Сначала стоит навести порядок в документах.
• Ошибка недопустима, а проверить её некому. Налоговые решения, медицинские назначения, подпись документов — здесь ИИ только помощник специалиста, и решение без сотрудника строить нельзя.
• Нужен готовый сервис. Расшифровка звонков или перевод текста часто закрываются подпиской на готовый продукт без разработки.

Частая ошибка заказчика — выбирать подрядчика по демонстрации, а задачу формулировать после договора. Сначала опишите один процесс и соберите два-три десятка реальных примеров: с ними любой разговор с подрядчиком становится предметным, а ответы на двенадцать вопросов — сравнимыми. Если хотите, пришлите их нам через страницу внедрения ИИ — ответим письменно по каждому пункту.

Короткие ответы на частые вопросы

Чем интегратор ИИ отличается от подрядчика, который делает сайты?

Кроме программирования он отвечает за качество ответов модели, за то, куда уходят ваши данные, и за ежемесячный расход на модель. Если подрядчик говорит только о сроках и интерфейсе, а об этих трёх вещах молчит, это обычная разработка с подключённым сервисом.

Сколько вопросов задавать подрядчику по ИИ до договора?

Достаточно двенадцати: качество и его проверка, данные, расход на модель, смена модели, права ИИ-агента, журналы, база знаний, пилот, приёмка, поддержка, цена и состав передаваемого. Ответы стоит получить письменно — так их легко сравнить между подрядчиками.

Нужно ли платить за пилот?

Пилот на ваших данных — это работа: база знаний, контрольная выборка, прогон и разбор ошибок. Его разумно оформлять первым этапом договора с отдельной ценой и критериями приёмки, а не просить бесплатно — бесплатная демонстрация обычно показывает чужие данные.

Кому принадлежит база знаний после внедрения?

Документы, которые вы передали, и данные, накопленные при работе системы, остаются за вами. В договорах Roboweb.team исключительное право на код остаётся у исполнителя, а заказчику после полной оплаты выдаётся лицензия на весь срок действия права — с размещением на любом сервере и доработкой у любого подрядчика.

Сколько стоит внедрение ИИ у Roboweb.team?

По прайсу ИИ-решение стоит от 72 000 ₽ и занимает от 3 дней; интеграция с вашими системами (до двух, например CRM и почта) считается отдельно — от 32 000 ₽ и от 2 дней. Работу модели вы оплачиваете её поставщику по факту, со своего аккаунта, без наценки студии; итоговую цену фиксируем в договоре до старта.

Услуги и кейсы по теме: внедрение ИИ под ключ · кейс «Реестр» · цены и сроки