Какие видеокарты нужны для офлайн-ИИ: считаем сами
Когда начинаешь разговор про офлайн-ИИ, первое, что спрашивают: а какое железо нужно? Те же ребята, что продают подписки, говорят: «берите сервер за 5 миллионов, без этого никак». Но мы считаем иначе. Обычно хватает двух видеокарт с 24 ГБ памяти, и это тянет модель на 27B параметров. Давай разберем, как мы пришли к этим цифрам.
Проблема ниши: страшно и непонятно
Если ты владелец бизнеса или техдир, то уже видел сто предложений «внедрим ИИ за месяц». Но как только доходит до деталей, начинается: нужно облако, нужна подписка, а потом еще и данные утекут. А если делаем локально, то страшно: какое железо покупать? Какой сервер? Не разоримся ли?
Каждый раз, когда мы приходим к клиенту и начинаем говорить про сервер, видим испуг в глазах: «это же опять на 10 миллионов». Но нет. Мы ставим ИИ-сотрудника на сервер в офисе, и для большинства задач достаточно сервера с двумя видеокартами NVIDIA RTX 4090 (по 24 ГБ) или чуть проще - RTX 3090. И это не экзотика, а рабочая конфигурация.
Почему так? Модель, которую мы используем, - Qwen3 с 27B параметров. Для нее нужно примерно 40 ГБ видеопамяти в сумме. Одна карта на 24 ГБ не потянет, а две - в самый раз. Плюс запас на контекст, на обработку документов. Так и выходит: две карты по 24 ГБ - и все работает.
Но давай по порядку.
Что делает ИИ-сотрудник и какие задачи тянет
Если ты еще не в курсе, офлайн-ИИ - это не просто болталка. Это сотрудник, который сидит в твоем офисе на сервере и делает конкретную работу. Например, обрабатывает коммерческие предложения: получил заявку от клиента - и через 15 минут готов ответ с расчетом. Раньше на это уходило 4 часа ручной работы менеджера.
Или другой пример: нужно проверить договор на стандартные риски. ИИ поднимает базу знаний компании, находит похожие случаи и дает заключение. Данные не выходят за пределы офиса - это важно для тех, кто работает с персональными данными или коммерческой тайной.
Какие задачи он закрывает в разных отделах:
- В продажах: быстрый расчет КП по прайсу, подготовка ответов на типовые запросы, напоминания о звонках.
- В закупках: сравнение предложений поставщиков, отслеживание просрочек, автоматическое формирование заявок.
- В кадрах: разбор резюме, подготовка вопросов для собеседований, адаптация новичков через базу знаний.
- В юристах: первичная проверка договоров, поиск противоречий с внутренними регламентами.
Это все считается на той самой конфигурации с двумя 4090. Плюс модель обновляется программно, без замены железа. Купил один раз - и получаешь апгрейды.
Экономика: считаем вместе
Теперь про деньги. Допустим, твой менеджер тратит на подготовку одного КП 4 часа. В месяц таких КП, скажем, 10. Итого 40 часов - это почти целая рабочая неделя. Если зарплата менеджера - 80 000 ₽ в месяц, то стоимость часа - около 500 ₽. Значит, на КП уходит примерно 20 000 ₽ в месяц. А если задач больше: КП, ответы на запросы, отчеты - то и больше.
Мы считаем экономию на одной задаче (КП за 15 минут вместо 4 часов) - 78 000 ₽ в месяц на одного сотрудника. Как получается? Умножаем сэкономленные часы на стоимость часа специалиста, добавляем то, что раньше приходилось нанимать дополнительного человека в пиковые дни.
Теперь железо. Сервер с двумя RTX 4090 обойдется примерно в 1,5-2 миллиона рублей с учетом остальной начинки: процессор, память, диски. Плюс настройка, внедрение, обучение сотрудников - это все входит в договор, сумма может быть от 650 тысяч до 3,5 миллионов. Да, есть варианты дешевле.
Но главное: мы считаем окупаемость до покупки. Присылаешь нам свои цифры: сколько времени уходит на задачи, какие зарплаты у сотрудников. Мы считаем, сколько сэкономит ИИ. Если не окупается - не поставим. Без шуток. Так что клиент всегда знает, зачем платит.
Подписки нет. Купил один раз - и пользуешься. Обслуживание - 40 000 ₽ в месяц, включает обновления, поддержку и дообучение модели под твои задачи. Зато никаких платежей каждый месяц за каждый чих, как в облачных сервисах.
Технические детали: что внутри и почему это работает
Если коротко, то требования такие:
- Видеокарты: две NVIDIA с 24 ГБ памяти (RTX 4090 или RTX 3090). Это минимум для запуска модели 27B.
- Процессор: достаточно 8-ядерного Intel Xeon или аналогичного, чтобы обеспечить питание карт и обработку запросов.
- Оперативная память: 64-128 ГБ, чтобы система не тормозила при загрузке больших документов.
- Диски: NVMe SSD на 2 ТБ, чтобы быстро читать и записывать данные.
Но не надо самому собирать все с нуля - мы поставляем сервер уже настроенным. В договоре прописано: сервер, база знаний, ИИ-помощники, обучение сотрудников. Все одним пакетом.
И не бойся, что модель устареет. Открытые модели (у нас Qwen3.8-27B) обновляются регулярно. Мы обновляем программно, без замены железа. Так что через год твой ИИ будет умнее, а железо то же.
Кстати, про безопасность: данные не выходят из офиса. Никаких облаков, никаких сторонних серверов. Конфиденциальная информация остается внутри периметра. А отправка документов наружу - только через человека, то есть ИИ сам ничего не отправит без твоего одобрения.
Типичные вопросы владельцев бизнеса
Так сколько в итоге стоит сервер с ИИ?
Если брать минимальную конфигурацию для модели 27B - это примерно 1,2-1,6 млн за сам сервер. Но у нас комплексный договор: сервер, база знаний, настройка, обучение. Итоговая цена договора - от 650 тысяч до 3,5 миллионов. Зависит от сложности задач и объема базы. Но всегда считаем окупаемость заранее, так что ты видишь, когда вернутся деньги.
А если мне нужно обрабатывать огромный объем данных, хватит двух 4090?
Для большинства средних компаний - да. Мы говорим про загрузку до 50-100 задач в день. Если задач больше, можно добавить еще карты. Но это уже индивидуально. Сначала приходишь к нам, мы анализируем твои процессы и говорим, сколько нужно. Иногда оказывается, что хватает и одной карты, если задачи простые и модель поменьше.
Что будет, если модель устареет или появятся новые фичи?
Обновления выходят регулярно, мы их ставим в рамках обслуживания за 40 000 ₽ в месяц. В эту же сумму входит поддержка и дообучение модели под новые задачи. Так что через год твой ИИ будет умнее, а железо - то же.
Я боюсь, что сотрудники не будут пользоваться. Как это внедряется?
Ты не один такой. Поэтому мы в обязательном порядке проводим обучение: показываем, как ИИ облегчает работу, как он встраивается в текущие процессы. Обычно через пару недель сотрудники сами просят добавить новые функции. Если что-то не так - подстраиваем под конкретные рабочие моменты.