Фотоальбом
I. О продукте
1.1 Введение в продукт
Данный продукт представляет собой интерактивную цифровую систему взаимодействия человека с речью, подходящую для частного развертывания на предприятиях. Он применим для интеллектуального голосового взаимодействия и запросов/ответов на вопросы в предприятиях, школах и государственных учреждениях. Разработанный на основе крупномасштабной модели вывода, модели распознавания речи, модели синтеза речи и механизма рабочих процессов, он может гибко переключаться между моделями развертывания в общедоступной сети и локальной сети, чтобы удовлетворить потребности предприятий в персонализированной обработке данных. Он ориентирован на коммерческую ценность, является легковесным и настраиваемым, а также может быть быстро развернут.
1.2 Изображение персонажа
Она поддерживает создание собственного изображения персонажа и предлагает более десяти изображений на выбор в библиотеке изображений.
1.3 Основные преимущества
Главное отличие нас от других производителей цифровых людей:
- Многотерминальное использование: Не ограничивается моноблочными устройствами, может гибко использоваться на различных терминалах, таких как компьютеры под управлением Windows, планшеты Android (вывески), веб-страницы, официальные учетные записи и мини-программы.
- Система ответов на частные вопросы: она может гибко взаимодействовать с внутренними корпоративными данными через интерфейсы, запросы к базе данных и т. д., позволяя виртуальным людям отвечать на эксклюзивный контент и обеспечивая гибкое получение запросов к отчетам, видео и другому контенту.
- Локализованное развертывание: Поддерживает локализованное частное развертывание внутри предприятий, работающее во внутренней сети (все большие модели и данные находятся локально).
1.4 Список функций программного обеспечения
| Серийный номер | категория | Подпункт | иллюстрировать |
|---|---|---|---|
| 1 | Настройка персонажа | 1.1 Клонирование символов | Съемка на зеленом фоне: цифровое клонирование человека на основе видеозаписей, снятых на зеленом фоне и предоставленных целевым человеком; синтез с помощью ИИ: создание изображения человека на основе его фотографии; поддержка различных действий, таких как ожидание, неподвижное стояние с опущенными руками, разговор с поднятыми руками, разговор одной рукой и разговор обеими руками. |
| 1.2 Клонирование голоса персонажа | Он поддерживает 3-секундное быстрое воспроизведение, предоставляя 3-10 секунд реальных записей человеческого голоса для быстрого воспроизведения голосовых характеристик человека. | ||
| 1.3 Настройки фона | Предоставляет возможности для установки и изменения фонового изображения цифрового человека. | ||
| 2 | Голосовые технологии | 2.1 Голосовое пробуждение | Она поддерживает присвоение имен цифровым человечкам, и цифровой человечек будет активно пробуждаться и вступать в разговор, когда услышит, как кто-то зовет его по имени. |
| 2.2 Распознавание речи | Основанная на обширной модели речи, эта система распознавания речи в реальном времени, охватывающая весь процесс от начала до конца, может похвастаться лучшим в отрасли показателем ошибок распознавания слов и скоростью одновременного выполнения операций. Она поддерживает распознавание диалектов и может идентифицировать более 10 национальных языков. | ||
| 2.3 Синтез речи | Синтез речи на основе обширной модели речи, предоставляющий множество вариантов голоса. Аудиоалгоритмы: AEC, ANC, AGC. |
1.5 Цифровой человек — универсальная машина
Интеллектуальное интерактивное терминальное устройство, объединяющее камеру и микрофон и готовое к использованию сразу после распаковки.
II. Сценарии применения
2.1-дюймовый сенсорный моноблочный ПК
Этот вертикальный сенсорный моноблок подходит для использования в таких местах, как вестибюли и выставочные залы, позволяя пользователям взаимодействовать напрямую с помощью касания или голоса.
2.2 Электронная фоторамка
Интерактивный экран в виде цифрового человека, выполненный в форме рамки для картины, может быть интегрирован в домашнюю и офисную обстановку, позволяя пользователям общаться с цифровым человеком внутри электронной рамки посредством голосовых вопросов и ответов.
2.3 Путеводитель по выставочному залу
Цифровое решение для объяснения информации человеком, подходящее для таких сценариев, как школьные исторические музеи, корпоративные выставочные залы и музеи, с поддержкой интегрированного отображения на больших экранах.
2.4 Запрос промышленных данных
Этот цифровой человек, разработанный для промышленного применения, позволяет пользователям запрашивать производственные данные, информацию о состоянии оборудования и другие сведения посредством голосового взаимодействия.
2.5 ПК с Windows
| проект | Спецификация |
|---|---|
| Способ установки | Предоставляет установочный файл .exe. |
| Применимые терминалы | Компьютер для подиума/Универсальное устройство с сенсорным экраном |
| Процессор | Процессоры i3 и выше |
| Типичные сценарии | Компьютер на кафедре в классе, цифровой тест по междисциплинарным знаниям в области человеческого взаимодействия. |
2.6 Электронное объявление класса
| проект | Спецификация |
|---|---|
| Экран дисплея | IPS ЖК-дисплей |
| размер | 18,5 дюймов |
| разрешение | 1920 × 1080 |
| чип | RK3288 Четырехъядерный процессор 1,8 ГГц |
| Память | 2 ГБ |
| флэш-память | 16 Гб |
2.7 Промышленный робот-собака
Бионический четвероногий робот-собака, мобильная цифровая платформа для взаимодействия с человеком, способная передвигаться по сложной местности и общаться с пользователями посредством голоса.
2.8 Крупномасштабные конференции
Сверхбольшой интерактивный экран подходит для отображения информации о человеке и взаимодействия с ним в таких условиях, как большие конференц-залы и лекционные аудитории.
III. Клонирование символов
3.1 Съемка на зеленом фоне
Цифровое клонирование человека выполняется на основе видеозаписей с использованием зелёного экрана, предоставленных целевым объектом. Запись должна производиться в профессиональной среде с зелёным экраном. После предоставления видеоматериалов высокого разрешения обучение модели обычно завершается в течение 1-2 рабочих дней.
3.2 Фотокомбинация
Созданные с помощью ИИ аватары на основе фотографий позволяют быстро создавать цифровые человеческие образы без необходимости использования специального оборудования.
3.3 Синтез звука
Поддерживает быстрое воспроизведение голосовых характеристик за 3 секунды. Для воспроизведения голосовых характеристик человека и их использования в цифровом синтезе человеческой речи требуется всего 3-10 секунд записи речи реального человека.
IV. Фронтенд-энд цифрового человека
4.1 Вопросы и ответы с участием цифровых людей
4.1.1 Текстовый ответ
Цифровой человек отвечает на вопросы пользователей в формате простого текста, что подходит для сценариев вопросов и ответов, основанных на общих знаниях.
4.1.2 Ответьте с помощью картинок и текста.
Когда вопрос явно требует ответа в формате «текст и изображения», цифровой человек может отобразить в ответе и текст, и изображения.
4.1.3 Ответы на видеовопрос
Если вопрос явно требует «видеоответа», виртуальный человек может получить доступ к видеоматериалам, уже настроенным в бэкэнде, и воспроизвести их (ресурсы бэкэнда должны содержать соответствующие видеоматериалы).
4.2 Переключение интерфейсов
4.2.1 Многорежимное переключение
Вы можете свободно переключаться между режимами голосового и текстового ввода.
4.2.2 Переключение нескольких фоновых процессов
Поддерживает смену фонового изображения цифрового человека.
4.2.3 Многоразрешающее переключение
Он предлагает несколько разрешений, включая 1K, 2K и 4K, подходящих как для обычных устройств, так и для моноблоков с большими экранами.
4.2.4 Переключение между несколькими цифровыми человеческими фигурами
Windows: Выберите виртуального человека, которого хотите запустить в приложении «Виртуальный человек»; Android: Нажмите на точку в верхнем левом углу интерфейса, чтобы открыть интерфейс переключения виртуальных людей.
4.2.5 Переключение между альбомным и портретным режимами
Горизонтальный режим подходит для онлайн-лекций и презентаций, демонстрирующих корпоративные знания; портретный режим подходит для моноблоков с большими экранами. Для переключения нажмите на меню справа.
4.3 Переключение между режимами диалога
4.3.1 Режим пробуждения
Система по умолчанию находится в режиме пробуждения, который автоматически включает и начинает разговор, когда цифровой человек слышит, как кто-то называет его «имя».
4.3.2 Режим ввода текста
Щелкните меню «Режим ввода», и появится текстовое поле ввода. Введите соответствующий текст, чтобы поговорить с цифровым человеком.
4.3.3 Диалоговый режим мобильного телефона
Щелкните меню «Голосовой ввод», затем нажмите и удерживайте кнопку ниже, чтобы общаться с цифровым человеком голосом.
4.4 Управление приложениями
4.4.1 Обновление приложения
Поддерживает онлайн-обновление цифрового клиента через приложение.
4.4.2 Авторизация приложения
Он поддерживает управление авторизацией приложений, позволяя контролировать права доступа различных пользователей.
V. Система управления бэкэндом
5.1 Работа системы
5.1.1 Загрузка клиента
Загрузите установочные пакеты клиентских приложений для каждой платформы из административной панели.
5.1.2 Многозначное управление персоналом
Мы предоставляем от одного до десятков цифровых аватаров для разных клиентов, управление которыми осуществляется единообразно через интерфейс информации об аватарах.
5.1.3 Цифровое переименование человека
Имя цифрового человека — это кодовое слово для активации; услышав это имя, цифровой человек начинает разговор.
5.1.4 Запрос журнала диалога
Вы можете отфильтровать сообщения по различным пользователям, чтобы просмотреть недавние записи переписки.
5.1.5 Авторизация пользователей системы
Различным типам пользователей предоставляются разные права доступа к меню и данным.
5.2 Управление базой знаний по документам
📌 Обычные пользователи могут просто загружать файлы; никаких изменений в стратегии сегментации не требуется.
5.2.1 Управление файлами
Выберите локальную загрузку файла (поддерживается перетаскивание), система разделит файл в соответствии со стратегией по умолчанию: chunk_size=500, chunk_overlap=50, separator=['\n\n'].
5.2.2 Сегментированное управление
Она поддерживает просмотр и ручную настройку сегментов загруженных документов.
5.3 Управление базой знаний в области обеспечения качества
5.3.1 Управление парами вопросов и ответов
Вручную поддерживайте стандартные пары вопросов и ответов, подходящие для сценариев с высокой частотой и высокой точностью ответов.
5.3.2 Точные ответы на вопросы
Он поддерживает настройку точных правил сопоставления, чтобы гарантировать возврат предустановленного стандартного ответа на конкретный вопрос.
5.4 Крупные модели, связанные с
5.4.1 Выбор модели
Она обеспечивает гибкое переключение между моделью развертывания в масштабах общедоступной сети и моделью локального развертывания.
5.4.2 Обучение модели
Он поддерживает тонкую настройку и обучение моделей на основе корпоративных конфиденциальных данных.
5.5 Цифровой человеческий рабочий процесс
5.5.1 Управление рабочим процессом
Визуально организуйте процесс вопросов и ответов цифрового человека, поддерживая настройку узлов методом перетаскивания.
| Имя узла | Описание функции |
|---|---|
| 5.5.2 Начальный узел | Начальный узел рабочего процесса (создается автоматически, не может быть скопирован или удален). Настройки: Начальное сообщение пустое; автоматически извлекается текущее время (гггг-мм-дд чч:мм); сохраняются n последних записей чата, количество записей можно настроить. |
| 5.5.3 Входной узел | Он получает содержимое, введенное пользователем в диалоговом окне, и сохраняет его в переменной user_input, не требуя дополнительной настройки. |
| 5.5.4 Выходной узел | Определите содержание окончательного ответа, возвращаемого пользователю. |
| 5.5.5 Крупные модельные узлы | Используйте LLM для выполнения логического вывода и генерации ответов. |
| 5.5.6 Вспомогательный узел | Настройте команды командной строки и поведение помощника на системном уровне. |
| 5.5.7 Узел поиска в базе знаний QA | Найдите совпадающие пары вопрос-ответ в базе знаний по вопросам и ответам. |
| 5.5.8 Узел вопросов и ответов базы знаний по документам | Для ответа на вопрос извлеките соответствующую информацию из базы знаний документа. |
| 5.5.9 Узел условного ветвления | Определите последовательность действий в процессе на основе условий для реализации сложной логики диалога. |
5.6 Системные инструменты
Предоставляет вспомогательные инструменты и функции, связанные с эксплуатацией и техническим обслуживанием системы.
VI. Сторона SaaS: Создание нового цифрового человека
| шаг | работать | иллюстрировать |
|---|---|---|
| первый шаг | 6.1 Зарегистрированные пользователи | Зарегистрируйте аккаунт на SaaS-платформе. |
| Шаг 2 | 6.2.1 Создание нового рабочего процесса | Создайте диалоговый сценарий для цифровых людей. |
| 6.2.2 Создание новой базы знаний | Загрузите документы или настройте пары вопросов и ответов для вопросов и ответов. | |
| Шаг 3 | 6.3.1 Создание нового изображения персонажа | Выберите или настройте внешний вид своего цифрового персонажа. |
| 6.3.2 Настройка ассоциации | Убедитесь, что рабочий процесс и база знаний этого человека должным образом связаны. | |
| Шаг 4 | 6.4.1 Получение серийного номера | Чтобы проверить серийный номер устройства, нажмите на маленький кружок в верхнем левом углу устройства. |
| 6.4.2 Привязка устройства | Введите серийный номер в разделе «Привязать устройство» системы управления. После перезапуска приложения на устройстве отобразится созданный цифровой человек, ответы которого основаны на специальной базе знаний. |
VII. Внедрение приватизации
7.1 Конфигурация системного сервера
| иметь значение | иллюстрировать |
|---|---|
| 7.1.1 Цифровой человек — универсальная машина | Аппаратные устройства, объединяющие сенсорный экран, камеру и микрофон, готовые к использованию сразу после распаковки. |
| 7.1.2 Сервер для крупномасштабных вычислений (опционально) | Для локального запуска больших моделей рекомендуется сервер с графическим процессором (NVIDIA RTX 3060 или выше) с объемом оперативной памяти 16 ГБ и более и объемом жесткого диска 50 ГБ и более, в зависимости от количества параллельных задач и размера модели. |
7.2 Составление проектных данных
| Тип данных | иллюстрировать |
|---|---|
| 7.2.1 Внешность и голос персонажа | Предоставьте видео с использованием хромакея или фотографию высокого разрешения целевого лица, а также аудиозапись продолжительностью от 3 до 10 секунд. |
| 7.2.2 Сборник вопросов и ответов | Составьте список часто задаваемых корпоративных вопросов и стандартных ответов и импортируйте их в базу знаний по контролю качества. |
| 7.2.3 Обработка данных (RAG) | Система организует корпоративные документы (поддерживаются форматы PDF, Word, TXT, Markdown и другие), автоматически анализирует их и генерирует расширенные результаты поиска RAG. |
7.3 Интеграция данных
- 7.3.1 Интеграция с базой знаний по вопросам и ответам: импортируйте в систему собранные пары вопросов и ответов по вопросам и ответам.
- 7.3.2 Интеграция с базой знаний по документам: Загрузите корпоративные документы, и система автоматически сегментирует и индексирует их.
- 7.3.3 Интеграция запросов к базе данных: Благодаря интеграции с внутренней базой данных предприятия, цифровой человек может запрашивать бизнес-данные (такие как отчеты, рабочие задания и т. д.) в режиме реального времени.
VIII. Меры предосторожности
8.1 Включение/выключение питания по таймеру
Установите таймеры включения/выключения с помощью планшетных устройств, например, выключение в 22:00 и включение в 8:00, чтобы обеспечить стабильную работу и экономию энергии.
WeChat
WhatAPP