Проблема
Для реализации WASM сборки interlude и его использования в качестве ядра генерации потребуется добавить StringProxyClient, который решает задачу дилегирования генерации на сторонний ресурс.
Структура StringProxyClient принимает 'chan string', который заполняется json-строками, которые далее десериализуются в события генерации текста, которые затем транслируются в results
Особенности
- Клиент не имеет эффективного метода
SyncInput, а также какой-либо конфигурации инференса.
- Клиент не имеет смысла использовать его с helper-методами отправки сообщений.
Требуется добавить
- Json Сериализация/десериализация для всех событий генерации
- Реализация структуры
StringProxyClient с методами интерфейса Client
Проблема
Для реализации WASM сборки interlude и его использования в качестве ядра генерации потребуется добавить
StringProxyClient, который решает задачу дилегирования генерации на сторонний ресурс.Структура
StringProxyClientпринимает 'chan string', который заполняется json-строками, которые далее десериализуются в события генерации текста, которые затем транслируются вresultsОсобенности
SyncInput, а также какой-либо конфигурации инференса.Требуется добавить
StringProxyClientс методами интерфейсаClient