Banking AI Chatbot — Путь к созданию банковского AI-чатбота: от простоты к сложности

📡 Когда команда начала проект по созданию банковского чатбота, разработчик думал, что его задача будет простой: открыть WebSocket, отправить сообщение в AI и вернуть ответ. Однако вскоре возникли неожиданные проблемы. На первом тестировании чатбот не знал, как ответить на вопросы, не относящиеся к банкингу. Это выявило необходимость в системе определения намерений, чтобы фильтровать запросы. После успешного демо возникла новая проблема: задержка в 200–300 мс из-за необходимости проверки каждого запроса через LLM. Это открытие привело к вопросу о кэшировании, что стало следующим шагом в развитии проекта.