Agente multimodal de WhatsApp

Uma mensagem de voz.Uma resposta.

Comece com um fluxo com entradas de texto, áudio, imagem e PDF. Adapte as instruções e teste os formatos que você vai atender.

Começar grátis Veja em ação

Requer um plano com Flows, conexões configuradas e uma execução de teste.

Uma pessoa consulta um pedido no telefone enquanto uma colega prepara pacotes na loja.

Uma tarefa do seu negócio

Áudio: «A que horas posso retirar o pedido?»

PulpoChatResposta no WhatsApp

Áudio: «A que horas posso retirar o pedido?»

WhatsAppReceba o áudio
OpenAIPrepare a resposta
WhatsAppEscolha texto ou áudio

Resposta no WhatsApp

Você pode retirar de segunda a sexta, das 10 às 18 h.

Comece com um fluxo preparado

Adapte conexões e dados

Teste antes de ativar

Do início ao resultado.

Você incluiu o horário de retirada nas instruções do agente.

Chega um áudio de um cliente

Agente multimodal de WhatsApp

Áudio: «A que horas posso retirar o pedido?»

Você incluiu o horário de retirada nas instruções do agente.

PulpoChatResposta no WhatsApp

Áudio: «A que horas posso retirar o pedido?»

WhatsAppReceba o áudio
A ramificação de áudio baixa e transcreve a mensagem.
OpenAIPrepare a resposta
O agente responde com as instruções configuradas.
WhatsAppEscolha texto ou áudio
A condição de saída direciona a resposta pela ramificação preparada.

Resposta no WhatsApp

Você pode retirar de segunda a sexta, das 10 às 18 h.

O exemplo mostra a ramificação de áudio. Confira texto, imagem e PDF separadamente.

Explore as etapas do modelo

O diagrama mostra os nós e as conexões do catálogo. Revise seus campos e credenciais dentro do editor do Flows.

Ver a descrição original do catálogo

*Create your Custom Business AI Agent that speaks, sees, listens and replies to your customers.* #### 🚀 What this workflow does 1. **Receives any inbound WhatsApp message** via a **PulpoChat Trigger** 2. **Detects the medium** – text, voice note, image or document (PDF) 3. **Processes accordingly** - **Text** → straight to the AI brain - **Voice notes** → download ➜ **Whisper** transcription - **Images** → download ➜ **GPT-4o Vision** analysis - **PDFs only** → download ➜ text extraction 4. Feeds the cleaned input + short-term **memory buffer (20 turns)** to an **OpenAI Chat Agent** (GPT-4o-mini by default) 5. Sends the answer back through PulpoChat: - **If the user sent audio, the bot replies in audio** (OpenAI TTS ➜ saves mp3 to Google Drive ➜ returns the public link). - Otherwise, returns plain text. 6. Gracefully rejects anything that isn’t text, image, audio or a PDF (“Sorry, you can only send …”) *Result:* a polite, context-aware concierge that can read your contract, describe your cat photo, or summarize a 3-minute rant into a single line—without ever leaving WhatsApp. #### 🧩 Key components | Node | Purpose | |------|---------| | **PulpoChat Trigger / PulpoChat** | Receive & send WhatsApp messages | | **Switch → “Input type”** | Routes to Text / Audio / Image / Document branches | | **HTTP Request** | Securely downloads media from PulpoChat | | **OpenAI Whisper** | Turns voice notes into text | | **GPT-4o Vision** | Describes images in detail | | **Extract From File** | Converts PDFs to text | | **LangChain Agent** | Central brain with custom system prompt | | **Memory Buffer Window** | Keeps the last 20 turns per chat | | **OpenAI TTS (“Generate Audio Response”)** | Converts answers to speech (voice “nova”) | | **Google Drive (Upload + Delete)** | Stores the mp3, grabs a share link, cleans up | (Sticky notes in the canvas label the four media lanes so future-you won’t get lost.) #### 🛠️ Prerequisites - **PulpoChat** device + API key - **OpenAI** API key (chat, whisper, TTS, vision) - **Google Drive** OAuth credentials (for audio replies) #### 💡 Ideas & extensions - Pipe extracted conversation data into HubSpot or Airtable. - Replace GPT-4o with your on-prem model ➜ just swap the Chat node. - Add a **Sentiment** node to auto-escalate angry customers. - Expand document branch to Word, PowerPoint or spreadsheets. #### ⚖️ Limits & best-practice nudges - Only PDFs are accepted for now; other file types trigger a polite rejection. - The workflow rate-limits itself by design (single execution per message), but you may want extra guards if you point it at a large audience. - Delete Google Drive files after sending (already included) to keep storage costs clean. - Remember WhatsApp’s 24-hour customer-initiated window. #### 🏁 Ready, set, automate! Import → Hit **Active**. Your WhatsApp number just became a futuristic, multimodal AI agent. Enjoy the peace and quiet while it handles the chatter. 😉

O fluxo está preparado. A configuração fica com você.

Entre no Pulpo, abra o Flows e procure este modelo pelo nome. O botão «Usar modelo» carrega o fluxo no editor.

Escolha «Usar modelo»
Abra o Flows na sua conta e escolha este modelo no catálogo. «Bot Agente IA que entende texto, áudio, imagem e documentos»
Prepare as conexões
Preencha credenciais, dados e instruções para a tarefa do seu negócio.
Teste o resultado
Execute um caso representativo e confira cada etapa antes de ativar o fluxo.

Antes de começar

Uma conta e um plano do Pulpo com Flows disponível.
Credenciais de OpenAI e Google Drive para as ramificações que os utilizam.
Instruções, formatos aceitos e condição de resposta em áudio revisados.

Começar grátis Ver planos e condições

Antes de usar este modelo.

O que convém verificar neste fluxo?

O título do catálogo identifica esta variante. Não implica um curso completo nem a compreensão garantida de qualquer arquivo.

O que acontece depois que eu me cadastro?

Abra o Flows e escolha «Usar modelo» no catálogo. O cadastro abre sua conta; você ainda terá que configurar e testar o fluxo.

Posso alterar as etapas ou parar o fluxo?

Você pode editar os nós e desativar o fluxo no editor. Repita os testes ao alterar instruções, conexões ou dados.

As conexões externas podem ter custos à parte?

Sim. Os modelos de IA e os serviços conectados podem exigir sua própria conta, permissões e custos de uso. Revise cada conexão do modelo.

Escolha a tarefa de que você precisa.

Ver todos os modelos