Introdução

Cohere apresentou seu modelo básico de próxima geração, Rerank 3 para pesquisa empresarial eficiente e Geração Aumentada de Recuperação(RAG). O modelo Rerank é compatível com qualquer tipo de banco de dados ou índice de pesquisa e também pode ser integrado a qualquer aplicação jurídica com recursos de pesquisa nativos. Você não vai imaginar que uma única linha de código pode aumentar o desempenho da pesquisa ou reduzir o custo de execução de um Aplicação RAG com impacto insignificante na latência.  

Vamos explorar como esse modelo básico é definido para promover a pesquisa corporativa e os sistemas RAG, com maior precisão e eficiência. 

Capacidades de reclassificação 

Rerank oferece os melhores recursos para pesquisa corporativa, que incluem o seguinte: 

• Comprimento de contexto de 4K que melhora significativamente a qualidade da pesquisa para documentos de formato mais longo. 
• Ele pode pesquisar dados multiaspectos e semiestruturados, como tabelas, código, JSON documentos, faturas e e-mails. 
• Pode abranger mais de 100 idiomas.
• Latência aprimorada e custo total de propriedade (TCO) reduzido

Modelos generativos de IA com contextos longos têm o potencial de executar um RAG. Para melhorar a pontuação de precisão, a latência e o custo, a solução RAG deve exigir uma combinação de geração Modelos de IA e, claro, modelo Rerank. A reclassificação semântica de alta precisão do rerank3 garante que apenas as informações relevantes sejam alimentadas no modelo de geração, o que aumenta a precisão da resposta e mantém a latência e o custo muito baixos, especialmente ao recuperar informações de milhões de documentos. 

Pesquisa empresarial aprimorada

Os dados empresariais são muitas vezes muito complexos e os sistemas atuais colocados na organização encontram dificuldades na pesquisa em fontes de dados semiestruturadas e multiaspectos. Principalmente, na organização, os dados mais úteis não estão no formato de documento simples, como o JSON, que é muito comum em aplicativos corporativos. O Rerank 3 é facilmente capaz de classificar e-mails complexos e de vários aspectos, como e-mails, com base em todos os seus campos de metadados relevantes, incluindo sua atualidade. 

A reclassificação 3 melhora significativamente a qualidade da recuperação do código. Isso pode aumentar a produtividade dos engenheiros, ajudando-os a encontrar os trechos de código certos com mais rapidez, seja na base de código da empresa ou em vastos repositórios de documentação.

Os gigantes da tecnologia também lidam com fontes de dados multilíngues e a recuperação anteriormente multilíngue tem sido o maior desafio com métodos baseados em palavras-chave. Os modelos Rerank 3 oferecem um forte desempenho multilíngue com mais de 100 idiomas, simplificando o processo de recuperação para clientes que não falam inglês. 

Um desafio importante na pesquisa semântica e nos sistemas RAG é a otimização do agrupamento de dados. A Reclassificação 3 aborda isso com uma janela de contexto de 4k, permitindo o processamento direto de documentos maiores. Isso leva a uma melhor consideração do contexto durante a pontuação de relevância.

A reclassificação 3 também é compatível com a API de inferência da Elastic. O Elastic Search tem uma tecnologia de pesquisa amplamente adotada e os recursos de pesquisa por palavras-chave e vetores na plataforma Elasticsearch são desenvolvidos para lidar com dados corporativos maiores e mais complexos com eficiência. 

“Estamos entusiasmados com a parceria com a Cohere para ajudar as empresas a aproveitar o potencial de seus dados”, disse Matt Riley, vice-presidente executivo e gerente geral da Elasticsearch. Os modelos de recuperação avançados da Cohere, Embed 3 e Rerank 3, oferecem excelente desempenho em dados corporativos complexos e grandes. Eles são o seu solucionador de problemas e estão se tornando componentes essenciais em qualquer sistema de pesquisa empresarial. 

Latência aprimorada com contexto mais longo

Em muitos domínios de negócios, como comércio eletrônico ou atendimento ao cliente, a baixa latência é crucial para proporcionar uma experiência de qualidade. Eles tiveram isso em mente ao criar a Reclassificação 3, que mostra latência até 2x menor em comparação com a Reclassificação 2 para comprimentos de documentos mais curtos e melhorias de até 3x em comprimentos de contexto longos.

Melhor desempenho e RAG eficiente

Em sistemas de geração aumentada de recuperação (RAG), o estágio de recuperação de documentos é fundamental para o desempenho geral. A reclassificação 3 aborda dois fatores essenciais para um desempenho RAG excepcional: qualidade de resposta e latência. O modelo é excelente na identificação dos documentos mais relevantes para a consulta de um usuário por meio de seus recursos de reclassificação semântica.

Este processo de recuperação direcionado melhora diretamente a precisão das respostas do sistema RAG. Ao permitir a recuperação eficiente de informações pertinentes de grandes conjuntos de dados, o Rerank 3 permite que grandes empresas liberem o valor de seus dados proprietários. Isso facilita várias funções de negócios, incluindo suporte ao cliente, jurídico, RH e finanças, fornecendo-lhes as informações mais relevantes para atender às dúvidas dos usuários.

A integração do Rerank 3 com a econômica família Command R para sistemas RAG oferece uma redução significativa no custo total de propriedade (TCO) para os usuários. Isto é conseguido através de dois fatores principais. Em primeiro lugar, a Reclassificação 3 facilita a seleção de documentos altamente relevantes, exigindo que o LLM processe menos documentos para geração de respostas fundamentadas. Isso mantém a precisão da resposta enquanto minimiza a latência. Em segundo lugar, a eficiência combinada dos modelos Rerank 3 e Command R leva a reduções de custos de 80-93% em comparação com LLMs generativos alternativos no mercado. Na verdade, ao considerar as economias de custos da Reclassificação 3 e do Comando R, as reduções totais de custos podem ultrapassar 98%.

Uma abordagem cada vez mais comum e conhecida para sistemas RAG é usar LLMs como reclassificadores para o processo de recuperação de documentos. Rerank 3 supera LLMs líderes do setor, como Claude -3 Sonte, GPT Turbo em precisão de classificação, sendo 90-98% mais barato. 

A reclassificação 3 aumenta a precisão e a qualidade da resposta LLM. Também ajuda a reduzir o TCO de ponta a ponta. A Reclassificação consegue isso eliminando nossos documentos menos relevantes e classificando apenas o pequeno subconjunto de documentos relevantes para obter respostas.

Conclusão

Rerank 3 é uma ferramenta revolucionária para pesquisa corporativa e sistemas RAG. Ele permite alta precisão no manuseio de estruturas de dados complexas e vários idiomas. A reclassificação 3 minimiza a fragmentação de dados, reduzindo a latência e o custo total de propriedade. Isso resulta em resultados de pesquisa mais rápidos e implementações RAG econômicas. Ele se integra ao Elasticsearch para melhorar a tomada de decisões e a experiência do cliente.

Você pode explorar muito mais ferramentas de IA e suas aplicações SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.analyticsvidhya.com/blog/2024/04/rerank-3-boosting-enterprise-search-and-rag-systems/