Avaliação

AI Performance

Uma avaliação independente que verifica se o seu sistema de IA entrega os resultados que afirma entregar.

Demonstre seu compromisso com uma IA transparente e confiável por meio do nosso serviço de avaliação AI Performance.

A inteligência artificial verificada é a meta do desenvolvimento de sistemas baseados em IA que ofereçam garantias sólidas, idealmente comprováveis, de correção em relação a requisitos especificados matematicamente.

A estrutura de avaliação AI Performance oferece uma verificação independente e imparcial de que um sistema de IA ou um componente de sistema de IA atende às declarações do fabricante relativas ao desempenho, ao viés e à robustez, utilizando métricas estabelecidas em normas internacionais.

Por meio do AI Performance, o BSI verifica se as metodologias utilizadas no desenvolvimento do seu sistema de IA estão alinhadas às normas mais recentes disponíveis.

Saiba mais sobre os benefícios de uma avaliação AI Performance baixando nosso infográfico.

Veja o infográfico

Como a iVolution fortaleceu a confiança em sua IA por meio dos testes de AI Performance

Os testes realizados pelo BSI forneceram à iVolution comprovação independente de desempenho, aumentando a confiança dos clientes e apoiando seu crescimento.

Estabelecendo os alicerces da confiança

Fortaleça sua credibilidade e a confiança de clientes e investidores por meio da validação de IA por terceiros.

Assegure aos clientes e às partes interessadas que seu produto, serviço ou sistema de IA é confiável.
O AI Performance garante a integridade dos dados, verificando a presença de vieses nos modelos que possam se agravar com o tempo.
As avaliações são realizadas por uma equipe de referência composta por especialistas em IA e assuntos regulatórios com atuação global.
Verificação independente para monitorar a deriva do modelo e a deterioração de seu desempenho.
Avalie produtos baseados em IA à luz das expectativas dos órgãos reguladores e dos clientes.
Uma avaliação imparcial realizada por meio do AI Performance pode ajudar a evitar métricas distorcidas ou enganosas.

Perguntas frequentes

Perguntas frequentes sobre AI Performance

No BSI, ajudamos as organizações a desenvolver confiança na inteligência artificial. Nosso serviço AI Performance oferece uma avaliação independente do desempenho dos sistemas de IA, incluindo acurácia, robustez e viés. Ao verificar as declarações de desempenho com base em normas reconhecidas, ajudamos você a demonstrar transparência, credibilidade e implementação responsável da IA. Com o BSI, você pode demonstrar às partes interessadas que sua IA funciona conforme o esperado.
A avaliação AI Performance do BSI verifica se o seu sistema de IA entrega os resultados declarados. Testamos modelos e conjuntos de dados de forma independente para verificar o desempenho, a equidade e a confiabilidade, utilizando metodologias reconhecidas internacionalmente. A conclusão bem-sucedida da avaliação permite o uso da Marca de Confiança do BSI, oferecendo aos clientes, parceiros e órgãos reguladores uma garantia visível de que sua IA foi verificada de forma independente e é confiável.
À medida que a IA se torna cada vez mais integrada às decisões empresariais, o desempenho e a confiança deixam de ser opcionais. O serviço AI Performance do BSI ajuda as organizações a identificar riscos como viés, inconsistência ou deriva do modelo antes que afetem os resultados. A verificação independente fortalece a confiança, contribui para a conformidade e garante que os sistemas de IA agreguem valor de forma responsável, tanto no presente quanto ao longo de sua evolução.
Nosso serviço AI Performance contribui para uma adoção mais rápida e segura da IA. Ao verificar as declarações de desempenho por meio de uma avaliação independente, as organizações podem reduzir riscos, aumentar a confiança das partes interessadas e se diferenciar no mercado. O BSI ajuda você a demonstrar que sua IA não é apenas inovadora, mas também confiável, equitativa e adequada à finalidade pretendida, apoiando tanto os objetivos comerciais quanto a inovação responsável.
O BSI adota uma abordagem estruturada e baseada em evidências para avaliar o desempenho da IA. Por meio do AI Performance, o BSI verifica se as metodologias utilizadas no desenvolvimento do seu sistema de IA estão alinhadas às normas mais recentes disponíveis. O resultado é uma visão clara e objetiva do desempenho da sua IA, dos possíveis riscos existentes e de como a confiança nos resultados pode ser fortalecida.
Após a conclusão bem-sucedida da avaliação AI Performance, as organizações recebem a Marca de Confiança do BSI e uma carta formal de confirmação. Esse reconhecimento independente demonstra que seu sistema de IA foi verificado em relação a critérios de desempenho definidos. Ele transmite uma mensagem clara aos clientes, parceiros e órgãos reguladores de que sua organização está comprometida com a transparência, a responsabilização e o uso de uma IA confiável.
Uma avaliação AI Performance desempenha um papel fundamental na governança responsável da IA. O BSI ajuda as organizações a ir além dos princípios e alcançar resultados mensuráveis por meio da verificação do desempenho da IA. Esse serviço contribui para a gestão de riscos, a preparação para a conformidade e a sustentabilidade de longo prazo, permitindo que as organizações implementem a IA com confiança, clareza e controle.
Os clientes fornecem ao BSI seu modelo e conjunto de dados, juntamente com os dados de referência e as métricas de desempenho declaradas. Em seguida, executamos o modelo com o conjunto de dados fornecido, utilizando nossa plataforma validada de avaliação de IA, e comparamos os resultados com os dados de referência. Isso nos permite calcular, de forma independente, métricas de desempenho, viés e robustez. Depois, verificamos se o desempenho declarado corresponde aos resultados obtidos em nossa avaliação. Caso não seja possível compartilhar seu modelo ou conjunto de dados (por exemplo, por motivos de confidencialidade), você poderá fornecer apenas as saídas do modelo e os dados de referência.
As métricas utilizadas dependem do tipo de sistema de IA.
Por exemplo:

Para um sistema de classificação baseado em aprendizado de máquina, podem ser utilizadas métricas como acurácia, especificidade ou sensibilidade.

Para um sistema de visão computacional que realiza segmentação semântica, pode ser utilizada uma medida como a distância de Hausdorff.

Para modelos de linguagem, atualmente oferecemos suporte a métricas que incluem exatidão factual, consistência, qualidade da sumarização e toxicidade.

Também é possível verificar métricas de viés, como probabilidades equalizadas e paridade demográfica. Para isso, o cliente deverá fornecer metadados adicionais relativos a subgrupos demográficos.

A robustez pode ser verificada de maneira semelhante, testando o desempenho do modelo em diferentes condições de dados ou com dados modificados.
O BSI recomenda a realização de testes regulares, alinhados ao seu ciclo de desenvolvimento. Isso inclui:

Antes de qualquer lançamento de uma versão importante do sistema.

Após atualizações ou alterações nos componentes subjacentes.

Em intervalos regulares, como parte do monitoramento contínuo.

Também podemos realizar avaliações pontuais sempre que necessário.
Discussão inicial: definimos em conjunto o escopo, incluindo o modelo, o conjunto de dados e as métricas a serem avaliados.

Envio de dados: você fornece:
- O modelo e o conjunto de dados; ou
- Apenas as saídas do modelo.
Em ambos os casos, devem ser fornecidos também os dados de referência e as métricas de desempenho declaradas.

Avaliação: o BSI realiza a avaliação utilizando nossa plataforma validada e compara as saídas com os dados de referência.

Verificação: se os resultados forem confirmados, emitimos uma carta formal de verificação.

Reconhecimento: você poderá então aplicar a Marca de Confiança do BSI ao seu sistema de IA.

Insights e mídias

Amplie seu conhecimento sobre IA

Ver Insights e Mídia

Estudo de caso

Tonic Easy Medical: construindo confiança em IA clínica

Leia o estudo de caso

iVolution recebendo Carta de Confirmação do BSI pela conclusão da avaliação AI Performance do BSI

Estudo de caso

iVolution obtém verificação AI Performance da BSI para sua IA pioneira

Leia o estudo de caso

Estudo de caso

Umony obtém certificação ISO/IEC 42001 para IA responsável

Leia o estudo de caso

Blog

ISO/IEC 42001: Por que certificar seus procedimentos de IA e como começar c

Leia o blog

Documento Técnico

A IA pode ser uma força do bem no setor de saúde

Leia o documento técnico

Blog

Explorando a IA generativa e o compliance

Leia o blog

Por que escolher o BSI?

Nosso objetivo é promover o uso responsável da IA em benefício da sociedade

Como especialistas independentes em conformidade e regulamentação, alinhamos a inovação, de forma integrada, às normas globais e locais de conformidade, governança e segurança.

Orientamos sua organização em sua jornada para atender às normas globais, promover a segurança e fortalecer a confiança. Como o primeiro órgão nacional de normas do mundo, nossa especialização global incomparável e nosso compromisso de longa data com a inovação estabelecem o padrão de referência em excelência regulatória.

Veja nossos eventos

Fale conosco

Fortaleça a confiança em sua IA utilizando o AI Performance do BSI

Descubra como a verificação independente pode fornecer garantia confiável das alegações de desempenho do seu sistema de IA e apoiar um crescimento responsável.

Solicite uma cotação