데이터를 효율적이고 강력하게 다루는 데 지식 그래프가 중요한 이유

귀사는 AI 채택 곡선에서 어디에 서 있습니까? 우리의 AI 설문 조사 찾아내는 것.

이 게시물은 Persistent Systems의 선임 데이터 과학자인 Dr. Mukta Paliwal이 작성했습니다.

인공 지능 주제에 대한 Gartner 고객 문의의 50%가 그래프 기술 사용과 관련된 논의를 포함한다고 시장 조사 기관이 밝혔습니다. 10년 2021대 데이터 및 분석 트렌드. 모든 대기업은 가용 데이터를 활용하여 규모에 맞게 비즈니스를 수행하기 위해 더 많은 통찰력을 얻기를 원합니다. 이를 달성하기 위해 연결된 데이터는 지식을 생성하기 위해 기존 조직 데이터 내에서 컨텍스트를 가져오는 데 도움이 되므로 논리적으로 필요합니다.

기업은 끊임없이 진화하는 데이터 요구의 속도에 직면해야 합니다. 지식 그래프 기업이 기존 데이터베이스에서 벗어나 자연어 처리, 기계 학습 및 의미 체계를 사용하여 데이터를 더 잘 활용하도록 도울 수 있습니다.

지식 그래프란 무엇입니까?

지식 그래프 도메인에 대한 상호 연결된 사실 모음을 나타냅니다. 본질적으로 엔티티와 관계는 구조화되지 않은 데이터에서 추출되어 주어-술어-객체의 삼중 형식으로 저장됩니다. 예를 들어, "Captain Marvel은 최강의 어벤져"라는 문장은 주어(Captain Marvel), 술어(가장 강하다) 및 목적어(Avenger)로 나누어 트리플(Captain Marvel-is the strong- Avenger)와 함께 Marvel 영화의 인기 캐릭터인 Avengers의 지식 그래프에 있는 다른 관련 엔터티입니다.

기본적으로 다음 기능을 사용하여 지식 그래프를 정의할 수 있습니다. 1) 도메인의 실제 엔터티를 정의합니다. (2) 그들은 그들 사이의 관계를 제공합니다. (3) 일부 스키마를 통해 엔티티 및 관계의 가능한 클래스에 대한 규칙을 정의합니다. (4) 추론을 통해 새로운 지식을 추론할 수 있습니다.

지식 그래프는 자동 생성되거나 사람이 선별할 수 있으며, 엄격한 온톨로지로 설계되었거나 시간이 지남에 따라 진화할 수 있고, 다양한 모양과 크기가 될 수 있으며, 회사 또는 오픈 소스 커뮤니티에서 개발했을 수 있습니다. . 이러한 차이점에 관계없이 여러 엔터티 간의 명시적 관계가 프로세스에서 도움이 되는 정보를 쉽게 추출할 수 있는 방식으로 구조화되지 않은 데이터를 구성하는 데 도움이 됩니다.

지식 그래프를 사용하는 이유는 무엇입니까?

A 지식 그래프는 자기 설명적입니다., 데이터를 찾고 그것이 무엇인지 이해할 수 있는 단일 장소를 제공하기 때문입니다. 데이터의 의미는 그래프 자체의 데이터와 함께 인코딩되므로 단어 의미론은 지식 그래프와 연결됩니다. 지식 그래프는 다음을 제공하여 추가적인 가치를 제공합니다.

문맥: 지식 그래프는 다양한 유형의 정보를 온톨로지에 통합하고 이동 중에 새로운 파생 지식을 추가할 수 있는 유연성을 통해 알고리즘에 컨텍스트를 제공합니다. 대부분의 전통 지식 그래프는 다양한 유형의 원시 데이터를 동시에 사용할 수 있습니다.
효율성: 원하는 엔터티 및 관계를 사용할 수 있게 되면 지식 그래프는 저장된 데이터를 쿼리하기 위한 계산 효율성을 제공하여 통찰력 생성을 위해 데이터를 효과적으로 사용할 수 있습니다.
설명 가능성: 엔터티와 관계의 대규모 네트워크는 그래프 자체 내에서 사용할 수 있는 엔터티의 의미를 통합하여 이해 가능성 문제에 대한 솔루션을 제공합니다. 이와 같이 지식 그래프는 본질적으로 설명 가능해집니다.

지식 그래프를 사용하는 위치

Gartner의 10년 상위 2021대 데이터 및 분석 트렌드에 따르면 지식 그래프는 최신 데이터 및 분석, 사용자 협업, 기계 학습 모델 및 설명 가능한 AI를 향상하고 개선하는 기능을 갖추고 있습니다. 그래프 기술이 데이터 및 분석에 새로운 것은 아니지만 사용 방식에 변화가 있었습니다. 지식 그래프는 기계 학습과 그래프 기술을 결합하여 AI에 필요한 컨텍스트를 제공합니다.

다양한 소스에서 오는 여러 비정형 및 반정형 데이터 소스를 통합해야 하는 복잡한 문제를 해결하려면 연결되고 재사용 가능하며 유연한 데이터 기반이 현실 세계의 복잡성을 반영해야 합니다. 의미가 풍부한 연결된 데이터는 동일한 데이터에서 여러 해석을 허용하므로 복잡한 쿼리에 대한 답변을 얻고 보다 효율적으로 통찰력을 도출하는 데 도움이 됩니다.

조직은 다음을 포함하여 점점 더 많은 지식 그래프 사용 사례를 식별하고 있습니다.

사기 감지: 사기 거래 식별은 가장 일반적인 사용 사례이며 은행, 휴대폰 거래, 정부 혜택 및 세금 사기에 적용됩니다. 지식 그래프를 사용하면 보험 청구에 대한 사기, 낭비 및 남용 감지 기능도 향상됩니다. 기계 학습 및 추론 기능으로 강화된 지식 그래프를 통해 기업은 대규모 네트워크에서 실시간으로 상호 연결된 많은 엔터티를 통과하여 사기 패턴을 더 잘 식별할 수 있습니다.

약물 발견: 약물 발견은 매우 복잡하고 비용 집약적인 프로세스입니다. 지식 그래프는 약물 용도 변경, 약물 상호 작용 및 표적 유전자-질병 우선 순위 지정을 포함한 다양한 작업에서 상당한 가능성을 보여주었습니다. 수많은 오픈 소스 데이터베이스가 출판된 문헌과 함께 통합되어 거대한 생물의학 지식 그래프를 생성합니다. 이러한 KG는 유전자, 약물, 질병 등과 같은 엔터티 간의 관계를 마이닝하고 다운스트림 애플리케이션에서 사용하는 데 매우 유용합니다.

시맨틱 검색: A 지식 그래프 엔터티의 의미를 저장합니다. 따라서 지식 그래프 기반 검색을 "시맨틱 검색,” 또는 의미가 풍부한 검색. 시맨틱 검색은 인터넷이나 조직의 내부 시스템을 탐색할 때 검색 결과의 정확도를 높이기 위해 사용됩니다. 시맨틱 검색이 작동하려면 잘 정리된 지식 그래프와 함께 텍스트 분석 기능과 인덱싱 기술이 사용됩니다.

추천 시스템: 추천 시스템은 제품의 개인화 추천에 대한 사용자의 선호도를 모델링하기 위해 개발되었습니다. 추천 시스템을 개발하는 데 사용되는 다양한 모델링 기술이 있습니다. 상당한 장점에도 불구하고 이러한 시스템은 데이터 희소성, 콜드 스타트 및 권장 사항의 확장성과 같은 문제로 어려움을 겪고 있습니다. 지식 그래프 기반 추천 시스템은 이러한 문제를 어느 정도 해결할 수 있습니다. 이 접근 방식에서 사용자 및 항목 엔터티는 여러 관계를 통해 연결됩니다. 관계는 대상 사용자에 대한 유력한 후보 목록을 얻기 위해 사용되며 대상 사용자와 추천 항목 간의 경로는 권장 항목에 대한 설명으로 사용됩니다.

Mukta Paliwal은 Persistent Systems의 선임 데이터 과학자입니다. 그녀는 여러 비즈니스 도메인에서 AI/ML을 기반으로 하는 최첨단 소프트웨어 솔루션을 만들고 제공하기 위해 팀을 이끌고 컨설팅합니다. 그녀는 박사 학위를 가지고 있습니다. 응용 기계 학습에서.

VentureBeat

VentureBeat의 사명은 기술 의사 결정권자가 혁신적인 기술과 거래에 대한 지식을 습득 할 수있는 디지털 타운 스퀘어가되는 것입니다. 당사 사이트는 데이터 기술 및 전략에 대한 필수 정보를 제공하여 조직을 이끌 때 안내합니다. 다음에 액세스 할 수 있도록 커뮤니티의 일원이되도록 귀하를 초대합니다.