Nếu bạn định dự đoán công ty tin tức nào sẽ là công ty đầu tiên ra mắt mô hình AI khổng lồ của riêng mình, thì Bloomberg sẽ là một lựa chọn tốt. Đối với tất cả thành công của nó mở rộng sang tin tức hướng tới người tiêu dùng trong thập kỷ qua, Bloomberg về cơ bản là một công ty dữ liệu, được thúc đẩy bởi Đăng ký $30,000/năm đến thiết bị đầu cuối của nó.

Vào thứ Sáu, công ty đã thông báo rằng họ đã đã xây dựng một thứ gọi là BloombergGPT. Hãy nghĩ về nó như một chiếc máy tính nhằm mục đích “biết” mọi thứ mà toàn bộ công ty “biết”.

Bloomberg hôm nay phát hành một bài báo nghiên cứu trình bày chi tiết về sự phát triển của BloombergGPT™, một mô hình trí tuệ nhân tạo (AI) tổng hợp quy mô lớn mới. Mô hình ngôn ngữ lớn (LLM) này đã được đào tạo cụ thể về nhiều loại dữ liệu tài chính để hỗ trợ một loạt các tác vụ xử lý ngôn ngữ tự nhiên (NLP) đa dạng trong ngành tài chính.

Những tiến bộ gần đây về Trí tuệ nhân tạo (AI) dựa trên LLM đã chứng minh các ứng dụng mới thú vị cho nhiều lĩnh vực. Tuy nhiên, sự phức tạp và thuật ngữ duy nhất của lĩnh vực tài chính đảm bảo một mô hình dành riêng cho lĩnh vực. BloombergGPT đại diện cho bước đầu tiên trong việc phát triển và ứng dụng công nghệ mới này cho ngành tài chính. Mô hình này sẽ hỗ trợ Bloomberg cải thiện các nhiệm vụ NLP tài chính hiện có, chẳng hạn như phân tích tình cảm, nhận dạng thực thể được đặt tên, phân loại tin tức và trả lời câu hỏi, trong số những nhiệm vụ khác. Hơn nữa, BloombergGPT sẽ mở ra những cơ hội mới để sắp xếp lượng dữ liệu khổng lồ có sẵn trên Bloomberg Terminal để hỗ trợ khách hàng của công ty tốt hơn, đồng thời mang toàn bộ tiềm năng của AI vào lĩnh vực tài chính.

Các chi tiết kỹ thuật, như đã hứa, trong bài báo nghiên cứu này. Đó là của Bloomberg thế võ, Ozan Irsoy, Steven Lữ, Vadim Dabravolski, Đánh dấu Dredze, Sebastian Gehrmann, Prabhanjan Kambadur, David Rosenbergvà Ghi-đê-ôn Mann.

BloombergGPT lớn cỡ nào? Chà, công ty nói rằng họ đã được đào tạo trên một kho dữ liệu hơn 700 tỷ mã thông báo (hoặc các đoạn từ). Đối với bối cảnh, GPT-3, được phát hành vào năm 2020, đã được đào tạo về khoảng 500 tỷ. (OpenAI đã từ chối tiết lộ bất kỳ con số tương đương nào cho GPT-4, người kế nhiệm được phát hành vào tháng trước, trích dẫn “bối cảnh cạnh tranh").

Có gì trong tất cả dữ liệu đào tạo đó? Trong số hơn 700 triệu mã thông báo, 363 tỷ được lấy từ dữ liệu tài chính của chính Bloomberg, loại thông tin cung cấp năng lượng cho các thiết bị đầu cuối của nó - “bộ dữ liệu dành riêng cho miền lớn nhất” được xây dựng, nó nói. 345 tỷ mã thông báo khác đến từ “bộ dữ liệu mục đích chung” được lấy từ nơi khác.

Thay vì xây dựng một LLM có mục đích chung hoặc một LLM nhỏ dành riêng cho dữ liệu dành riêng cho miền, chúng tôi thực hiện một cách tiếp cận hỗn hợp. Các mô hình chung bao gồm nhiều lĩnh vực, có thể thực hiện ở mức cao trong nhiều nhiệm vụ khác nhau và loại bỏ nhu cầu chuyên môn hóa trong thời gian đào tạo. Tuy nhiên, kết quả từ các mô hình dành riêng cho miền hiện tại cho thấy rằng các mô hình chung không thể thay thế chúng. Tại Bloomberg, chúng tôi hỗ trợ một nhóm nhiệm vụ rất lớn và đa dạng, được phục vụ tốt bởi một mô hình chung, nhưng phần lớn các ứng dụng của chúng tôi nằm trong lĩnh vực tài chính, được phục vụ tốt hơn bởi một mô hình cụ thể. Vì lý do đó, chúng tôi bắt đầu xây dựng một mô hình đạt được kết quả tốt nhất trong lớp trên các tiêu chuẩn tài chính, đồng thời duy trì hiệu suất cạnh tranh trên các tiêu chuẩn LLM có mục đích chung.

Dữ liệu dành riêng cho công ty, có tên là FinPile, bao gồm “một loạt các tài liệu tài chính bằng tiếng Anh bao gồm tin tức, hồ sơ, thông cáo báo chí, tài liệu tài chính được quét trên web và phương tiện truyền thông xã hội được lấy từ kho lưu trữ của Bloomberg.” Vì vậy, nếu bạn đã đọc một câu chuyện của Bloomberg Businessweek trong vài năm qua, thì nó sẽ ở đó. Các hồ sơ của SEC, bảng điểm của Bloomberg TV, dữ liệu của Fed và “dữ liệu khác liên quan đến thị trường tài chính” cũng vậy. Nó cũng được đào tạo về không-Nguồn tin Bloomberg:

Danh mục Tin tức bao gồm tất cả các nguồn tin tức ngoại trừ các bài báo được viết bởi các nhà báo của Bloomberg. Nhìn chung, có hàng trăm nguồn tin tức tiếng Anh trong FinPile…Nói chung, nội dung trong bộ dữ liệu này đến từ các nguồn tin tức uy tín có liên quan đến cộng đồng tài chính để duy trì tính thực tế và giảm sự thiên vị.

Dữ liệu phi tài chính cụ thể bao gồm một khối lượng lớn thơ được gọi là Đống; nó bao gồm mọi thứ từ phụ đề YouTube đến Dự án Gutenberg, vâng, bộ nhớ cache của email Enron được luôn bật lên in Đào tạo AI. (Nó cũng có một bản sao hoàn chỉnh của Wikipedia vào tháng XNUMX năm ngoái.)

Nhưng đủ về dữ liệu đào tạo. BloombergGPT có thể làm gì do? Bởi vì nó chia sẻ cơ sở đào tạo với các LLM khác, BloombergGPT có thể thực hiện những điều mà chúng tôi mong đợi từ ChatGPT và các mô hình tương tự. Nhưng nó cũng có thể thực hiện các tác vụ được kết nối chặt chẽ hơn với nhu cầu của Bloomberg. Nó có thể dịch các yêu cầu ngôn ngữ tự nhiên (“giá trị vốn hóa thị trường của apple và ibm và eps”) sang Ngôn ngữ truy vấn Bloomberg mà người dùng thiết bị đầu cuối yêu thích/ghét (get(cur_mkt_cap,is_eps) for([’AAPL US Equity’,’IBM US Equity’])). Nó cũng có thể đề xuất các tiêu đề kiểu Bloomberg cho các câu chuyện tin tức (xin lỗi, biên tập viên sao chép):

Đầu vào: Thị trường nhà ở Hoa Kỳ đã giảm giá trị 2.3 nghìn tỷ đô la, tương đương 4.9%, trong nửa cuối năm 2022, theo Redfin. Đó là mức giảm lớn nhất tính theo tỷ lệ phần trăm kể từ cuộc khủng hoảng nhà ở năm 2008, khi giá trị giảm 5.8% trong cùng thời kỳ.
Đầu ra: Giá nhà giảm mạnh nhất trong 15 năm 

Đầu vào: Nền kinh tế toàn cầu ngày nay đang ở một vị trí tốt hơn so với nhiều dự đoán từ nhiều tháng trước, Janet Yellen cho biết tại G20. Ở trong nước, bà chỉ ra một nền kinh tế Mỹ có khả năng phục hồi, nơi lạm phát hàng đầu đã được kiểm soát và thị trường lao động đang phát triển mạnh mẽ. Bà cũng kêu gọi IMF nhanh chóng tiến tới một chương trình tài trợ đầy đủ cho Ukraine.
Đầu ra: Yellen thấy nền kinh tế toàn cầu kiên cường hơn mong đợi

Đầu vào: Google đã bị kiện bởi Hoa Kỳ và tám tiểu bang yêu cầu phá vỡ hoạt động kinh doanh công nghệ quảng cáo của mình vì bị cáo buộc độc quyền thị trường quảng cáo kỹ thuật số. Vụ kiện là thách thức lớn đầu tiên của chính quyền Biden đối với gã khổng lồ công nghệ và là một trong những lần hiếm hoi kể từ năm 1982, DOJ tìm cách tách một công ty lớn.
Đầu ra: Google bị kiện vì độc quyền trong thị trường quảng cáo trực tuyến

Họ nói rằng nó cũng được điều chỉnh tốt hơn để trả lời các câu hỏi cụ thể liên quan đến kinh doanh, cho dù đó là phân tích tình cảm, phân loại, trích xuất dữ liệu hay một thứ gì đó hoàn toàn khác. (“Ví dụ, nó hoạt động tốt trong việc xác định Giám đốc điều hành của một công ty.”)

Bài báo bao gồm một loạt các so sánh hiệu suất với GPT-3 và các LLM khác và nhận thấy rằng BloombergGPT thực hiện các nhiệm vụ chung — ít nhất là khi đối đầu với các mô hình có kích thước tương tự — và hoạt động tốt hơn trên nhiều mô hình cụ thể về tài chính. (Pin thử nghiệm nội bộ bao gồm các thuật ngữ sẵn sàng cho trò chơi lễ hội như “Chim cánh cụt trong bảng,” “Snarks,” “Web of Lies,” và “Hyperbaton” đáng sợ.)

Qua hàng chục nhiệm vụ trong nhiều điểm chuẩn, một bức tranh rõ ràng xuất hiện. Trong số các mô hình có hàng chục tỷ tham số mà chúng tôi so sánh, BloombergGPT hoạt động tốt nhất. Hơn nữa, trong một số trường hợp, nó cạnh tranh hoặc vượt quá hiệu suất của các mô hình lớn hơn nhiều (hàng trăm tỷ tham số). Mặc dù mục tiêu của chúng tôi đối với BloombergGPT là trở thành mô hình tốt nhất trong lớp cho các nhiệm vụ tài chính và chúng tôi đã bao gồm dữ liệu đào tạo cho mục đích chung để hỗ trợ đào tạo theo miền cụ thể, nhưng mô hình này vẫn đạt được khả năng về dữ liệu cho mục đích chung vượt xa các mô hình có kích thước tương tự và trong một số trường hợp phù hợp hoặc vượt trội so với các mô hình lớn hơn nhiều.

Đặt Penguins sang một bên, không khó để tưởng tượng các trường hợp sử dụng cụ thể hơn vượt ra ngoài tiêu chuẩn, đối với các nhà báo của Bloomberg hoặc khách hàng thiết bị đầu cuối của nó. (Thông báo của công ty không nêu rõ họ dự định làm gì với những gì công ty đã xây dựng.) Một tập hợp gồm ~tất cả các báo cáo kinh doanh bằng tiếng Anh cao cấp trên thế giới — cộng với vô số dữ liệu tài chính, có cấu trúc và mặt khác, làm nền tảng cho nó — chỉ là một loại mạch thông tin phong phú mà một AI tổng quát được thiết kế để khai thác. Đó là bộ nhớ thể chế trong một hộp.

Điều đó nói rằng, tất cả các cảnh báo thông thường cho LLM được áp dụng. BloombergGPT có thể, tôi chắc chắn, ảo giác. Tất cả dữ liệu đào tạo đó đi kèm với bộ dữ liệu riêng thành kiến ​​​​tiềm năng. (Tôi cá là BloombergGPT sẽ không sớm kêu gọi cách mạng của giai cấp vô sản.)

Đối với cách BloombergGPT có thể truyền cảm hứng cho các tổ chức tin tức khác… ồ, Bloomberg đang ở trong một tình huống khá độc đáo ở đây, với quy mô dữ liệu mà nó thu thập được và sản phẩm mà nó có thể được áp dụng. Nhưng tôi tin rằng, về lâu dài, sẽ có cơ hội cho các nhà xuất bản nhỏ hơn ở đây, đặc biệt là những nhà xuất bản có kho lưu trữ số hóa lớn. Hãy tưởng tượng Anytown Gazette đào tạo AI trên 100 năm lưu trữ báo chí của nó, cộng với một bộ sưu tập lớn các tài liệu của thành phố/quận/tiểu bang và bất kỳ nguồn dữ liệu địa phương nào khác mà nó có thể có được.

Tất nhiên, đó là một quy mô hoàn toàn khác so với những gì Bloomberg có thể đạt được, và nó có thể hữu ích như một công cụ nội bộ hơn bất kỳ thứ gì mà công chúng phải đối mặt. Nhưng với tốc độ tiến bộ đáng kinh ngạc của AI trong năm qua, nó có thể là một ý tưởng xứng đáng sớm hơn bạn nghĩ.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. Truy cập Tại đây.
• nguồn: https://www.fintechnews.org/what-if-chatgpt-was-trained-on-decades-of-financial-news-and-data-bloomberggpt-aims-to-be-a-domain-specific-ai-for-business-news/