GPT-4 có hàng loạt “siêu năng lực”

MỤC LỤC:

GPT-4 là gì?
GPT 4 có hàng loạt ” siêu năng lực”
ChatGPT được nâng cấp trực tiếp lên phiên bản GPT-4

1. GPT-4 là gì?

GPT-4 ( Generative Pre-training Transformer 4 ) là một mô hình ngôn ngữ lớn đa phương thức do OpenAI tạo ra , là mô hình thứ tư trong chuỗi GPT . Nó được phát hành vào ngày 14 tháng 3 năm 2023 và sẽ khả dụng qua API cũng như cho người dùng ChatGPT Plus. Microsoft xác nhận rằng các phiên bản Bing sử dụng GPT trên thực tế đã sử dụng GPT-4 trước khi phát hành chính thức. Là một máy biến áp , GPT-4 đã được đào tạo trước để dự đoán mã thông báo tiếp theo (sử dụng cả dữ liệu công khai và “dữ liệu được cấp phép từ các nhà cung cấp bên thứ ba”), sau đó được tinh chỉnh bằng học tăng cường từ phản hồi của con người .

2. GPT-4 có hàng loạt “siêu năng lực”

GPT-4 có thể vượt qua kỳ thi:

GPT-4 là một mô hình đa ngôn ngữ lớn tiếp nhận đầu vào bằng hình ảnh và văn bản, đồng thời đưa ra phản hồi văn bản chính xác. Các thử nghiệm cho thấy rằng GPT-4 hoạt động ngang bằng với con người trong nhiều bài kiểm tra chuyên môn và tiêu chuẩn học tập khác nhau. Ví dụ: nó đã vượt qua kỳ thi luật sư và đạt điểm trong top 10% thí sinh làm bài kiểm tra; ngược lại, GPT-3.5 đạt điểm trong 10% thấp nhất.

OpenAI đã mất 6 tháng để điều chỉnh GPT-4 lặp đi lặp lại bằng cách sử dụng các quy trình kiểm tra đối thủ và các bài học rút ra từ ChatGPT, dẫn đến kết quả tốt nhất chưa từng có về tính hiện thực, khả năng kiểm soát, v.v.

Trong hai năm qua, OpenAI đã xây dựng lại toàn bộ hệ thống deep learning của mình và cùng với Azure, đã thiết kế một siêu máy tính từ đầu cho khối lượng công việc của nó. Cách đây một năm, OpenAI lần đầu chạy thử hệ thống siêu máy tính khi đào tạo GPT-3.5, từ đó họ đã tìm ra và sửa một số lỗi cũng như cải thiện cơ sở lý thuyết của nó. Kết quả của những cải tiến này là các đợt huấn luyện GPT-4 đã đạt được độ ổn định chưa từng có, nhờ đó OpenAI có thể dự đoán trước hiệu suất huấn luyện GPT-4 một cách chính xác và đây cũng là mô hình lớn đầu tiên đạt được điều này. OpenAI cho biết họ sẽ tiếp tục tập trung vào quy mô đáng tin cậy, cải tiến hơn nữa phương pháp để giúp nó đạt được hiệu suất dự đoán trước cao hơn và khả năng lập kế hoạch cho tương lai, điều rất quan trọng đối với sự an toàn.

Thật thú vị, sự khác biệt giữa GPT-3.5 và GPT-4 là rất nhỏ. Khi độ phức tạp của tác vụ đạt đến ngưỡng đủ, thì sự khác biệt sẽ xuất hiện—GPT-4 đáng tin cậy hơn, sáng tạo hơn và có thể xử lý các hướng dẫn chi tiết hơn so với GPT-3.5. Để hiểu sự khác biệt giữa hai mô hình, OpenAI đã tiến hành thử nghiệm trên nhiều điểm chuẩn khác nhau và một số bài kiểm tra giả được thiết kế cho con người.

OpenAI cũng đánh giá GPT-4 trên các điểm chuẩn truyền thống được thiết kế cho các mô hình máy học. GPT-4 vượt trội đáng kể so với các mô hình ngôn ngữ lớn hiện có, cũng như hầu hết các mô hình SOTA:

Nhiều điểm chuẩn máy học hiện có được viết bằng tiếng Anh. Để có cái nhìn đầu tiên về khả năng của GPT-4 ở các ngôn ngữ khác, nhóm nghiên cứu đã sử dụng Azure Translate để dịch điểm chuẩn MMLU — một bộ gồm 14.000 câu hỏi trắc nghiệm bao gồm 57 chủ đề — sang nhiều ngôn ngữ. GPT-4 vượt trội so với GPT-3.5 và các mô hình ngôn ngữ lớn khác (Chinchilla, PaLM) về hiệu suất ngôn ngữ tiếng Anh ở 24 trong số 26 ngôn ngữ được thử nghiệm:

Giống như nhiều công ty sử dụng ChatGPT, OpenAI cho biết họ cũng đang sử dụng GPT-4 trong nội bộ, vì vậy OpenAI cũng đang tập trung vào hiệu ứng ứng dụng của các mô hình ngôn ngữ lớn trong việc tạo nội dung, bán hàng và lập trình. OpenAI cũng sử dụng GPT-4 để hỗ trợ mọi người đánh giá đầu ra AI, đây là giai đoạn thứ hai trong chiến lược của OpenAI. OpenAI vừa là nhà phát triển vừa là người dùng của GPT-4.

GPT-4 có thể nhận diện hình ảnh:

GPT-4 có khả năng xử lý đa phương thức đầu vào, gồm hình ảnh, giúp người dùng tương tác với nhiều chế độ. Việc chấp nhận hình ảnh đầu vào và xuất ra văn bản là tính năng mới chưa có trước đây, được đánh giá giúp người dùng có thêm tùy chọn để sáng tạo.

Ví dụ, đưa cho GPT-4 một hình ảnh của một bộ sạc trông kỳ lạ và hỏi tại sao điều này nực cười?

GPT-4 trả lời, cáp VGA sạc iPhone:

Mức tiêu thụ thịt trung bình hàng ngày trên đầu người ở Georgia và Tây Á:

Có vẻ như GPT không còn làm những điều vô nghĩa về tính toán nữa:

GPT-4 có thể nhận diện “có gì đó không ổn” trong ảnh:

Còn truyện tranh thì sao?

GPT-4 có khả năng kiểm soát:

Không giống như tính cách ChatGPT cổ điển với độ dài cố định, giọng điệu và phong cách điềm tĩnh, các nhà phát triển (và người dùng ChatGPT) giờ đây có thể ra lệnh cho phong cách và nhiệm vụ của AI của họ bằng cách mô tả các hướng này trong thông báo “hệ thống”.

Thông báo hệ thống cho phép người dùng API tùy chỉnh trong một phạm vi nhất định để đạt được trải nghiệm người dùng khác nhau. OpenAI biết rằng bạn đang cosplay ChatGPT và khuyến khích bạn làm như vậy.

GPT-4 có khả năng giảm thiểu rủi ro và biện pháp:

OpenAI cho biết nhóm nghiên cứu đã lặp lại trên GPT-4 để làm cho nó trở nên an toàn và nhất quán hơn ngay từ khi bắt đầu đào tạo, với những nỗ lực bao gồm lựa chọn và lọc dữ liệu trước khi đào tạo, đánh giá và tham gia của chuyên gia, cải thiện tính an toàn của mô hình cũng như giám sát và thực thi.

GPT-4 có những rủi ro tương tự như các mô hình trước đó, chẳng hạn như tạo ra các đề xuất có hại, mã sai hoặc thông tin không chính xác. Đồng thời, các khả năng bổ sung của GPT-4 dẫn đến các mặt rủi ro mới. Để hiểu mức độ của những rủi ro này, nhóm đã thuê hơn 50 chuyên gia về rủi ro liên quan đến AI, an ninh mạng, rủi ro sinh học, độ tin cậy và an toàn cũng như an ninh quốc tế để thử nghiệm đối nghịch hành vi của mô hình trong các miền có rủi ro cao. Những lĩnh vực này cần có kiến thức chuyên môn để đánh giá, đồng thời phản hồi và dữ liệu từ các chuyên gia này cho biết các cải tiến đối với các biện pháp giảm thiểu và mô hình.

Quá trình đào tạo:

Giống như các mô hình GPT trước đây, mô hình cơ sở GPT-4 được đào tạo để dự đoán từ tiếp theo trong tài liệu. OpenAI sử dụng dữ liệu có sẵn công khai, chẳng hạn như dữ liệu internet, cũng như dữ liệu được cấp phép để đào tạo. Dữ liệu đào tạo là một kho dữ liệu quy mô web bao gồm các giải pháp đúng và không chính xác cho các vấn đề toán học, suy luận yếu và mạnh, các tuyên bố mâu thuẫn và nhất quán, cũng như nhiều hệ tư tưởng và ý tưởng khác nhau.

Giờ đây, OpenAI có thể dự đoán chính xác số liệu (tổn thất) được tối ưu hóa trong quá trình đào tạo. Ví dụ: suy luận và dự đoán thành công tỷ lệ vượt qua cho một tập hợp con của tập dữ liệu HumanEval từ một mô hình tính toán 1/1000 thời gian:

3. ChatGPT được nâng cấp trực tiếp lên phiên bản GPT-4

Sau khi phát hành GPT-4, OpenAI đã trực tiếp nâng cấp ChatGPT. Người đăng ký ChatGPT Plus có quyền truy cập GPT-4 giới hạn sử dụng trên chat.openai.com.

Để truy cập API GPT-4 (vốn sử dụng cùng API ChatCompletions như gpt-3.5-turbo), người dùng có thể đăng ký chờ. OpenAI sẽ mời một số nhà phát triển trải nghiệm.

Sau khi được cấp quyền truy cập, người dùng hiện có thể thực hiện các yêu cầu văn bản thuần túy đối với các kiểu máy GPT-4 (đầu vào hình ảnh vẫn ở dạng alpha hạn chế). Về giá cả, giá là 0,03 đô la cho mỗi 1 nghìn mã thông báo nhanh và 0,06 đô la cho mỗi 1 nghìn mã thông báo hoàn thành. Giới hạn tốc độ mặc định là 40 nghìn mã thông báo mỗi phút và 200 yêu cầu mỗi phút.

Độ dài ngữ cảnh của GPT-4 là 8.192 mã thông báo. OpenAI cũng cung cấp quyền truy cập hạn chế vào phiên bản ngữ cảnh mã thông báo 32.768 (khoảng 50 trang văn bản), phiên bản này cũng sẽ được cập nhật tự động theo thời gian (phiên bản hiện tại gpt-4-32k-0314, cũng được hỗ trợ cho đến ngày 14 tháng 6). Giá là 0,06 đô la cho mỗi 1K mã thông báo nhanh và 0,12 đô la cho mỗi 1K mã thông báo hoàn thành.

Trên đây là toàn bộ nội dung của OpenAI về GPT-4 hiện nay. Điều không hài lòng là báo cáo kỹ thuật công khai của OpenAI không chứa thêm bất kỳ thông tin nào về kiến trúc mô hình, phần cứng, sức mạnh tính toán, v.v., có thể nói là rất thiếu sự Open.