AI x Crypto: Từ số không đến đỉnh cao

Sự phát triển gần đây của ngành AI được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình lớn đã nâng cao đáng kể hiệu suất của các ngành khác nhau, ước tính đã nâng cao khoảng 20% hiệu suất làm việc tại Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một mô hình thiết kế phần mềm mới, từ việc thiết kế mã chính xác trong quá khứ đã chuyển đổi thành việc nhúng các khung mô hình lớn tổng quát hơn, giúp phần mềm có hiệu suất tốt hơn và hỗ trợ nhiều kiểu hơn. Công nghệ học sâu thực sự đã mang lại sự thịnh vượng lần thứ tư cho ngành AI, cơn sốt này cũng đã ảnh hưởng đến ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết lịch sử phát triển của ngành AI, phân loại công nghệ, và tác động của công nghệ học sâu đối với ngành. Phân tích sâu về tình trạng và xu hướng phát triển của các chuỗi giá trị liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong học sâu. Thảo luận về mối quan hệ giữa tiền điện tử và ngành AI, hệ thống hóa cấu trúc chuỗi giá trị AI liên quan đến tiền điện tử.

Lịch sử phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn về trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau về trí tuệ nhân tạo trong bối cảnh các thời kỳ và các ngành khoa học khác nhau.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", với ý tưởng là để máy móc dựa vào dữ liệu lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất hệ thống. Các bước chính là đưa dữ liệu vào thuật toán, sử dụng dữ liệu này để đào tạo mô hình, kiểm tra và triển khai mô hình, sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện nay, máy học có ba trường phái chính, đó là kết nối, biểu tượng và hành vi, lần lượt mô phỏng hệ thần kinh, tư duy và hành động của con người.

Hiện tại, chủ nghĩa kết nối đại diện bởi mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), nguyên nhân chính là cấu trúc này có một lớp đầu vào, một lớp đầu ra nhưng có nhiều lớp ẩn, một khi số lượng lớp và số lượng nơ-ron ( tham số ) đủ nhiều, sẽ có đủ cơ hội để khớp với các nhiệm vụ phức tạp chung. Thông qua việc nhập dữ liệu, có thể liên tục điều chỉnh các tham số của nơ-ron, cuối cùng trải qua nhiều dữ liệu, nơ-ron đó sẽ đạt được trạng thái tối ưu ( tham số ), đây là điều được gọi là "sức mạnh lớn tạo ra kỳ tích", cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.

Ví dụ, có thể hiểu đơn giản là đã xây dựng một hàm, hàm này có đầu vào X=2 thì Y=3; X=3 thì Y=5. Nếu muốn hàm này áp dụng cho tất cả các giá trị X, thì cần phải liên tục thêm độ của hàm này và các tham số của nó, chẳng hạn như có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải tái cấu trúc một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ và phát hiện ra Y = X2 -3X +5 là khá phù hợp, nhưng không cần phải hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân thủ sự cân bằng, đầu ra tương đối giống nhau là đủ. Trong đây, X2 và X, X0 đều đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của chúng.

Trong trường hợp này, nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và lặp lại các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.

Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp và tiến hóa, như mạng nơ-ron sớm nhất ở hình trên, mạng nơ-ron truyền tiến, RNN, CNN, GAN cuối cùng tiến hóa thành các mô hình lớn hiện đại như GPT sử dụng công nghệ Transformer, công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, đã thêm một bộ chuyển đổi ( Transformer ), để mã hóa tất cả các kiểu dữ liệu ( như âm thanh, video, hình ảnh, v.v. ) thành các giá trị tương ứng để biểu thị. Sau đó, nó được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp bất kỳ loại dữ liệu nào, tức là đạt được đa phương thức.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên diễn ra vào những năm 1960, sau một thập kỷ kể từ khi công nghệ AI được đề xuất, làn sóng này là do sự phát triển của công nghệ chủ nghĩa ký hiệu gây ra, công nghệ này đã giải quyết vấn đề xử lý ngôn ngữ tự nhiên tổng quát cũng như đối thoại giữa người và máy. Trong cùng thời kỳ, hệ thống chuyên gia ra đời, đây là hệ thống chuyên gia DENRAL được hoàn thành dưới sự giám sát của một trường đại học tại một cơ quan nào đó, hệ thống này có kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy luận nhằm tạo ra các câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được xem như sự kết hợp giữa kho kiến thức hóa học và hệ thống suy luận.

Sau hệ thống chuyên gia, vào những năm 90, Pearl đã đề xuất mạng Bayes, mạng này cũng được gọi là mạng niềm tin. Cùng thời gian đó, Brooks đã đề xuất robot học dựa trên hành vi, đánh dấu sự ra đời của chủ nghĩa hành vi.

Năm 1997, một công ty đã phát triển hệ thống Deep Blue "Blue" đánh bại nhà vô địch cờ vua Garry Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc của trí tuệ nhân tạo, công nghệ AI đã bước vào giai đoạn phát triển thứ hai.

Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba gã khổng lồ của học sâu đã đề xuất khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm kiến trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu đã dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau hình thành làn sóng công nghệ thứ ba này, và đây cũng là thời kỳ hoàng kim của chủ nghĩa liên kết.

Nhiều sự kiện biểu tượng cũng dần xuất hiện song hành với việc khám phá và tiến triển của công nghệ học sâu, bao gồm:

• Năm 2011, hệ thống của một công ty đã đánh bại con người và giành chiến thắng trong một chương trình.

• Năm 2014, Goodfellow đã đề xuất mạng đối kháng sinh điều kiện GAN(, thông qua việc cho hai mạng nơ-ron đối kháng học tập lẫn nhau, có khả năng tạo ra những bức ảnh trông giống thật. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tựa đề "Deep Learning", được gọi là cuốn sách hoa, là một trong những cuốn sách nhập môn quan trọng trong lĩnh vực học sâu.

• Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", phương pháp học sâu này ngay lập tức đã gây ra tiếng vang lớn trong giới học thuật cũng như trong ngành công nghiệp.

• Năm 2015, một tổ chức được thành lập, nhiều nhân vật nổi tiếng công bố cùng đầu tư 1 tỷ đô la.

• Năm 2016, hệ thống dựa trên công nghệ học sâu đã tham gia trận đấu cờ vây giữa người và máy với nhà vô địch thế giới cờ vây, kỳ thủ chuyên nghiệp cấp chín và giành chiến thắng với tỷ số tổng cộng 4-1.

• Năm 2017, một công ty phát triển robot hình người có tên Sophia, được coi là robot đầu tiên trong lịch sử nhận được quyền công dân hạng nhất, sở hữu nhiều biểu cảm khuôn mặt phong phú và khả năng hiểu ngôn ngữ của con người.

• Năm 2017, một công ty có nguồn nhân lực và công nghệ phong phú trong lĩnh vực trí tuệ nhân tạo đã công bố bài báo "Attention is all you need" đưa ra thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.

• Năm 2018, một tổ chức đã phát hành GPT được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, một nhóm đã phát hành hệ thống dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là dấu hiệu tiến bộ to lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, một tổ chức phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, một tổ chức phát triển GPT-3, với 175 tỷ tham số, cao gấp 100 lần so với phiên bản trước đó GPT-2, mô hình này sử dụng 570GB văn bản để huấn luyện, có thể đạt được hiệu suất tiên tiến nhất trong nhiều nhiệm vụ NLP) xử lý ngôn ngữ tự nhiên( như trả lời câu hỏi, dịch thuật, viết bài).

• Năm 2021, một tổ chức đã phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, đạt một trăm triệu người dùng vào tháng 3, trở thành ứng dụng đạt một trăm triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, một tổ chức ra mắt GPT-4 omni.

Chuỗi công nghiệp học sâu

Các mô hình ngôn ngữ lớn hiện nay đều dựa trên phương pháp học sâu dựa trên mạng nơ-ron. Dẫn đầu là GPT, các mô hình lớn đã tạo ra một làn sóng hưng phấn trong lĩnh vực trí tuệ nhân tạo, với rất nhiều người chơi đổ vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ mạnh mẽ. Do đó, trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi cung ứng của các thuật toán học sâu. Trong ngành AI do các thuật toán học sâu dẫn dắt, chúng tôi tìm hiểu cách mà các bên liên quan trên và dưới được hình thành, cũng như tình trạng hiện tại và mối quan hệ cung cầu của họ, cùng với sự phát triển trong tương lai.

Trước tiên, chúng ta cần làm rõ rằng, khi tiến hành đào tạo mô hình lớn LLMs dựa trên công nghệ Transformer với GPT là trung tâm, ( sẽ được chia thành ba bước.

Trước khi đào tạo, vì nó dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi văn bản đầu vào thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi ký tự Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào một lượng lớn dữ liệu cặp, giống như ví dụ trong phần báo cáo đầu tiên )X,Y(, để tìm kiếm các tham số tốt nhất của từng nơ-ron trong mô hình, lúc này cần rất nhiều dữ liệu, và quá trình này cũng là quá trình tốn nhiều sức tính toán nhất, vì phải lặp đi lặp lại việc thử nghiệm các tham số khác nhau cho các nơ-ron. Sau khi một lô cặp dữ liệu hoàn thành việc huấn luyện, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lại nhằm lặp lại các tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc cung cấp một lượng dữ liệu nhỏ nhưng có chất lượng rất cao để đào tạo, sự thay đổi như vậy sẽ giúp đầu ra của mô hình có chất lượng cao hơn, vì quá trình huấn luyện trước cần một lượng lớn dữ liệu, nhưng nhiều dữ liệu có thể chứa lỗi hoặc chất lượng thấp. Bước tinh chỉnh có khả năng nâng cao chất lượng mô hình thông qua dữ liệu chất lượng cao.

Bước ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là sắp xếp kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì tình huống kinh doanh khá cụ thể. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (

Nói ngắn gọn, trong quá trình đào tạo mô hình lớn, việc tiền đào tạo có yêu cầu rất cao về lượng dữ liệu, và sức mạnh tính toán GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện các tham số, học tăng cường có thể lặp đi lặp lại các tham số thông qua một mô hình thưởng để tạo ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát của nó càng cao, ví dụ như trong ví dụ hàm số Y = aX + b, thực tế có hai nơ-ron X và X0, do đó sự biến đổi của tham số, dữ liệu mà nó có thể khớp rất hạn chế, vì bản chất của nó vẫn là một đường thẳng. Nếu số nơ-ron càng nhiều, thì có thể lặp lại nhiều tham số hơn, từ đó có thể khớp nhiều dữ liệu hơn, đó là lý do tại sao các mô hình lớn lại tạo ra những điều kỳ diệu, và cũng là lý do tại sao được gọi là mô hình lớn, bản chất của nó là số lượng lớn nơ-ron và tham số, cùng với một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.

Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, khối lượng và chất lượng dữ liệu, và sức mạnh tính toán, ba yếu tố này cùng ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Chúng ta giả định rằng số lượng tham số là p, khối lượng dữ liệu là n) tính theo số lượng Token(, vậy chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm thông thường, từ đó ước tính tình hình sức mạnh tính toán mà chúng ta cần mua cũng như thời gian đào tạo.

Công suất tính toán thường được đo bằng Flops, đại diện cho một phép toán số thực, phép toán số thực là thuật ngữ chung cho phép cộng, trừ, nhân, chia của các số không nguyên, như 2.5+3.557, số thực đại diện cho khả năng có dấu phẩy thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác phổ biến hơn. Theo quy tắc kinh nghiệm từ thực tiễn, tiền huấn luyện )Pre-traning( một lần ) thường sẽ được huấn luyện nhiều lần ( mô hình lớn, khoảng cần 6np Flops, 6 được gọi là hằng số trong ngành. Còn suy diễn )Inference, là quá trình chúng ta nhập một dữ liệu và chờ đợi đầu ra từ mô hình lớn (, chia thành hai phần, nhập n token, xuất n token, thì tổng cộng khoảng cần 2np Flops.

Vào giai đoạn đầu, việc sử dụng chip CPU để đào tạo cung cấp hỗ trợ tính toán, nhưng sau đó dần dần bắt đầu sử dụng GPU thay thế, như chip A100, H100 của một công ty nào đó. Bởi vì CPU được sử dụng như một tính toán tổng quát, trong khi GPU có thể được sử dụng như một tính toán chuyên dụng, về hiệu quả tiêu thụ năng lượng thì vượt xa CPU. GPU thực hiện các phép toán số thực chủ yếu thông qua một mô-đun gọi là Tensor Core.