সাথে কথা বলা শুরু করুন এলি পাভলিক তার কাজ সম্পর্কে — বড় ভাষা মডেলের (LLMs) মধ্যে বোঝার প্রমাণ খুঁজছেন — এবং সে মনে হতে পারে যেন সে মজা করছে। শব্দগুচ্ছ "হাত তরঙ্গায়িত" একটি প্রিয়, এবং যদি তিনি "অর্থ" বা "যুক্তি" উল্লেখ করেন তবে এটি প্রায়শই সুস্পষ্ট বায়ু উদ্ধৃতি সহ আসবে। এটি নিজেকে সৎ রাখার পাভলিকের উপায়। ব্রাউন ইউনিভার্সিটি এবং গুগল ডিপমাইন্ডে ভাষার মডেল অধ্যয়নরত একজন কম্পিউটার বিজ্ঞানী হিসাবে, তিনি জানেন যে প্রাকৃতিক ভাষার অন্তর্নিহিত মসৃণতাকে আলিঙ্গন করাই এটিকে গুরুত্ব সহকারে নেওয়ার একমাত্র উপায়। "এটি একটি বৈজ্ঞানিক শৃঙ্খলা - এবং এটি একটু স্কুইশি," তিনি বলেছিলেন।

যৌবনকাল থেকেই পাভলিকের জগতে নির্ভুলতা এবং সূক্ষ্মতা সহাবস্থান করেছে, যখন তিনি গণিত এবং বিজ্ঞান উপভোগ করতেন "কিন্তু সর্বদা একটি সৃজনশীল ধরণের হিসাবে চিহ্নিত।" একজন স্নাতক হিসাবে, কম্পিউটার বিজ্ঞানে ডক্টরেট করার আগে তিনি অর্থনীতি এবং স্যাক্সোফোন পারফরম্যান্সে ডিগ্রি অর্জন করেছিলেন, এমন একটি ক্ষেত্র যেখানে তিনি এখনও একজন বহিরাগতের মতো অনুভব করেন। "অনেক লোক আছেন যারা [মনে করেন] বুদ্ধিমান সিস্টেমগুলি দেখতে অনেকটা কম্পিউটার কোডের মতো হবে: ঝরঝরে এবং সুবিধাজনকভাবে অনেক সিস্টেমের মতো [আমরা] বুঝতে পারদর্শী," তিনি বলেছিলেন। "আমি বিশ্বাস করি উত্তরগুলি জটিল। যদি আমার কাছে একটি সহজ সমাধান থাকে তবে আমি নিশ্চিত যে এটি ভুল। এবং আমি ভুল হতে চাই না।"

প্রাকৃতিক ভাষা প্রক্রিয়াকরণে কাজ করা একজন কম্পিউটার বিজ্ঞানীর সাথে একটি সুযোগের সাক্ষাৎ পাভলিককে তার ডক্টরাল কাজ শুরু করতে পরিচালিত করেছিল যে কীভাবে কম্পিউটার শব্দার্থবিদ্যা বা ভাষার অর্থ এনকোড করতে পারে। "আমি মনে করি এটি একটি নির্দিষ্ট চুলকানি আঁচড়ে," তিনি বলেন. "এটি দর্শনের মধ্যে ডুবে যায়, এবং আমি বর্তমানে যে জিনিসগুলিতে কাজ করছি তার অনেকগুলির সাথে এটি খাপ খায়।" এখন, পাভলিকের গবেষণার প্রাথমিক ক্ষেত্রগুলির মধ্যে একটি "গ্রাউন্ডিং" এর উপর দৃষ্টি নিবদ্ধ করে — শব্দের অর্থ এমন জিনিসগুলির উপর নির্ভর করে যা ভাষা থেকে স্বাধীনভাবে বিদ্যমান, যেমন সংবেদনশীল উপলব্ধি, সামাজিক মিথস্ক্রিয়া বা এমনকি অন্যান্য চিন্তাভাবনার উপর নির্ভর করে। ভাষার মডেলগুলিকে সম্পূর্ণরূপে পাঠ্যের উপর প্রশিক্ষিত করা হয়, তাই তারা অর্থের জন্য গ্রাউন্ডিং বিষয়গুলি অন্বেষণ করার জন্য একটি ফলপ্রসূ প্ল্যাটফর্ম প্রদান করে৷ কিন্তু এই প্রশ্নটি কয়েক দশক ধরে ভাষাবিদ এবং অন্যান্য চিন্তাবিদদের মধ্যে ব্যস্ত রয়েছে।

"এগুলি শুধুমাত্র 'প্রযুক্তিগত' সমস্যা নয়," প্যাভলিক বলেন। "ভাষা এত বিশাল যে, আমার কাছে, মনে হয় এটি সবকিছুকে ঘিরে রেখেছে।"

কোয়ান্টা দর্শন থেকে বিজ্ঞান তৈরি করা, "অর্থ" বলতে কী বোঝায় এবং অস্বস্তিকর ফলাফলের গুরুত্ব সম্পর্কে প্যাভলিকের সাথে কথা বলেছেন৷ সাক্ষাত্কারটি সংক্ষিপ্ত এবং স্পষ্টতার জন্য সম্পাদনা করা হয়েছে।

"বোঝা" বা "অর্থ" মানে কি, অভিজ্ঞতাগতভাবে? কি, বিশেষভাবে, আপনি খুঁজছেন?

আমি যখন ব্রাউনে আমার গবেষণা কার্যক্রম শুরু করছিলাম, তখন আমরা সিদ্ধান্ত নিলাম যে অর্থের সাথে কোনো না কোনোভাবে ধারণা জড়িত। আমি বুঝতে পারি এটি একটি তাত্ত্বিক প্রতিশ্রুতি যা সবাই করে না, তবে এটি স্বজ্ঞাত বলে মনে হয়। আপনি যদি আপেল বোঝাতে "আপেল" শব্দটি ব্যবহার করেন তবে আপনার একটি আপেলের ধারণা প্রয়োজন। এটি একটি জিনিস হতে হবে, আপনি এটি উল্লেখ করার জন্য শব্দটি ব্যবহার করুন বা না করুন। "অর্থ আছে" এর অর্থ এটাই: ধারণা থাকা দরকার, এমন কিছু যা আপনি মৌখিকভাবে বলছেন।

আমি মডেলের ধারণা খুঁজে পেতে চাই। আমি এমন কিছু চাই যা আমি নিউরাল নেটওয়ার্কের মধ্যে ধরতে পারি, প্রমাণ যে এমন একটি জিনিস রয়েছে যা "আপেল" অভ্যন্তরীণভাবে উপস্থাপন করে, যা এটিকে একই শব্দ দ্বারা ধারাবাহিকভাবে উল্লেখ করার অনুমতি দেয়। কারণ এই অভ্যন্তরীণ কাঠামো বলে মনে হচ্ছে যা এলোমেলো এবং নির্বিচারে নয়। আপনি সু-সংজ্ঞায়িত ফাংশনের এই ছোট নগেটগুলি খুঁজে পেতে পারেন যা নির্ভরযোগ্যভাবে কিছু করে।

আমি এই অভ্যন্তরীণ গঠন বৈশিষ্ট্য উপর ফোকাস করা হয়েছে. এটা কি ফর্ম আছে? এটি নিউরাল নেটওয়ার্কের মধ্যে ওজনের কিছু উপসেট হতে পারে, বা সেই ওজনগুলির উপর একধরনের রৈখিক বীজগণিত অপারেশন, এক ধরণের জ্যামিতিক বিমূর্ততা। কিন্তু এটি একটি কার্যকারণ ভূমিকা পালন করতে হবে [মডেলের আচরণে]: এটি এই ইনপুটগুলির সাথে সংযুক্ত কিন্তু সেগুলি নয়, এবং এই আউটপুটগুলি এবং সেগুলি নয়৷

এটি এমন কিছু মনে হয় যা আপনি "অর্থ" বলা শুরু করতে পারেন। এই কাঠামোটি কীভাবে খুঁজে বের করা যায় এবং সম্পর্ক স্থাপন করা যায় তা খুঁজে বের করার বিষয়ে, যাতে একবার আমরা এটি সব জায়গায় পেয়ে যাই, তারপরে আমরা এটিকে "আপেলের অর্থ কী তা কি জানে?" এর মতো প্রশ্নগুলিতে প্রয়োগ করতে পারি।

আপনি এই কাঠামোর কোন উদাহরণ খুঁজে পেয়েছেন?

হ্যাঁ, এক ফল যখন একটি ভাষা মডেল তথ্যের একটি অংশ পুনরুদ্ধার করে তখন জড়িত। আপনি যদি মডেলটিকে জিজ্ঞাসা করেন, "ফ্রান্সের রাজধানী কী", এটি "প্যারিস" বলতে হবে এবং "পোল্যান্ডের রাজধানী কী" বলতে হবে "ওয়ারশ"। এটি খুব সহজেই এই সমস্ত উত্তরগুলি মুখস্ত করতে পারে, এবং সেগুলি চারপাশে [মডেলের মধ্যে] ছড়িয়ে ছিটিয়ে থাকতে পারে - এই জিনিসগুলির মধ্যে সংযোগ থাকার কোন বাস্তব কারণ নেই।

পরিবর্তে, আমরা মডেলটিতে একটি ছোট জায়গা পেয়েছি যেখানে এটি মূলত সেই সংযোগটিকে একটি ছোট ভেক্টরে ফুটিয়ে তোলে। আপনি যদি এটিকে "ফ্রান্সের রাজধানী কি" যোগ করেন, তাহলে এটি "প্যারিস" পুনরুদ্ধার করবে; এবং সেই একই ভেক্টর, যদি আপনি জিজ্ঞাসা করেন "পোল্যান্ডের রাজধানী কি", "ওয়ারশ" পুনরুদ্ধার করবে। এটি এই পদ্ধতিগত "পুনরুদ্ধার-রাজধানী-শহর" ভেক্টরের মতো।

এটি সত্যিই একটি উত্তেজনাপূর্ণ আবিষ্কার কারণ এটি মনে হচ্ছে [মডেলটি] এই ছোট ধারণাগুলিকে ফুটিয়ে তুলছে এবং তারপরে সেগুলির উপর সাধারণ অ্যালগরিদম প্রয়োগ করছে৷ এবং যদিও আমরা এই সত্যিই [সহজ] প্রশ্নগুলি দেখছি, এটি এই কাঁচা উপাদানগুলির প্রমাণ খোঁজার বিষয়ে যা মডেলটি ব্যবহার করছে। এই ক্ষেত্রে, মুখস্থ করা থেকে দূরে থাকা সহজ হবে — অনেক উপায়ে, এই নেটওয়ার্কগুলি যা করার জন্য ডিজাইন করা হয়েছে। পরিবর্তে, এটি [তথ্য] টুকরো টুকরো করে এবং এটি সম্পর্কে "কারণ" বিভক্ত করে। এবং আমরা আশা করি যে যেমন আমরা আরও ভাল পরীক্ষামূলক ডিজাইন নিয়ে এসেছি, আমরা আরও জটিল ধরণের ধারণাগুলির জন্য অনুরূপ কিছু খুঁজে পেতে পারি।

কিভাবে গ্রাউন্ডিং এই উপস্থাপনা সম্পর্কিত?

মানুষ যেভাবে ভাষা শেখে তা এক টন অভাষিক ইনপুটের উপর ভিত্তি করে: আপনার শারীরিক সংবেদন, আপনার আবেগ, আপনি ক্ষুধার্ত, যাই হোক না কেন। যে মানে সত্যিই গুরুত্বপূর্ণ বলে মনে করা হয়.

কিন্তু গ্রাউন্ডিংয়ের অন্যান্য ধারণা রয়েছে যার অভ্যন্তরীণ প্রতিনিধিত্বের সাথে আরও বেশি কিছু করার আছে। এমন কিছু শব্দ আছে যা স্পষ্টতই ভৌত জগতের সাথে যুক্ত নয়, তবুও তাদের অর্থ আছে। "গণতন্ত্র" এর মতো একটি শব্দ একটি প্রিয় উদাহরণ। এটা আপনার মাথায় একটা বিষয়: আমি গণতন্ত্র নিয়ে কথা না বলে ভাবতে পারি। তাই গ্রাউন্ডিং হতে পারে ভাষা থেকে যে জিনিস, যে অভ্যন্তরীণ প্রতিনিধিত্ব.

কিন্তু আপনি যুক্তি দেন যে এমনকি যে জিনিসগুলি আরও বাহ্যিক, যেমন রঙ, এখনও উপলব্ধির উপর নির্ভর না করে অভ্যন্তরীণ "ধারণাগত" উপস্থাপনাগুলিতে নোঙর করা যেতে পারে। কিভাবে যে কাজ করবে?

আচ্ছা, একটি ভাষা মডেলের চোখ নেই, তাই না? এটা রং সম্পর্কে কিছু "জানে না". তাই হয়তো আরও সাধারণ কিছু [এটি ক্যাপচার করে], যেমন তাদের মধ্যে সম্পর্ক বোঝা। আমি জানি যে যখন আমি নীল এবং লাল একত্রিত করি, আমি বেগুনি পাই; এই ধরনের সম্পর্ক এই অভ্যন্তরীণ [গ্রাউন্ডিং] কাঠামোকে সংজ্ঞায়িত করতে পারে।

আমরা আরজিবি কোড ব্যবহার করে একটি এলএলএমকে রঙের উদাহরণ দিতে পারি [সংখ্যার স্ট্রিং যা রঙগুলিকে প্রতিনিধিত্ব করে]। আপনি যদি বলেন "ঠিক আছে, এখানে লাল" এবং এটিকে লালের জন্য RGB কোড এবং নীলের জন্য RGB কোড সহ "এখানে নীল" বলুন, এবং তারপর বলুন "বেগুনি কী তা" এটির জন্য RGB কোড তৈরি করবে বেগুনি এই ম্যাপিংটি একটি ভাল ইঙ্গিত হওয়া উচিত যে মডেলটির অভ্যন্তরীণ কাঠামোটি শব্দযুক্ত — এটি [রঙের জন্য] উপলব্ধিগুলি অনুপস্থিত, তবে ধারণাগত কাঠামো সেখানে রয়েছে।

কি চতুর যে [মডেল] শুধু RGB কোড মুখস্ত করতে পারে, যা তার প্রশিক্ষণের সমস্ত ডেটা জুড়ে থাকে। তাই আমরা সমস্ত রঙ [তাদের আসল RGB মান থেকে দূরে] "ঘোরিয়েছি": আমরা LLM কে বলব যে "হলুদ" শব্দটি সবুজের জন্য RGB কোডের সাথে যুক্ত ছিল, ইত্যাদি। মডেলটি ভাল পারফর্ম করেছে: আপনি যখন সবুজের জন্য জিজ্ঞাসা করবেন, এটি আপনাকে RGB কোডের ঘোরানো সংস্করণ দেবে। এটি পরামর্শ দেয় যে রঙের জন্য এর অভ্যন্তরীণ উপস্থাপনাগুলিতে একধরনের সামঞ্জস্য রয়েছে। এটি তাদের সম্পর্কের জ্ঞান প্রয়োগ করছে, কেবল মুখস্থ নয়।

যে গ্রাউন্ডিং পুরো বিন্দু. একটি রঙ সম্মুখের একটি নাম ম্যাপিং নির্বিচারে. এটা তাদের মধ্যে সম্পর্ক সম্পর্কে আরো. তাই যে উত্তেজনাপূর্ণ ছিল.

এই দার্শনিক-শব্দযুক্ত প্রশ্নগুলি কীভাবে বৈজ্ঞানিক হতে পারে?

আমি সম্প্রতি একটি চিন্তা পরীক্ষা সম্পর্কে শিখেছি: যদি সমুদ্র বালির উপরে উঠে যায় এবং [যখন এটি] পিছনে টেনে নেয়, তাহলে নিদর্শনগুলি একটি কবিতা তৈরি করে? কবিতার কি অর্থ আছে? এটি সুপার বিমূর্ত বলে মনে হচ্ছে, এবং আপনি এই দীর্ঘ দার্শনিক বিতর্ক করতে পারেন।

ভাষা মডেল সম্পর্কে চমৎকার জিনিস আমরা একটি চিন্তা পরীক্ষা প্রয়োজন নেই. এটি এমন নয়, "তত্ত্বগতভাবে, অমুক এবং অমুক জিনিসটি কি বুদ্ধিমান হবে?" এটা শুধু: এই জিনিস বুদ্ধিমান? এটি বৈজ্ঞানিক এবং অভিজ্ঞতামূলক হয়ে ওঠে।

কখনও কখনও মানুষ বরখাস্ত হয়; সেখানে "স্টোকাস্টিক তোতাপাখি"পন্থা। আমি মনে করি এটি একটি ভয় [থেকে আসে] যে লোকেরা এই জিনিসগুলিতে বুদ্ধিমত্তা বাড়াতে চলেছে - যা আমরা দেখতে পাই। এবং এটির জন্য সংশোধন করার জন্য, লোকেরা মনে করে, "না, এটি একটি ছলনা। এটি ধোঁয়া এবং আয়না।"

এটা একটা ক্ষতিকর বিট. আমরা বেশ উত্তেজনাপূর্ণ এবং বেশ নতুন কিছুতে আঘাত করেছি এবং এটি গভীরভাবে বোঝার যোগ্য। এটি একটি বিশাল সুযোগ যা স্কার্ট করা উচিত নয় কারণ আমরা মডেলগুলির অতিরিক্ত ব্যাখ্যা করার বিষয়ে চিন্তিত।

অবশ্যই তুমি'এছাড়াও উত্পাদন করেছি গবেষণা ওভার-ব্যাখ্যা ঠিক যে ধরনের debunking.

সেই কাজ, যেখানে লোকেরা সমস্ত "অগভীর হিউরিস্টিকস" খুঁজে পাচ্ছিল যা মডেলগুলি শোষণ করছে [বোঝার অনুকরণ করার জন্য] - যেগুলি একজন বিজ্ঞানী হিসাবে আমার আগমনের বয়সের জন্য খুব ভিত্তি ছিল। কিন্তু এটা জটিল। এটার মতো, খুব তাড়াতাড়ি বিজয় ঘোষণা করবেন না। [আমার মধ্যে] কিছুটা সংশয় বা বিভ্রান্তি রয়েছে যে একটি মূল্যায়ন সঠিকভাবে করা হয়েছিল, এমনকি আমি জানি যে আমি খুব যত্ন সহকারে ডিজাইন করেছি!

সুতরাং এটি এর অংশ: অতিরিক্ত দাবি করা নয়। আরেকটি অংশ হল, আপনি যদি এই [ভাষা মডেল] সিস্টেমগুলির সাথে মোকাবিলা করেন তবে আপনি জানেন যে এগুলি মানব-স্তরের নয় - যেভাবে তারা জিনিসগুলি সমাধান করছে তা মনে হয় ততটা বুদ্ধিমান নয়।

যখন এই ক্ষেত্রে অনেকগুলি মৌলিক পদ্ধতি এবং শর্তাদি বিতর্কের জন্য তৈরি হয়, তখন আপনি কীভাবে সাফল্যের পরিমাপ করবেন?

আমি মনে করি আমরা বিজ্ঞানী হিসাবে যা খুঁজছি, তা হল একটি সুনির্দিষ্ট, মানব-বোধগম্য বর্ণনা যা আমরা যত্ন করি — বুদ্ধিমত্তা, এই ক্ষেত্রে। এবং তারপর আমরা সেখানে পেতে সাহায্য করার জন্য শব্দ সংযুক্ত করি। আমাদের কিছু কাজের শব্দভান্ডার দরকার।

কিন্তু এটা কঠিন, কারণ তাহলে আপনি শব্দার্থবিদ্যার এই যুদ্ধে নামতে পারবেন। যখন লোকেরা বলে "এর কি অর্থ আছে: হ্যাঁ বা না?" আমি জানি না আমরা কথোপকথনটি ভুল জিনিসের দিকে নিয়ে যাচ্ছি।

আমি যা অফার করার চেষ্টা করছি তা হল আচরণের একটি সুনির্দিষ্ট অ্যাকাউন্ট যা আমরা ব্যাখ্যা করার বিষয়ে যত্নশীল। এবং আপনি এটিকে "অর্থ" বা "প্রতিনিধিত্ব" বা এই লোডেড শব্দগুলির যে কোনও একটি বলতে চান কিনা সেই সময়ে এটি এক ধরণের বিতর্কিত। পয়েন্ট হল, টেবিলে একটি তত্ত্ব বা একটি প্রস্তাবিত মডেল আছে - আসুন এটি মূল্যায়ন করা যাক।

তাহলে কিভাবে ভাষা মডেলের উপর গবেষণা আরও সরাসরি পদ্ধতির দিকে যেতে পারে?

আমি যে ধরণের গভীর প্রশ্নগুলির উত্তর দিতে চাই - বুদ্ধিমত্তার বিল্ডিং ব্লকগুলি কী কী? মানুষের বুদ্ধি দেখতে কেমন? মডেল বুদ্ধিমত্তা দেখতে কেমন? - সত্যিই গুরুত্বপূর্ণ. কিন্তু আমি মনে করি যে জিনিসগুলি পরবর্তী 10 বছরের জন্য ঘটতে হবে তা খুব সেক্সি নয়।

আমরা যদি এই [অভ্যন্তরীণ] উপস্থাপনাগুলির সাথে মোকাবিলা করতে চাই, আমাদের সেগুলি খুঁজে বের করার জন্য পদ্ধতির প্রয়োজন - পদ্ধতিগুলি যা বৈজ্ঞানিকভাবে সঠিক। যদি এটি সঠিকভাবে করা হয়, এই নিম্ন-স্তরের, সুপার ইন-দ্য-ওয়েডস পদ্ধতিগত স্টাফ শিরোনাম সরবরাহ করবে না। কিন্তু এটি সত্যিই গুরুত্বপূর্ণ জিনিস যা আমাদের এই গভীর প্রশ্নের সঠিক উত্তর দিতে দেয়।

ইতিমধ্যে, মডেল পরিবর্তন রাখা যাচ্ছে. তাই অনেক কিছু হতে যাচ্ছে যা লোকেরা প্রকাশ করতে থাকবে যেন এটি "যুগান্তর", তবে এটি সম্ভবত নয়। আমার মনে, বড় সাফল্য পেতে খুব তাড়াতাড়ি মনে হচ্ছে।

লোকেরা এই সত্যিই সহজ কাজগুলি অধ্যয়ন করছে, যেমন [সম্পূর্ণ করার জন্য একটি ভাষা মডেল] জিজ্ঞাসা করা "জন _______কে একটি পানীয় দিয়েছে," এবং এটি "জন" নাকি "মেরি" বলে কিনা তা দেখার চেষ্টা করছে। যে বুদ্ধিমত্তা ব্যাখ্যা করে এমন ফলাফলের অনুভূতি নেই। কিন্তু আমি আসলে বিশ্বাস করি যে এই বিরক্তিকর-গাধা সমস্যাটি বর্ণনা করার জন্য আমরা যে সরঞ্জামগুলি ব্যবহার করছি তা বুদ্ধিমত্তা সম্পর্কে গভীর প্রশ্নের উত্তর দেওয়ার জন্য অপরিহার্য।