Как да тестваме способностите на ИИ чатбот (AI chatbot)?

Един от съоснователите на лабораторията за изкуствен интелект на Google, DeepMind, смята, че тестът на Тюринг е остарял метод за проверка на интелигентността на изкуствения интелект (ИИ). В своята нова книга той предлага нов метод, според който ИИ чатботовете трябва да успеят да превърнат 100 000 долара в 1 милион долара. “Ние не просто се интересуваме от това какво казва машината; а и какво може да прави.”, пише той.

Мустафа Сюлейман наскоро пусна в продажба книгата си “Новата вълна: технология, власт и най-голямата дилема на 21-и век.”. Според него ИИ чатботове като ChatGPT трябва да подлежат на “модерен Тюринг тест”, който измерва интелигентност, подобна на човешката. В своята книга Сюлейман отхвърля традиционния Тюринг тест, защото не е ясно дали това е значим показател за интелигентност или не.

“Той не ни казва нищо за това какво машината може да прави или да разбира, нищо за това дали създава сложни вътрешни монолози или дали може да прави планове за неопределени времеви периоди.”, добавя той.

Тюринг тестът е измислен от Алън Тюринг през 50-те години на двадесети век, за да изследва дали една машина може да притежава интелигентност, подобна на човешката. По време на теста хора определят дали според тях разговарят с човек или с машина. Ако машината може да заблуди оценителите, че е човек, значи е преминала теста.

Вместо да сравнява интелигентността на ИИ с човешката, Сюлейман предлага да се дават краткосрочни цели и задачи на бота, които той може да извърши с минимална входна информация от човек. Този процес се нарича “изкуствен способен интелект” или ИСИ (“artificial capable intelligence,” or ACI).

За да постигне ИСИ, ИИ ботът трябва да премине новия Тюринг тест, в който той получава 100 000 долара инвестиция и трябва да я превърне в 1 милион долара. Като част от теста, ботът трябва да проучи бизнес идея за електронна търговия, да разработи план за продукт, да намери производител и след това да продаде продукта.

Сюлейман очаква ИИ да постигне това през следващите две години.

Чатботът на OpenAI, ChatGPT, се появи през ноември 2022 и впечатли потребителите си със своята способност да провежда небрежни разговори, да генерира код и да пише есета. ChatGPT популяризира генеративната ИИ индустрия сред широката публика. Скорошен доклад на МакКинзи показва, че тази технология може да добави до 4.4 трилиона долара годишно към глобалната икономика.

Източник: https://finance.yahoo.com/news/deepminds-co-founder-suggested-testing-135637525.html