Благодаря новаторской разработке исследователи из Оксфордского университета добились решающего прогресса в выявлении и предотвращении явления галлюцинаций в больших языковых моделях (LLM), используемых в исследованиях искусственного интеллекта (ИИ).
Исследователи разработали новый метод определения случаев, когда LLM склонны «галлюцинировать» или изобретать правдоподобные, но воображаемые факты.
Более простое объяснение может заключаться в том, что LLM не определяет, что определяет правильный ответ, но чувствует себя обязанным предложить его, что приводит к фабрикации информации - поведение, известное как «конфабуляция».
Результаты этого исследования могут пригодиться, особенно в таких областях, как юридические и медицинские вопросы, где неточности могут привести к серьезным последствиям.
Методология обнаружения конфабуляций LLM
Методология, разработанная исследовательской группой, в значительной степени основана на статистике и фокусируется на оценке неопределенности на уровне значения, а не отдельных последовательностей слов.
В этом методе используется семантическая энтропия, которая измеряет величину различий между несколькими выходными данными, для расчета неопределенности ответов LLM.
Преобразовав вероятности, создаваемые LLM, в вероятности, а не значения, исследователи смогли выявить случаи, когда LLM были не уверены в фактическом значении своих ответов, а не только в формулировке.
В ходе экспериментов новый метод неизменно превосходил предыдущие подходы в обнаружении конфабуляций.
Исследовательская группа протестировала этот метод на шести LLM с открытым исходным кодом, включая известные модели, такие как GPT-4 и LLaMA 2, используя разнообразные наборы данных, начиная от поиска Google и заканчивая техническими биомедицинскими вопросами и математическими словесными задачами. Этот метод даже успешно выявил конкретные ложные утверждения в кратких биографиях, созданных ChatGPT .
Одним из основных преимуществ этого метода является то, что, в отличие от предыдущих подходов, которые требовали данных для конкретной задачи, этот метод работает с различными наборами данных и задачами без предварительных знаний. Его надежное обобщение на новые задачи делает его ценным для обеспечения точности и надежности в широком спектре приложений.
Хотя метод обнаружения решает конкретные проблемы надежности, связанные с конфабуляциями, впереди ждут еще больше проблем. Постоянные ошибки, допускаемые выпускниками LLM, являются областью, требующей дальнейшего внимания.
Наиболее пагубные сбои ИИ происходят, когда система постоянно выдает неправильные, но уверенные и систематические результаты. Исследователи признают, что в этом отношении предстоит еще много работы.