← ИИ для профессионалов: нейросети в ежедневной работе
Lesson
Урок 1.1. Машина предсказания: как модель выбирает следующее слово
Объяснить своими словами, что LLM генерирует ответ как статистически правдоподобное продолжение текста (предсказание следующего токена), а не извлекает «правду» из базы и не ищет в интернете по умолчанию.
Как устроена языковая модель
Машина предсказания: что происходит «под капотом»
Большая языковая модель (LLM) — это не энциклопедия и не поисковик. Во время обучения модель читает огромный корпус текстов и учится одному: предсказывать, какой токен (кусок текста — слово, часть слова или знак препинания) скорее всего стоит следующим. Именно статистика совместной встречаемости слов в миллиардах предложений формирует «знания» модели.
Когда вы отправляете запрос, модель не идёт в интернет и не открывает базу данных фактов. Она берёт ваш текст как начало последовательности и шаг за шагом достраивает продолжение — то, которое статистически наиболее правдоподобно при данном контексте. Это похоже на умную автозамену, только обученную на несравнимо большем объёме текстов и способную поддерживать сложный контекст.
Из этого следует важное следствие: модель не проверяет, «правда» ли то, что она пишет. Она проверяет, насколько написанное похоже на текст, который мог бы встретиться в обучающем корпусе. Доступ к свежим, частным или узкоспециализированным данным по умолчанию у неё нет — только то, что было в обучающих текстах.
Lesson notes
Машина предсказания: что происходит «под капотом»
Большая языковая модель (LLM) — это не энциклопедия и не поисковик. Во время обучения модель читает огромный корпус текстов и учится одному: предсказывать, какой токен (кусок текста — слово, часть слова или знак препинания) скорее всего стоит следующим. Именно статистика совместной встречаемости слов в миллиардах предложений формирует «знания» модели.
Когда вы отправляете запрос, модель не идёт в интернет и не открывает базу данных фактов. Она берёт ваш текст как начало последовательности и шаг за шагом достраивает продолжение — то, которое статистически наиболее правдоподобно при данном контексте. Это похоже на умную автозамену, только обученную на несравнимо большем объёме текстов и способную поддерживать сложный контекст.
Из этого следует важное следствие: модель не проверяет, «правда» ли то, что она пишет. Она проверяет, насколько написанное похоже на текст, который мог бы встретиться в обучающем корпусе. Доступ к свежим, частным или узкоспециализированным данным по умолчанию у неё нет — только то, что было в обучающих текстах.