ИИ для самых маленьких: как работает LLM и ИИ-агент
00:00:00 Поднимем уровень понимания темы ИИ! 00:01:10 LLM — просто очень длинная математическая функция 00:03:23 Промпт, токенизация, словарь модели 00:05:52 Почему токен ≠ слово 00:06:19 Вектора эмбедингов 00:08:15 Контекстное окно модели 00:10:01 Задача LLM-функции — предсказать следующий токен 00:11:28 Почему LLM всегда отдаёт вероятностный результат 00:13:35 Функция возвращает распределение вероятностей следующего токена 00:14:37 Английский язык эффективнее русского по токенам 00:15:22 500 токенов ответа LLM — это 500 вызовов функции 00:16:02 Reasoning, режим рассуждений 00:16:33 Веса LLM 00:17:04 Базовая и instruct-модель 00:17:54 Веса LLM 00:18:55 Что такое инференс 00:19:07 ИИ-агенты 00:22:40 Мой ИИ-агент бухгалтерских документов 00:27:44 Агент умеет доставать реквизиты даже с фотографий 00:29:55 «Да реквизиты можно достать регулярками без LLM» 00:32:03 Валидация полученных реквизитов детерминированным кодом 00:32:31 Агент = детерминированный код + LLM 00:33:03 Что важнее — качество LLM или качество агента? 00:35:03 Что такое качественный ИИ-агент? 00:36:53 Запускаем LLM на телефоне 00:39:47 ИИ-агент отзывов о книгах с LLM на телефоне 00:43:23 Локальные модели — просто игрушки? 00:47:24 Локальные модели не хранят контекст? 00:48:49 У локальных моделей слишком узкое контекстное окно? 00:51:35 Локальные модели бесполезны, тк плохо пишут код? 00:54:55 Платные LLM недорогие, зачем пытаться в локальные? 00:58:55 У локальных LLM нет Structured Output? 00:59:56 Квантованные модельки — ужасны? 01:00:24 32GB RAM на компьютере это недостижимо дорого? 01:01:24 LLM генерит ответ дольше пары секунд — мусор? 01:03:17 Локальная LLM должна влезать в VRAM? 01:04:01 LLM заменят программистов? Упоминаемое в конце видео — https://www.youtube.com/watch?v=hUCyXkvTkGY Мой курс «Хардкорная веб-разработка» — https://course.to.digital Telegram канал — https://t.me/t0digital ВК — https://vk.com/digitalize.team RuTube — https://rutube.ru/channel/24802975/about/ Дзен — https://dzen.ru/id/6235d32cb64df01e6e78c883
00:00:00 Поднимем уровень понимания темы ИИ! 00:01:10 LLM — просто очень длинная математическая функция 00:03:23 Промпт, токенизация, словарь модели 00:05:52 Почему токен ≠ слово 00:06:19 Вектора эмбедингов 00:08:15 Контекстное окно модели 00:10:01 Задача LLM-функции — предсказать следующий токен 00:11:28 Почему LLM всегда отдаёт вероятностный результат 00:13:35 Функция возвращает распределение вероятностей следующего токена 00:14:37 Английский язык эффективнее русского по токенам 00:15:22 500 токенов ответа LLM — это 500 вызовов функции 00:16:02 Reasoning, режим рассуждений 00:16:33 Веса LLM 00:17:04 Базовая и instruct-модель 00:17:54 Веса LLM 00:18:55 Что такое инференс 00:19:07 ИИ-агенты 00:22:40 Мой ИИ-агент бухгалтерских документов 00:27:44 Агент умеет доставать реквизиты даже с фотографий 00:29:55 «Да реквизиты можно достать регулярками без LLM» 00:32:03 Валидация полученных реквизитов детерминированным кодом 00:32:31 Агент = детерминированный код + LLM 00:33:03 Что важнее — качество LLM или качество агента? 00:35:03 Что такое качественный ИИ-агент? 00:36:53 Запускаем LLM на телефоне 00:39:47 ИИ-агент отзывов о книгах с LLM на телефоне 00:43:23 Локальные модели — просто игрушки? 00:47:24 Локальные модели не хранят контекст? 00:48:49 У локальных моделей слишком узкое контекстное окно? 00:51:35 Локальные модели бесполезны, тк плохо пишут код? 00:54:55 Платные LLM недорогие, зачем пытаться в локальные? 00:58:55 У локальных LLM нет Structured Output? 00:59:56 Квантованные модельки — ужасны? 01:00:24 32GB RAM на компьютере это недостижимо дорого? 01:01:24 LLM генерит ответ дольше пары секунд — мусор? 01:03:17 Локальная LLM должна влезать в VRAM? 01:04:01 LLM заменят программистов? Упоминаемое в конце видео — https://www.youtube.com/watch?v=hUCyXkvTkGY Мой курс «Хардкорная веб-разработка» — https://course.to.digital Telegram канал — https://t.me/t0digital ВК — https://vk.com/digitalize.team RuTube — https://rutube.ru/channel/24802975/about/ Дзен — https://dzen.ru/id/6235d32cb64df01e6e78c883