Интересные обсуждения
темы заинтересовавшие velkin
LLM и фрагментарные знания
05.07.2026
|
Shmj
 |
Или иначе — фрагментарные знания vs систематизированное картирование.
Вот что подумалось. LLM-ка обучается на хаотических данных — без попытки построения целостной (без белых пятен) картины мира.
Т.е. картина мира есть, но она прерывистая, скажем так. Белые пятна. И LLM-ке пофиг.
В принципе, человек на начальном этапе поступает аналогично. Обычно когда чел. ищет информацию — ему нужен ответ на какой-то вполне практический вопрос, он не хочет знать все и перегружать свой мозг. Если нашел — ОК, использует и забывает.
Сложнее когда не находит, тогда и возникает вопрос полной карты в искомой области знаний. Т.е. вместо хаотического поиска и попытки как-то побыстрее решить свою проблему — ты перестаешь полагаться на удачи и просто составляешь полную карту, как бы превращаешься в ремесленника (в некотором роде).
Т.е. главная проблема на сегодня — LLM-ка не пытается выстроить непротиворечивую "без дыр" картину мира. Ей пофиг как бы — вот есть некий набор фактов — и ОК. А что там дыры и картина не полна — ей пофиг, нет модуля для детекции таких дыр.
Вот что подумалось. LLM-ка обучается на хаотических данных — без попытки построения целостной (без белых пятен) картины мира.
Т.е. картина мира есть, но она прерывистая, скажем так. Белые пятна. И LLM-ке пофиг.
В принципе, человек на начальном этапе поступает аналогично. Обычно когда чел. ищет информацию — ему нужен ответ на какой-то вполне практический вопрос, он не хочет знать все и перегружать свой мозг. Если нашел — ОК, использует и забывает.
Сложнее когда не находит, тогда и возникает вопрос полной карты в искомой области знаний. Т.е. вместо хаотического поиска и попытки как-то побыстрее решить свою проблему — ты перестаешь полагаться на удачи и просто составляешь полную карту, как бы превращаешься в ремесленника (в некотором роде).
| Пример с философским камнем | |
| Как то, к примеру, как мне превратить свинец в золото. Он может пробовать разные варианты со свинцом, проверять стал золотом или не стал. Как бы узкий поиск одной конкретной нужной ему вещи. А можно пойти другим путем — составить общую карту всех возможных химических реакций. Т.е. разница — ты не тыкаешься наугад — а обладаешь полной картиной, начинаешь видеть закономерности. И в конце концов даже сможешь ответить на вопрос — есть ли вообще эта реакция в природе или она не возможна. Не то что не нашел — а именно она не возможна, т.к. ты перебрал абсолютно все варианты. Тут легко понять на примере поиска по списку — либо ты постоянно ищешь по несортированному списку либо же сначала сортируешь и получаешь как бы карту, в которой легко и быстро находит все что нужно или заявляешь что искомого вообще нет. | |
Т.е. главная проблема на сегодня — LLM-ка не пытается выстроить непротиворечивую "без дыр" картину мира. Ей пофиг как бы — вот есть некий набор фактов — и ОК. А что там дыры и картина не полна — ей пофиг, нет модуля для детекции таких дыр.
| 05.07.2026 11 комментариев |
S>В принципе, человек на начальном этапе поступает аналогично. Обычно когда чел. ищет информацию — ему нужен ответ на какой-то вполне практический вопрос, он не хочет знать все и перегружать свой мозг. Если нашел — ОК, использует и забывает.
Большинство людей вполне устраивает, что их карта 1) весьма неполна 2) что важнее, не является связанной.
Знания большинства людей состоит из множества незвязанных, изолированных фрагментов. И людям с этим вполне комфортно живётся.
Pzz>Большинство людей вполне устраивает, что их карта 1) весьма неполна 2) что важнее, не является связанной.
Pzz>Знания большинства людей состоит из множества незвязанных, изолированных фрагментов. И людям с этим вполне комфортно живётся. ъ
Но именно специалисты, которых уважают и к которым идут за советом — как раз и отличаются систематизированным картированием своей области знаний. Т.е. они точно знают какие места на карте исследованы а какие еще нет, знают где точно не возможно — а где еще под вопросом.
Pzz>>Большинство людей вполне устраивает, что их карта 1) весьма неполна 2) что важнее, не является связанной.
Pzz>>Знания большинства людей состоит из множества незвязанных, изолированных фрагментов. И людям с этим вполне комфортно живётся. ъ
S>Но именно специалисты, которых уважают и к которым идут за советом — как раз и отличаются систематизированным картированием своей области знаний. Т.е. они точно знают какие места на карте исследованы а какие еще нет, знают где точно не возможно — а где еще под вопросом.
Слово "специалист" происходит от слова "специализация". Этим словом обозначают профессионала, который специализируется на определённой области знаний.
Увы, их сознательно учат специализации, а не универсализму.
Еще Козьма Прутков писал, "Специалист подобен флюсу: полнота его односторонняя". С тех пор лучше не стало. Знания специалиста глубоки, но односторонни. Эпоха универсалов прошла.
Pzz>Еще Козьма Прутков писал, "Специалист подобен флюсу: полнота его односторонняя". С тех пор лучше не стало. Знания специалиста глубоки, но односторонни. Эпоха универсалов прошла.
Ну это и не плохо — каждый чел. знает свою область, а не карту целиком. Тогда он точно может сказать — есть в его области искомая руда или точно нет.
Намного хуже если он не знает своей области, начинает додумывать или отвечает не точно.
Pzz>>Еще Козьма Прутков писал, "Специалист подобен флюсу: полнота его односторонняя". С тех пор лучше не стало. Знания специалиста глубоки, но односторонни. Эпоха универсалов прошла.
S>Ну это и не плохо — каждый чел. знает свою область, а не карту целиком. Тогда он точно может сказать — есть в его области искомая руда или точно нет.
В этой конструкции никто вообще не знает карту целиком.
S>Намного хуже если он не знает своей области, начинает додумывать или отвечает не точно.
Да он и начинает, когда доходит до границы своей области. А куда ему деваться? Его знания — островок смысла в болоте неизвестности.
Pzz>Да он и начинает, когда доходит до границы своей области. А куда ему деваться? Его знания — островок смысла в болоте неизвестности.
Если нужна другая область — обратишься к другому специалисту.
S>Вот что подумалось. LLM-ка обучается на хаотических данных — без попытки построения целостной (без белых пятен) картины мира.
S>Т.е. картина мира есть, но она прерывистая, скажем так. Белые пятна. И LLM-ке пофиг.
Нет у него никакой карты или картины мира. Смотри: меня чат-боты много недель подряд кругами водили по физике ферромагнетиков. В каждом втором чате половина чуши, и кусочек истины. Я 3 недели не мог понять, почему мне не нудаётся эксперимент: мне нужно было найти поле старта сердечника с прямоугольной петлёй гистерезиса.
В конце-концов, я сумел задать контекст так, и поставить вопрос так, что всё что сказали эти болтуны начало полностью сходиться с практикой. Пока не задашь правильный вопрос — хрен тебе, а не нормальный ответ. Проблема в том, что ты сначала не знаешь какой это вопрос.
В конце-концов при правильно заданном контексте и правильно поставленном вопросе весь бред неожиданно испарился, и я получил свои ответы.
Что из этого: они владеют информацией и у них есть все нужные соотношения (формулы), тем не менее они тебе легко и просто выдают что-нибудь типа
Это почти дословная цитата — я такое очень часто видел, по крайней мере от джемини. В одном предложении он умудряется дважды соврать! ДВАЖДЫ!!!! В этом предложении сразу две херни. И это при том, что ответ оно знает: все необходимые знания по электродинамике и физике твёрдого тела у него есть — ты их получишь, если правильно вопрос задашь.
Я именно на этом основании утверждаю, что никакой картины мира у них нет.
Чат-ГПТ не сильно лучше, если что.
Более того, скажи-ка мне вот что:
Ответь на этот вопрос для меня — мне интересно, я не знаю, как мне машину помыть.
Ф>
А может ты на автомойке хочешь одолжить ведро с тряпкой.
S>Или иначе — фрагментарные знания vs систематизированное картирование.
S>Вот что подумалось. LLM-ка обучается на хаотических данных — без попытки построения целостной (без белых пятен) картины мира.
S>Т.е. картина мира есть, но она прерывистая, скажем так. Белые пятна. И LLM-ке пофиг.
Это всё так и более того, для решения проблемы давно существуют названия, а именно — world model.
LLM критикуют многие исследователи, многие компании пытаются создать свои world models — это вполне себе современный тренд. Например, ЛеКун уволился и делает свой стартап JEPA — это как раз world model.
S>А можно пойти другим путем — составить общую карту всех возможных химических реакций.
Надеюсь, что ты это сейчас не серьёзно и просто ступил. Это явно что-то из NP лагеря.
world model.
N>LLM критикуют многие исследователи, многие компании пытаются создать свои world models — это вполне себе современный тренд. Например, ЛеКун уволился и делает свой стартап JEPA — это как раз world model.
Эх, одной буквой он в названии стартапа ошибся. Было бы очень точное название для модели нашего мира.
S>LLM и фрагментарные знания vs систематизированное картирование
Я где-то два года назад написал серию статей на эту тему. Но так как на RSDN некоторые постоянно ныли, я не стал их здесь публиковать.
Вот одна из статей, опубликую на RSDN сейчас.
Дефрагментация знаний
На основе этих и других размышлений касаемо внешней литературы у меня теперь в WordPress есть разделы.
Литература
1. Книга
2. Сайт
3. Нейронка
Если раскрыть список, то получим вот это, где многоточие это списки.
Литература
1. Книга
1.1. Все главы
1.*. Автор...
1.*.*. Книга...
1.*.*.*. Издание...
1.*.*.*.*. Глава...
2. Сайт
2.1. Все статьи
2.2. Входящие
2.3. Шаблон
2.*. Тема...
2.*.*. Сайт...
2.*.*.*. Статья...
3. Нейронка
3.1. Входящие
3.*.*. Тема...
3.*.*.*. Запрос...
Чисто для примера чужая статья.
Личная база знаний: Как создать свою 'Википедию' и стать незаменимым специалистом в эпоху турбулентности
Без личной базы знаний случайный запрос так и остаётся случайным. С личной базой знаний он попадает в папку Входящие и потом систематизируется.
Конечно, важную роль в моей личной базе знаний на WordPress играют плагины.
Второй раз писать комментарий не буду, дам цитату.
Вопросы на эту тему уже признак большого прогресса. Но у меня, например, уже есть технология дефрагментации знаний основанная на WordPress. Пока кривая косая, полностью ручная, но всё же.
Пока что главная страница у меня выглядит так.
Но некоторые разделы вроде Произведение это только намётки. Так же как и научные разделы вроде Мир или Люди. Чем менее значим для меня раздел, тем он ниже.
Не раз уже на RSDN были разговоры о том как люди добились того, чего они добились. Я даже помню некоторые ответы. У кого-то тетрадка, у кого-то репозиторий с файлами, а у кого-то ничего.
Но опять же стоит сказать, что по статистике на тех же программистов выучивается 6% людей из тех кто пробует. Получается, что 94% терпят неудачу. И это ВУЗы и частные курсы.
Почему так происходит? А потому что нет личной базы знаний. Знания из источников не складируются, не систематизируются и так далее. В следствии чего и не запоминаются и не используются.
А ещё давай предположим, что нейронка следующего поколения научилась систематизировать знания. Ну так полно людей, которые уже сейчас систематизируют лучше, чем я или ты. Вопрос в том хотим ли мы прокачивать именно свой мозг или нет.
Потому что если бы у тебя или меня были деньги, то мы могли бы нанять живые нейронки, которые сами бы всё делали на основе нашего пьяного бреда и самим учиться было бы необязательно. Именно так сейчас и поступают богачи.