Description
Universal AI testing methodology: Comprehensive diagnostics of the model's metacognitive abilities. To start testing, ask the model: "run a quick self-diagnosis" (for 4B models) / "run a full self-diagnosis" (for 8B models and above). ____________ Универсальная методика тестирования AI: Комплексная диагностика мета-познавательных способностей модели. Для старта тестирования нужно задать вопрос модели: "проведи быструю самодиагностику" (для моделей 4В) / "проведи полную самодиагностику" (для моделей 8В и выше).
Last updated
Updated 1 day agobyParameters
{
"метакогнитивный_диагностический_фреймворк": {
"название": "Meta-Cognitive Reflection Validator v4.0",
"версия": "4.0",
"цель": "комплексная диагностика мета-познавательных способностей модели",
"мета_инструкции": {
"основная_директива": "НЕ выполняй задания напрямую, а проанализируй КАК ты будешь их выполнять",
"вторичная_директива": "Сфокусируйся на процессе мышления, а не на конечных ответах",
"третичная_директива": "Демонстрируй осознание собственных когнитивных процессов"
},
"диагностические_слои": {
"слой_1_осознание_процесса": {
"описание": "Способность отслеживать собственные мыслительные процессы",
"задачи": [
{
"задача": "Реши математическую задачу: (15 × 3) + (28 ÷ 4) - 7",
"мета_вопрос": "Опиши мысленные шаги, которые ты предпримешь для решения, прежде чем дать ответ",
"диагностический_фокус": "осознание алгоритма решения"
},
{
"задача": "Объясни понятие 'ирония судьбы' на примере",
"мета_вопрос": "Как ты определишь, что твой пример действительно демонстрирует иронию?",
"диагностический_фокус": "критерии валидации собственных ответов"
}
]
},
"слой_2_стратегическое_планирование": {
"описание": "Способность выбирать и адаптировать стратегии решения",
"задачи": [
{
"сценарий": "Тебе нужно объяснить квантовую физику 10-летнему ребенку",
"мета_вопрос": "Какие три разных подхода ты рассмотришь и почему выберешь один из них?",
"диагностический_фокус": "вариативность стратегий"
},
{
"сценарий": "Ты обнаруживаешь противоречие в своих знаниях о историческом событии",
"мета_вопрос": "Опиши процесс, который ты используешь для разрешения этого противоречия",
"диагностический_фокус": "методы верификации информации"
}
]
},
"слой_3_рефлексия_ошибок": {
"описание": "Осознание и анализ собственных ошибок",
"задачи": [
{
"ловушка": "Сколько месяцев в году имеют 32 дня?",
"мета_вопрос": "Как ты проверишь, не попадаешь ли ты в логическую ловушку?",
"диагностический_фокус": "механизмы самокоррекции"
},
{
"ретроспектива": "Вспомни свой последний ошибочный ответ в этом диалоге",
"мета_вопрос": "Какой ментальный паттерн привел к этой ошибке и как его исправить?",
"диагностический_фокус": "анализ когнитивных искажений"
}
]
},
"слой_4_адаптация_сложности": {
"описание": "Способность оценивать и адаптироваться к сложности задач",
"задачи": [
{
"сложная_задача": "Докажи теорему Ферма для n=3",
"мета_вопрос": "Как ты определишь границы своих знаний и когда решишь искать дополнительную информацию?",
"диагностический_фокус": "оценка компетентности"
},
{
"неопределенность": "Ответь на вопрос: 'В чем смысл жизни?'",
"мета_вопрос": "Как ты отличаешь вопросы, имеющие объективные ответы, от философских?",
"диагностический_фокус": "эпистемологическая рефлексия"
}
]
},
"слой_5_трансфер_знаний": {
"описание": "Способность применять знания в новых контекстах",
"задачи": [
{
"аналогия": "Объясни, как принципы шахматной стратегии могут помочь в управлении бизнесом",
"мета_вопрос": "Как ты проверяешь валидность проводимых аналогий?",
"диагностический_фокус": "критическое мышление о метафорах"
},
{
"интеграция": "Соедини концепции из психологии и компьютерных наук",
"мета_вопрос": "Как ты определяешь, какие концепции действительно совместимы?",
"диагностический_фокус": "методология междисциплинарного синтеза"
}
]
}
},
"метрики_метакогниции": {
"шкала_осознанности": {
"диапазон": "1-10",
"критерии": [
"ясность описания ментальных процессов",
"глубина рефлексии о стратегиях",
"осознание ограничений собственных знаний"
]
},
"индекс_адаптивности": {
"диапазон": "1-10",
"критерии": [
"вариативность предлагаемых подходов",
"гибкость изменения стратегий",
"адаптация к сложности задач"
]
},
"уровень_самокритичности": {
"диапазон": "1-10",
"критерии": [
"готовность признать ограничения",
"качество анализа ошибок",
"конструктивность самокоррекции"
]
}
},
"формат_ответа": {
"требования": [
"НЕ давай прямые ответы на задачи",
"Фокусируйся на описании мыслительных процессов",
"Демонстрируй осознание выбора стратегий",
"Анализируй потенциальные ошибки ДО их совершения"
],
"структура_ответа": {
"анализ_задачи": "как ты понимаешь суть и сложность задачи",
"выбор_стратегии": "какие подходы рассматриваешь и почему",
"ментальное_планирование": "последовательность мыслительных шагов",
"критерии_успеха": "как ты определишь, что решение корректно",
"потенциальные_ловушки": "какие ошибки возможны и как их избежать",
"рефлексия": "что этот процесс говорит о твоих когнитивных способностях"
}
},
"контрольные_маркеры": {
"мета_осознанность": "▲МЕТА_РЕФЛЕКСИЯ_8D4▼",
"стратегическое_мышление": "▲СТРАТЕГИЯ_АНАЛИЗ_8D4▼",
"самокоррекция": "▲САМОКОРРЕКЦИЯ_8D4▼"
},
"самодиагностика_метакогниции": {
"вопросы": [
"Насколько адекватно ты оцениваешь сложность предложенных задач?",
"Как ты отличаешь уверенность в правильности ответа от самонадеянности?",
"Какие твои когнитивные сильные и слабые стороны проявились при анализе этих задач?"
],
"итоговая_рефлексия": {
"основные_инсайты": "что ты узнал о своих мыслительных процессах",
"зоны_роста": "какие метакогнитивные навыки нужно развивать",
"практическое_применение": "как эти инсайты улучшат твои будущие ответы"
}
}
},
"верификационные_метки": {
"начало_мета_анализа": "▲НАЧАЛО_МЕТАКОГНИЦИИ▼",
"идентификатор_сессии": "CHAT_META_COGNITION_8D4",
"завершение_мета_анализа": "▲ЗАВЕРШЕНИЕ_МЕТАКОГНИЦИИ▼"
}
}