rag-local

/**
 * clean-text.js — Скрипт для очистки текстовых файлов от мусора
 * 
 * Использование:
 *   node clean-text.js <input-file> [output-file]
 * 
 * Примеры:
 *   node clean-text.js dirty.html
 *   node clean-text.js dirty.html clean.md
 *   node clean-text.js messy.txt
 */

import fs from "fs";
import path from "path";

// --- Утилиты ---

function readFile(filePath) {
  return fs.readFileSync(filePath, "utf-8");
}

function writeFile(filePath, content) {
  fs.writeFileSync(filePath, content, "utf-8");
}

function getFileExt(filePath) {
  return path.extname(filePath).toLowerCase();
}

// --- Очистка HTML ---

function cleanHtml(html) {
  // Удаляем скрипты
  let text = html.replace(/<script[\s\S]*?<\/script>/gi, "");
  // Удаляем стили
  text = text.replace(/<style[\s\S]*?<\/style>/gi, "");
  // Удаляем комментарии
  text = text.replace(/<!--[\s\S]*?-->/g, "");
  // Удаляем навигацию, футеры, сайдбары
  text = text.replace(/<(nav|footer|header|aside|sidebar)[\s\S]*?<\/\1>/gi, "");
  // Заменяем заголовки на markdown
  text = text.replace(/<h1[^>]*>([\s\S]*?)<\/h1>/gi, "\n# $1\n");
  text = text.replace(/<h2[^>]*>([\s\S]*?)<\/h2>/gi, "\n## $1\n");
  text = text.replace(/<h3[^>]*>([\s\S]*?)<\/h3>/gi, "\n### $1\n");
  text = text.replace(/<h4[^>]*>([\s\S]*?)<\/h4>/gi, "\n#### $1\n");
  text = text.replace(/<h5[^>]*>([\s\S]*?)<\/h5>/gi, "\n##### $1\n");
  text = text.replace(/<h6[^>]*>([\s\S]*?)<\/h6>/gi, "\n###### $1\n");
  // Заменяем параграфы
  text = text.replace(/<p[^>]*>([\s\S]*?)<\/p>/gi, "\n$1\n");
  // Заменяем списки
  text = text.replace(/<li[^>]*>([\s\S]*?)<\/li>/gi, "- $1\n");
  // Заменяем переносы строк
  text = text.replace(/<(br|hr)[^>]*>/gi, "\n");
  // Заменяем жирный и курсив
  text = text.replace(/<strong[^>]*>([\s\S]*?)<\/strong>/gi, "**$1**");
  text = text.replace(/<b[^>]*>([\s\S]*?)<\/b>/gi, "**$1**");
  text = text.replace(/<em[^>]*>([\s\S]*?)<\/em>/gi, "*$1*");
  text = text.replace(/<i[^>]*>([\s\S]*?)<\/i>/gi, "*$1*");
  // Заменяем ссылки
  text = text.replace(/<a[^>]*href="([^"]*)"[^>]*>([\s\S]*?)<\/a>/gi, "[$2]($1)");
  // Заменяем код
  text = text.replace(/<code[^>]*>([\s\S]*?)<\/code>/gi, "`$1`");
  text = text.replace(/<pre[^>]*>([\s\S]*?)<\/pre>/gi, "\n```\n$1\n```\n");
  // Заменяем таблицы
  text = text.replace(/<table[^>]*>([\s\S]*?)<\/table>/gi, "\n[TABLE]\n$1\n[/TABLE]\n");
  text = text.replace(/<tr[^>]*>([\s\S]*?)<\/tr>/gi, "$1\n");
  text = text.replace(/<th[^>]*>([\s\S]*?)<\/th>/gi, "| $1 ");
  text = text.replace(/<td[^>]*>([\s\S]*?)<\/td>/gi, "| $1 ");
  // Удаляем все остальные теги
  text = text.replace(/<[^>]+>/g, "");
  // Декодируем HTML-сущности
  text = text
    .replace(/&amp;/g, "&")
    .replace(/&lt;/g, "<")
    .replace(/&gt;/g, ">")
    .replace(/&quot;/g, '"')
    .replace(/&#39;/g, "'")
    .replace(/&nbsp;/g, " ")
    .replace(/&#(\d+);/g, (_, code) => String.fromCharCode(Number(code)))
    .replace(/&mdash;/g, "—")
    .replace(/&ndash;/g, "–")
    .replace(/&hellip;/g, "...")
    .replace(/&laquo;/g, "«")
    .replace(/&raquo;/g, "»");
  // Нормализуем пробелы и пустые строки
  text = text.replace(/[ \t]+/g, " ");
  text = text.replace(/\n{3,}/g, "\n\n");
  return text.trim();
}

// --- Очистка обычного текста ---

function cleanText(text) {
  // Удаляем нечитаемые символы
  text = text.replace(/[\x00-\x08\x0B\x0C\x0E-\x1F\x7F]/g, "");
  // Удаляем BOM
  text = text.replace(/^\uFEFF/, "");
  // Нормализуем переносы строк
  text = text.replace(/\r\n/g, "\n").replace(/\r/g, "\n");
  // Удаляем строки состоящие только из спецсимволов
  text = text.replace(/^[^\wа-яёА-ЯЁ\n]{3,}$/gm, "");
  // Удаляем повторяющиеся пустые строки
  text = text.replace(/\n{4,}/g, "\n\n\n");
  // Удаляем trailing whitespace
  text = text.replace(/[ \t]+$/gm, "");
  return text.trim();
}

// --- Очистка кода ---

function cleanCode(code, ext) {
  // Удаляем пустые строки в начале и конце
  code = code.trim();
  // Нормализуем переносы строк
  code = code.replace(/\r\n/g, "\n").replace(/\r/g, "\n");
  // Удаляем trailing whitespace
  code = code.replace(/[ \t]+$/gm, "");
  return code;
}

// --- Главная функция ---

function processFile(inputPath, outputPath) {
  const ext = getFileExt(inputPath);
  const content = readFile(inputPath);
  let result;

  console.log(`📄 Processing: ${inputPath}`);
  console.log(`   Type: ${ext || "text"}`);
  console.log(`   Input size: ${content.length.toLocaleString()} chars`);

  if (ext === ".html" || ext === ".htm") {
    result = cleanHtml(content);
  } else if ([".js", ".ts", ".py", ".jsx", ".tsx", ".css", ".java", ".go", ".rs"].includes(ext)) {
    result = cleanCode(content, ext);
  } else {
    result = cleanText(content);
  }

  // Удаляем строки короче 2 символов (кроме пустых строк)
  const lines = result.split("\n");
  const filtered = lines.filter(line => {
    const trimmed = line.trim();
    if (trimmed === "") return true; // keep empty lines for structure
    return trimmed.length >= 2;
  });
  result = filtered.join("\n");

  // Финальная нормализация
  result = result.replace(/\n{3,}/g, "\n\n").trim();

  if (!outputPath) {
    const dir = path.dirname(inputPath);
    const name = path.basename(inputPath, ext);
    outputPath = path.join(dir, `${name}-clean${ext === ".html" || ext === ".htm" ? ".md" : ext}`);
  }

  writeFile(outputPath, result);

  console.log(`   Output size: ${result.length.toLocaleString()} chars`);
  console.log(`   Saved to: ${outputPath}`);
  console.log(`   Reduction: ${((1 - result.length / content.length) * 100).toFixed(1)}%\n`);
}

// --- CLI ---

const args = process.argv.slice(2);

if (args.length === 0) {
  console.log("Usage: node clean-text.js <input-file> [output-file]");
  console.log("\nExamples:");
  console.log("  node clean-text.js page.html");
  console.log("  node clean-text.js page.html clean.md");
  console.log("  node clean-text.js messy.txt");
  process.exit(1);
}

const inputFile = args[0];
const outputFile = args[1] || null;

if (!fs.existsSync(inputFile)) {
  console.error(`❌ File not found: ${inputFile}`);
  process.exit(1);
}

processFile(inputFile, outputFile);