Долгое время я без колебаний вставлял контракты в ChatGPT, загружал конфиденциальные отчеты для запроса краткого изложения или вводил предложения клиентов в облачный инструмент искусственного интеллекта. Но однажды я остановился и прочитал документ об условиях предоставления услуг (который я годами бегло просматривал) и понял: эти файлы покидали мое устройство и, по крайней мере временно, хранились на чужих серверах. Интересно, что мой бывший коллега уже объяснял, почему это происходит. Не доверяйте ChatGPT конфиденциальную информацию.Это раздражение побудило меня поискать лучший способ.
Я обнаружил AnythingLLM, бесплатное настольное приложение с открытым исходным кодом, которое позволяет создавать полностью настраиваемого ИИ-помощника на основе ваших собственных документов — и делает это прямо на вашем устройстве. Оно стало одним из лучших. Приложения искусственного интеллекта с открытым исходным кодом, которые я использую каждый день.Вот как на самом деле выглядела трансформация.
Быстрые ссылки
Установка и настройка AnythingLLM занимает всего несколько минут.
Это позволяет точно определить место хранения ваших данных еще до начала работы.
После получения установочного файла дважды щелкните по нему, и мастер установки начнет работу. Во время установки он автоматически загрузит необходимые компоненты: библиотеки CUDA от Ollama, если у вас совместимая видеокарта NVIDIA — этот процесс вы оцените, как только разберетесь в нем. Что такое ядра CUDA и как они повышают общую вычислительную мощность? FFProbe используется для обработки мультимедиа, а ресурсы Meeting Assistant — для работы со звуком. От вас ничего не требуется. Весь процесс, от двойного щелчка по установщику до появления главной панели управления, занял менее пяти минут.
После открытия AnythingLLM одним из первых элементов, которые отображаются, является экран обработки данных и конфиденциальности — и его стоит прочитать. Там четко указано, что ваша форма и переписка доступны только на вашем устройстве, что текст документа в данном случае встраивается конфиденциально с помощью встроенного в AnythingLLM Embedder, и что ваши векторы хранятся локально через LanceDB. Если вы когда-либо искали... Что такое векторная база данных и как она улучшает искусственный интеллект?Вы поймете, что полная офлайн-активность этого компонента — это огромный плюс с точки зрения конфиденциальности. Здесь нет кнопок-переключателей, а параметры отказа от участия спрятаны глубоко в настройках. По умолчанию все остается локальным.
Сразу после обзора конфиденциальности AnythingLLM проведет вас через экран настроек LLM. Список поддерживаемых поставщиков обширен: в облачной среде это OpenAI, Anthropic, Azure OpenAI, Gemini, Groq и другие. В полностью локальной среде это Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local и Docker Model Runner, среди прочих. Вариант «AnythingLLM» по умолчанию сочетает в себе локальный запуск моделей на базе Ollama, что означает, что вы можете загружать модели, такие как Microsoft Phi-4 (9.1 ГБ) или Alibaba Qwen3 0.6B (небольшие 600 МБ), непосредственно из приложения без какой-либо дополнительной настройки.
Если в вашем компьютере нет выделенного графического процессора (GPU), это не проблема. Подключение к API Groq предоставляет доступ к быстрым моделям вывода, таким как Llama 3 70B, практически бесплатно, и для работы вам потребуется только ключ API. Вы можете в любое время сменить поставщика в настройках, поэтому вы не привязаны к варианту, выбранному при настройке. Для тестирования я начал с локального поставщика — Phi-3 3.8B удивил меня тем, насколько хорошо он справлялся с вопросами и ответами по документам на ноутбуке среднего класса, — а затем переключился на Groq для более ресурсоемких задач, где скорость была важнее.
После настройки AnythingLLM преобразует ваши личные документы в специализированного ИИ-помощника.
Ваши файлы снова заговорили более чётко.
Панель управления встречает вас контрольным списком для начала работы и боковой панелью, которая уже содержит виртуальное рабочее пространство под названием «Мое рабочее пространство». Рабочие пространства — это основная организационная концепция в AnythingLLM: каждое из них представляет собой самодостаточную среду, где ваши документы и переписки сосуществуют. Представьте себе каждое рабочее пространство как отдельную комнату: одна для клиентских контрактов, другая для внутренних исследований и третья для личных заметок. Документы можно передавать между рабочими пространствами при необходимости, но они не мешают друг другу, сохраняя целенаправленность и точность ответов ИИ.
Добавление документов в рабочую область осуществляется простым перетаскиванием. AnythingLLM работает с документами Word, текстовыми файлами, CSV-файлами, электронными таблицами, аудиофайлами и даже PDF-файлами, аналогично тому, как это делает сама программа. NotebookLM использует его для превращения любого PDF-файла в интерактивный диалог.В панели загрузки также есть поле «Получить веб-сайт», поэтому, если вы хотите получить веб-страницу или онлайн-ресурс, вы просто вставляете URL-адрес, и он автоматически извлекает контент. После загрузки AnythingLLM обрабатывает каждый файл, разделяя текст и сохраняя векторные данные локально. Обработка типичного PDF-файла из десяти страниц занимает всего несколько секунд.
Агенты и предвзятые приказы полиции выводят AnythingLLM за рамки интеллектуального поля поиска.
Вот тут-то и начинается самое интересное.
AnythingLLM оснащен функциями агента, выходящими за рамки простых вопросов и ответов по документам. Он также выполняет набор текста. @агент В чате можно активировать ИИ-агента, способного выполнять задачи, связанные с инструментами: поиск в интернете, углубленный поиск и действия между приложениями. Пользовательские навыки агента доступны в сообществе AnythingLLM Community Hub, библиотека которого постоянно пополняется. Функция слэш-команды позволяет создавать и сохранять шаблоны подсказок для повторяющихся задач — например, для составления сводки заметок совещаний в едином формате, формулирования ответов на электронные письма в определенном стиле или извлечения определенных полей из загруженных документов каждый раз.
Если вы хотите пойти еще дальше, существует расширение для браузера, позволяющее взаимодействовать с вашим экземпляром AnythingLLM с любой веб-страницы, а также интеграция с GPTLocalhost, которая интегрирует помощника непосредственно в Microsoft Word. Команды, которым необходим общий доступ, могут выбрать версию Docker, которая добавляет поддержку нескольких пользователей, управление на основе ролей и белый список. Настольного приложения более чем достаточно для личного использования, но полезно знать, что доступен и вариант для командной настройки.
Добро пожаловать в революцию искусственного интеллекта для вас (население: вы)
Перейдя на AnythingLLM, я перестал воспринимать ИИ как услугу, которую я арендую, и начал рассматривать его как инструмент, которым я владею. Мои документы остаются на моем диске, мои запросы остаются конфиденциальными, и теперь у меня есть цифровой помощник, который действительно понимает мой контекст, а не только общедоступный интернет.
