Автоматическое подключение новостных источников по адресу страницы или сайта

Начиная с версии SiteSputnik 9.9.1 от 12.01.2021

в содержание Проекта можно "живьём" вписать нужные Источники (ссылки),
за появлением новой информации на которых требуется установить наблюдение.

Например, на картинке ниже в одном Проекте есть:
  • и адреса групп, профилей, каналов из соцсетей Вконтакте, ФейсБук, ЮТуб, Телеграм, Твиттер, Инстаграм,
  • и адреса "обычных" сайтов: ИА REGNUM - Новости РФ СНГ Мира, Библиотека компромата, RT на РУССКОМ.



  • СайтСпутник сам разберется где в Источниках появляется новая или обновленная информация,
    скачает и проанализирует её, используя Правила попадания в Рубрики (в данном примере Рубрик нет).

    Теоретически
    Источником может быть любая из нескольких миллиардов ссылок,
    существующих в интернете, или ссылки, созданные по запросу.

    На практике
    автоматика в н.в. срабатывает не в 100% случаев (особенно для ссылок, создаваемых по запросу),
    или срабатывает не так как нужно Пользователю, а именно, выделяет не те потоки информации с Источника, которые его интересуют.

    В этом случае Проект дорабатывается Пользователем самостоятельно вручную.
    Обращение к программисту или разработчику не требуются.
    Если какой-то источник подключить не удалось, то потребуется доработка СайтСпутника.

    Включить автоматику
    можно в Настройках на вкладке +News, установив галочку у параметра:
    √ Менеджер подключения новостных источников (см. по коричневой стрелочке):



    Этот параметр инициирует проверку каждой ссылки, находящейся в тексте Проекта, следующим образом.
    • Если ссылка является адресом RSS или URL-потока, то она останется в содержании Проекта как есть.
    • Иначе в содержании ссылки будут найдены адреса RSS или URL-потоков, которые заменят её в Проекте.

    Напомню, что под URL-потоком в СайтСпутнике понимается:
    множество вновь появившихся на Источнике адресов ссылок или "старые" ссылки,
    на которых было сделано обновление, после последнего посещения Источника программой.

    Замечания.
    • В частности, данный механизм может быть использован для создания первой редакции Проекта,
      которую можно скопировать из документа "Проект исполняемый", создаваемого СайтСпутником.
    • Он будет совершенствоваться в следующих версиях программы.

    Список публикаций и форумов по программе SiteSputnik.

    "Кеширский код" под Новый год

    SiteSputnik. Поиск кэш-копий ссылки в поисковиках SiteSputnik. Список - "Все сниппеты в одном"
    Система: Мониторинг СМИ, социальные сети, упоминания. Программа: поиск, сбор, искать и найти информацию в интернете

    программа сайт спутник - поиск в кэш памяти поисковиков кэш-копий ссылок, сбор сниппетов, кеш, кэш, cache

    поиск и сбор кэш-копий ссылок, поиск, сбор, анализ сниппетов, кеш, кеш, cache

    кэш память, кеш, кэш, cache, поиск кеш-копий ссылок, сбор кеш-коний, поиск кэш-копий, найти в кеше

    Поиск, сбор, мониторинг, аназиз СМИ, новостей, социальных сетей,упоминаний, информации, интернет, Спутник, v, ви, перевод текстов с русского, английского

    Обзор:программы и системы поиска и мониторинга СМИ,новостей, документов,медиа социальных, сетей,спутник V, язык,кеш

    Объект, человек, персона, ФЛ, ФЛ, люди, переводчик

    Мониторинг информации, поиски людей,физлица - системы

    Поиск в телеграм, канал
    Скачать

    Мониторинг СМИ - обзорые статьи

    Пробить человека и персону, ИБ-информационная безопасность,search,КЕШ

    Перейти на главную страницу сайта можно по ссылке - программа Сайт Спутник.
    Обновление поиска всех кеш-копий ссылки доступно в версии SiteSputnik 9.8.11 и младше.

    СайтСпутник, Спутник Сайт) - программа для мониторинга КЕШ (КЭШ),скачать

    SieSputnik (Site Sputnik) - Кэш-ссылки программная система сбора информации, мониторинг СМИ

    Сайт Спутник. Site Sputnik. Мониторинг, программный комплекс-кеширования, упоминание в кэше

    Спутник. Система. Кеширование

    Спутник. Sputnik. Мониторинг в кэш.

    Другой подход к поиску Кэш-копий ссылок - в отдельной публикации SiteSputnik: Поиск по пакету запросов в КЭШе поисковиков.


    Основные понятия и терминология


    Кэш-копия ссылки - сохраненное в памяти поисковиков одно из предыдущих состояний ссылки.
    Сниппет - небольшой фрагмент из содержание ссылки, найденной поисковиком по запросу.


    Назначение, цели


    1. В данной публикации рассматривается функция, посредством которой за один шаг осуществляется сбор кэш-копий ссылок из:
      Яндекса, Google, Yahoo, Bing (MSN), Mail.ru и Рамблера.
    Пользователю достаточно ввести имя ссылки и нажать на кнопку, по которой инициируется поиск её кеш-копий. Данная функция может быть полезна в случае недоступности ссылки или при ознакомлении с ее предыдущими содержаниями.

    2. Кроме этого, описываются свойства списка ссылок, который называется "Все сниппеты в одном".


    1. Сбор кэш-копий ссылки

    В сниппетах выдачи поисковиков ссылка на кэш-копию ссылки находится под заголовком:
      "Сохранённая копия"     - для Яндекса,  
      "Сохраненная копия"     - для Google, Mail.ru и Рамблера, 
      "Cached"                - для Yahoo,
      "Кешировано"    - для Bing (MSN, Live Search).

    сниппет и Кэш-копия

      Для того, чтобы проверить существование и собрать кэш-копии ссылки из этих поисковиков, выполните следующие действия.
    1. Откройте подменю "Золотого ключика", который расположен на верхней инструментальной панели:
    2. Выберите пункт меню "Метапоиск специальный - Кэш-копии ссылки". На картинке выше он отмечен синей стрелочкой.
    3. В появившемся окне введите имя ссылки. На картинке ниже введенная ссылка обведена красной линией.
    4. Нажмите на кнопку "Кэш".
    Результат поиска, в котором по одному клику мышки найдено сразу четыре кэш-копии введенной ссылки, - на картинке ниже.
    • Красные стрелочки указывают на адреса кеш-копий ссылок.
    • Зеленые - на их источники.

    Поиск копий страниц и сниппетов

    Можно щелкнуть мышкой по сохраненной копии ссылки и открыть ее браузером, установленным по умолчанию.


    2. Список "Все сниппеты в одном"

    Фрагмент списка "Все сниппеты в одном" приведен на картинке выше. Этот список формируется во время выполнения обычных запросов и пакетов запросов. Он содержит для каждой найденной ссылки не по одному сниппету, как в списке "Объединение ссылок уникальных", а все сниппеты с этой ссылкой, найденные всеми поисковиками и всеми запросами из пакета.

    Назначение списка.
    1. Чем большим количеством источников и запросов была найдена ссылка, тем ближе к началу списка она будет расположена.
    2. Список "Все сниппеты в одном" интересен и сам по себе:Вы получаете более подробное описание содержания ссылок, не открывая их.
    3. Для каждой ссылки собирается достаточно полный перечень ее кэш-копий.
    Настройки.
    По умолчанию список "Все сниппеты в одном" создаётся. Отменить его создание можно в настройках на вкладке "Pro" - синяя стрелочка:

    Кэшированние, сниппет


    Список литературы

    Адрес главной страницы сайта - О программе СайтСпутник.
    Полный список публикаций по программе собран на этой странице.
    Ещё о работе с кеш-копиями ссылок - Поиск КЕШ-копий ссылок по пакету запросов.

    Copyright © 2003-2020 ИП Мыльников Алексей Борисович. Все права защищены. E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92

    Мониторинг телеграм-каналов в программе СайтСпутник

    SiteSputnik. Мониторинг Телеграм: отслеживание изменений
    SiteSputnik. в телеграм-каналах по ключевым словам (по запросам)
    Дата выхода публикации - 05.01.2019г.   
    Последнее изменение - 07.07.2020г.   




    • Обновитесь до версии 9.8.6.1, чтобы работать с Telegram по-новому.

    • Переход на главную страницу сайта - по ссылке программа Сайт Спутник.



    • Назначение
    В программе Site Sputnik, начиная с версии 9.6.4 от 05.01.2019

    можно:


    • поставить на мониторинг потоки информации в Телеграм;

    • под мониторингом понимается отслеживание изменений содержания потоков,
      удовлетворяющее запросам;

    • под запросами понимаются выражения, состоящие из ключевых слов и операторов над ними;

    • примеры простейших запросов: "Элементарные Правила попадания в Рубрики",
      всё о запросах в разделе: "Рубрики", в которых они, собственно, и формулируются.


    Доступно в комплектации SiteSputnik Pro+News+WebSpider.


    Подробнее о мониторинге Telegram

    1. Пример простого Проекта для мониторинга телеграм-каналов

    Можно скопипастить его прямо отсюда и выполнить в СайтСпутнике:




    ^^Обновления;

    tg://bondovik +
    tg://rospres +                           ^^ Футляр от виолончели
    tg://mysly +                             ^^ Мюсли вслух
    tg://russica2 +                          ^^ НЕЗЫГАРЬ
    tg://trehlitrovayabanka +
    tg://otsuka_bld +
    tg://criminalru +
    tg://mislinemisli +
    tg://trubapodneglinnoy +
    tg://boilerroomchannel +
    tg://maester +
    tg://kremlin_mother_expert +
    tg://nebrexnya +
    tg://postposttruth +                  ^^Постправда
    tg://bulba_of_thrones +            ^^Бульба престолов
    tg://redzion +                           ^^Красный Сион
    tg://kolezev +                           ^^Анонимный канал Колезева
    tg://mediatech +                       ^^Медиатехнолог
    tg://obuhovpro +                       ^^Обухов
    tg://kozlovdaily +                      ^^Козлов дейли
    tg://antiskrepa +                       ^^Антискрепа
    tg://ricenoodles +                      ^^Рисовая лапша
    tg://maester +                           ^^Мейстер
    tg://Chesnakov +                       ^^Чесноков
    tg://CorruptionTV +                     ^^Шуманов
    tg://KOnOfff +                            ^^K/On/Off
    tg://vovknn +                             ^^Вовк
    tg://akashevarova +                   ^^Кашеварова
    tg://gayasylum +                        ^^Гей на передержке (Красовский)
    tg://Crexcrexcrex +                     ^^Черных и его корестели
    tg://prototrankov +                     ^^Προτο Τρανκοβ
    tg://KonstantinEggert +               ^^Oberleutnant_Eggert
    tg://trudolubov +                         ^^Трудолюбов
    tg://politjoystic +                         ^^Политджойстик
    tg://lovosti +                              ^^Ломаные новости

    Рубрика://Партии/КПРФ
    КПРФ* | Зюганов*


    Полный поток информации с этих телеграм-каналов, полученный 07.07.2020 в 18:00, на ссылке: Поток.
    Фрагменты информации из этого потока, на которых упомянута КПРФ: Упоминание КПРФ.

    В Проект можно добавить ещё Телеграм-каналы,
    а также Рубрики, например, статические, если они у Вас есть:




    ^^Рубрики\Роскосмос\Космодромы
    ^^Рубрики\Люди\Рогозин



    Три эквивалентных способа прописки Телеграм-каналов в Проекте:



    tg://mysly +
    https://telegram.me/mysly +
    %ТГ=tg://mysly


    В первых двух строках справа "плюсик через пробел" - обязателен.
    Если его нет, то на мониторинг попадет не Телеграм-канал, а все ссылки, размещенные в его содержании.
    В третьей строке применён специальный оператор %ТГ, который можно выбрать из меню (красная стрелочка):

    телеграм-канал мониторинг

    На этой картинке в левой её части видна часть Проекта, который мы сформировали выше.
    Если нажать на кнопку Совместно , то Проект выполнится.
    Собственно, это всё, что требуется от Пользователя для отслеживания новых фрагментов информации, в которых упомятута КПРФ.

    Если Вам необходимо наблюдать за Телеграм-каналами,
    которые могут появиться в содержании наблюдаемого Телеграм-канала при его обновлениях,
    то примените оператор %ТГ+ (зеленая стрелочка) или напишите так, как написано во 2-ой и 3-ей строке:




    %ТГ+=tg://mysly
    tg://mysly +.me;tg://;web.telegram.org;
    https://telegram.me/mysly +.me;tg://;web.telegram.org;



    2. Рекомендации и пояснения

    1. Оператор: ^^Обновления; (равносильно ^^WebSpider;) -
      указывает, что на Рубрикацию попадают не только новые ссылки,
      но и измененные фрагменты "старых" ссылок.
      Используйте этот тип проектов для мониторинга Телеграмм.

    2. Мониторьте Телеграм в отдельном Проекте,
      так как тип "Обновления" требует больше ресурсов, чем тип "Новости",
      и не обязателен для большинства других источников.

    3. Используйте операторы %ТГ или %ТГ+, выбирайте их из меню.

    4. Можно создать свой оператор, чтобы проходить по Телеграм-каналам глубже.

    5. Уберите галочки в "Настройка-Параметры-Вкладка +New-Менеджер скачивания ссылок".

    6. В "Настройка-Параметры-Вкладка Pro" можно выбрать "Ускоренный поиск", если он не подойдет,
      то СайтСпутник откроет Телеграм-канал внешним браузером.


    7. Для "Вычисления" Телеграм-каналов, на которых обсуждаются интересные Вам темы, примените +NewStreams.

    8. Доступны все другие компоненты программы, например, +PolyGLOT.



    3. О результатах мониторинга


    • При первом выполнении Проекта на Рубрикацию (на проверку удовлетворению запросам)
      попадут полные содержания всех Телеграмм-источников, прописанных в Проекте.


    • При последущих выполнениях - только новая информация,
      появившаяся в "старых" Источниках и новые Телеграм-источники целиком.



    4. Предварительные действия


    1. Обновитесь до последней версии программы, если Вы не сделали этого ранее:

           ? - Проверить наличие обновлений.


    2. Авторизуйтесь в Online Telegram, используя свой аккаунт:

      monitoring telegram

      Некоторые страницы Telegram не скачиваются напрямую, поэтому рекомендуется выполнить этот пункт.



    3. Рекомендуется создать отдельный Ящик для мониторинга Телеграм:

           Ящик - Создать новый Ящик.


    Список литературы
    Адрес главной страницы сайта - О программе СайтСпутник.

    Полный список публикаций по программе собран на этой странице.



    Copyright © 2003-2020 ИП Мыльников Алексей Борисович. Все права защищены. E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92

    Новая карта сайта www.sitesputnik.ru, построенная программой "Сайт Спутник"



    Ниже находится карта сайта   www.sitesputnik.ru,   на которой размещена информация о программе FileForFiles & Sitesputnik.

    Особенность этой карты - она не существует, а построена программой SiteSputnik из ссылок, найденных ею по поисковым запросам.

    Карта материализует часть сайта, видимую из интернета, - ни одного обращения к сайту сделано не было.

    Базовые функции поиска в невидимом интернете, при помощи которых можно достроить карту сайта, не применялись.

    Подобные карты можно построить для любого сайта, ресурса или папки сайта.



    Система: Мониторинг СМИ, социальные сети, упоминания. Программа: поиск, сбор, искать и найти информацию в интернете

    карта сайта sitesputnik.ru, построенная автоматически программой site sputniс (сайт спутник)


    программа спутник - карта сайта, мониторинг сми, соцсетей, форумов, блогов, комментариев, поиск


    программа, система, спутник, sputnik, поиск, сбор, анализ, мониторинг, розыск, информация, сми, соцсети, интернет


    Это Система новостного мониторинга СМИ, Социальныx медиа , соцсети, медийный - что, где, когда


    Это Поиск, сбор сведений, ключевые слова, узнать

    Компьютер, программа, система, комплекс, скачать

    Метапоиск, Метапоисковые системы

    FileForFiles & SiteSputnik: аналитика, связи объектов, отчеты - 09.02.2020 21:17:08.
    Карта для ресурса "sitesputnik.ru".

       № Ресурс, папка, ссылка Заголовок
    1 sitesputnik.ru Программа Сайт Спутник - поиск, сбор, мониторинг информации ...
    2 sitesputnik.ru/About_Me_1.htm Мыльников Алексей Борисович
    3 sitesputnik.ru/Map.htm Карта сайта sitesputnik.ru, построенная автоматически...
    4 sitesputnik.ru/Price.htm Купить программу Сайт Спутник, мониторинг, поиск, сбор...
    5 sitesputnik.ru/Public.htm Программа Сайт Спутник - перечень публикаций и инструкций
    6 sitesputnik.ru/Help/App_Sputnik_Property.htm Сайт Спутник: независимое приложение для работы с недвижимостью
    7 sitesputnik.ru/Help/Bot_InsertContentURL.htm Бот - Bot_InsertContentURL: вставка содержания ссылок или их частей
    8 sitesputnik.ru/Help/Bot_SearchInPageRange.htm Бот - Bot_SearchInPageRange: метапоиск, начиная не с первой страницы
    9 sitesputnik.ru/Help/Bot_SentencesWithKeyWords.htm Бот - Bot_SentencesWithKeyWords: смысловая выжимка из текста
    10 sitesputnik.ru/Help/Cache_Search.htm Site Sputnik: метапоиск в кэше поисковиков по запросу...
    11 sitesputnik.ru/Help/Documents.htm SiteSputnik (СайтСпутник): выдача программы, все документы
    12 sitesputnik.ru/Help/FileForFilesRus.htm Сайт Спутник - сравнительный анализ поисковиков, пакет...
    13 sitesputnik.ru/Help/From.htm FragmentsFromFiles - сохранение фрагментов из файлов...
    14 sitesputnik.ru/Help/l_frame.htm SiteSputnik (СайтСпутник) - процедурный поиск...
    15 sitesputnik.ru/Help/NoUseRub.htm Приложение SiteSputnik: кратко о рубриках и клиентских папках
    16 sitesputnik.ru/Help/Poly_Projects.htm Спутник (Sputnik): Большие проекты, программа для...
    17 sitesputnik.ru/Help/Program-Guide.htm Аргегатор новостей и СМИ - экспериментальная страничка
    18 sitesputnik.ru/Help/r_frame.htm SiteSputnik - что дает эта программа, СайтСпутник...
    19 sitesputnik.ru/Help/Scheduler.htm SiteSputnik: планировщик задач, Scheduler, Сайт Спутник...
    20 sitesputnik.ru/Help/Scheduler_Plus.htm SiteSputnik: планировщик задач - редактирование налету...
    21 sitesputnik.ru/Help/SiteSputnikUnicode.htm SiteSputnik (Сайт Спутник) - языки, переход на Юникод...
    22 sitesputnik.ru/Help/Sputnik_Bot.htm SiteSputnik-Bot: Боты в программе Сайт Спутник
    23 sitesputnik.ru/Help/Sputnik_Log_User.htm Сайт Спутник - независимый доступ к результатам поиска...
    24 sitesputnik.ru/Help/Sputnik_Log-File.htm Site Sputnik: ведение и работа с системными Лог-файлами...
    25 sitesputnik.ru/Help/Sputnik_Proxy.htm Сайт Спутник: Применение Прокси-серверов (Application...)
    26 sitesputnik.ru/Help/Sputnik_Translate.htm Сайт Спутник: мониторинг СМИ, поиск, сбор на нескольких...
    27 sitesputnik.ru/Help/SS3EMail.htm SiteSputnik (СайтСпутник) - работа со ссылками, пакет...
    28 sitesputnik.ru/Help/SS4EMail.htm SiteSputnik (СайтСпутник) - инструменты, настройки...
    29 sitesputnik.ru/Help/SSAdditiv.htm Site Sputnik (Сайт Спутник) - нарушение закона...
    30 sitesputnik.ru/Help/SSAss.htm SiteSputnik - ассемблер: сборка сложного поискового...
    31 sitesputnik.ru/Help/SSAssPetrov.doc SiteSputnik. Ассемблер.
    32 sitesputnik.ru/Help/SSCach.htm Программа Сайт Спутник - поиск в кэш памяти...
    33 sitesputnik.ru/Help/SSComments.htm SiteSputnik Comments: поиск и мониторинг комментариев...
    34 sitesputnik.ru/Help/SSContacts.doc SiteSputnik Contact: поиск контактных данных...
    35 sitesputnik.ru/Help/SSContacts.pdf SiteSputnik Contact: поиск контактных данных...
    36 sitesputnik.ru/Help/SSEMail.htm SiteSputnik (СайтСпутник) пакет запросов, метапоиск...
    37 sitesputnik.ru/Help/SSInvisible.htm Программа SiteSputnik Invisible - поиск в невидимом...
    38 sitesputnik.ru/Help/SSInvisZ1.htm SiteSputnik Invisible (СайтСпутник Deep Web) - невидимый...
    39 sitesputnik.ru/Help/SSMapSite.htm SiteSputnik (СайтСпутник) - построение веб-карты сайта...
    40 sitesputnik.ru/Help/SSMasExIm.htm SiteSputnik (СайтСпутник) - построение веб-карты сайта...
    41 sitesputnik.ru/Help/SSMasNews.htm Site Sputnik (Сайт Спутник) - менеджер подключения...
    42 sitesputnik.ru/Help/SSMaster.htm Site Sputnik (Сайт Спутник) - менеджер подключения...
    43 sitesputnik.ru/Help/SSMonitoring.htm SiteSputnik (СайтСпутник) - Мониторинг поиска...
    44 sitesputnik.ru/Help/SSNewRef.htm Site Sputnik (Сайт Спутник). Поиск новых ссылок...
    45 sitesputnik.ru/Help/SSNews.htm Сайт Спутник - мониторинг СМИ, новостей, социальных...
    46 sitesputnik.ru/Help/SSNewsDir.htm SiteSputnik News. Основа информационного обеспечения...
    47 sitesputnik.ru/Help/SSNewsEF.htm SiteSputnik News. Анализ потоков информации...
    48 sitesputnik.ru/Help/SSNewsFS.htm SiteSputnik News. Индивидуальная настройка сайтов...
    49 sitesputnik.ru/Help/SSNewsIn.doc Мониторинг СМИ и новостных потоков
    50 sitesputnik.ru/Help/SSNishaSearch.htm SiteSputnik (Сайт Спутник) - нишевый поиск (метапоиск)...
    51 sitesputnik.ru/Help/SSOptSupp.htm SiteSputnik (СайтСпутник) - Поиск оптимального...
    52 sitesputnik.ru/Help/SSPackPar.htm SiteSputnik (СайтСпутник) - Поиск оптимального...
    53 sitesputnik.ru/Help/SSPackSim.doc SiteSputnik. Пакеты запросов с параметрами
    54 sitesputnik.ru/Help/SSRoliki.htm SiteSputnik. Пакеты запросов с параметрами
    55 sitesputnik.ru/Help/SSRubriki.htm Программа Сайт Спутник: рубрики в мониторинге...
    56 sitesputnik.ru/Help/SSSeo.htm Программа Сайт Спутник: рубрики в мониторинге...
    57 sitesputnik.ru/Help/SSSiteCo.htm SiteSputnik (СайтСпутник), скачать сайт, деловая...
    58 sitesputnik.ru/Help/SStationP1.htm SiteSputnik (СайтСпутник), скачать сайт, деловая...
    59 sitesputnik.ru/Help/SStationP2.htm SiteSputnik Station. Круглосуточный мониторинг...
    60 sitesputnik.ru/Help/SSUniLang.htm SiteSputnik (СайтСпутник) - универсальный поиск, пакет...
    61 sitesputnik.ru/Help/SSWebSpider.htm Site Sputnik Web Spider. Мониторинг изменений на сайтах...
    62 sitesputnik.ru/Help/Stream.doc SiteSputnik. потоки информации - объединение...
    63 sitesputnik.ru/Help/Telegram_Online.htm SiteSputnik: Мониторинг Телеграм в программе Сайт...
    64 sitesputnik.ru/Help/I/I_PlusScheduler.docx sitesputnik.ru/Help/I/I_PlusScheduler.docx
    65 sitesputnik.ru/Help/I/I_PlusScheduler.pdf Импорт Проектов в работающий Планировщик...
    66 sitesputnik.ru/Help/I/i_SiteSputnik_Local.docx Автор: Алексей Мыльников http://sitesputnik.ru/ Дата...
    67 sitesputnik.ru/Help/I/i_SiteSputnik_Local.pdf SiteSputnik Local. Унифицированный подход
    68 sitesputnik.ru/Help/I/i_SiteSputnik_LocSource.docx Автор: Алексей Мыльников http://sitesputnik.ru/ Дата...
    69 sitesputnik.ru/Help/I/i_SiteSputnik_LocSource.pdf Как сделать источниками сразу несколько файлов из...
    70 sitesputnik.ru/Help/I/i_SiteSputnik_News.docx Как сделать источниками сразу несколько файлов из...
    71 sitesputnik.ru/Help/I/i_SiteSputnik_News.pdf Обновление программы и переход на новые версии
    72 sitesputnik.ru/Help/I/i_SiteSputnik_NewStreams.docx Автор: Алексей Мыльников http://sitesputnik.ru/ Дата...
    73 sitesputnik.ru/Help/I/i_SiteSputnik_NewStreams.pdf Обновление программы и переход на новые версии
    74 sitesputnik.ru/Help/I/i_SiteSputnik_Pro.docx Автор: Алексей Мыльников http://sitesputnik.ru/ Дата...
    75 sitesputnik.ru/Help/I/i_SiteSputnik_Pro.pdf Инструкция по применению программы FileForFiles...
    76 sitesputnik.ru/Help/I/i_SiteSputnik_Text_Projects.docx Автор: Алексей Мыльников http://sitesputnik.ru/ Дата...
    77 sitesputnik.ru/Help/I/i_SiteSputnik_Text_Projects.pdf SiteSputnik News. Текстовая или рукописная форма...
    78 sitesputnik.ru/Help/I/i_SiteSputnik_WebSpider.docx sitesputnik.ru/Help/I/i_SiteSputnik_WebSpider.docx
    79 sitesputnik.ru/Help/I/i_SiteSputnik_WebSpider.pdf Обновление программы и переход на новые версии
    80 sitesputnik.ru/Help/I/JSON_SiteSputnik.pdf SiteSputnik: Конвертация выдачи в формат JSON
    81 sitesputnik.ru/Help/I/JsonAPI.pdf О реализации взаимодействия c API
    82 sitesputnik.ru/Help/I/QueryPostQuery.pdf SiteSputnik : Новые возможности
    83 sitesputnik.ru/Help/I/Statistica_Current.pdf Статистика в программе SiteSputnik
    84 sitesputnik.ru/Files/Avita_010.htm sitesputnik.ru/Files/Avita_010.htm
    85 sitesputnik.ru/Files/Bot_I_C_URL_Res.htm sitesputnik.ru/Files/Bot_I_C_URL_Res.htm
    86 sitesputnik.ru/Files/Buhgalter_01.htm sitesputnik.ru/Files/Buhgalter_01.htm
    87 sitesputnik.ru/Files/CentralBank.htm sitesputnik.ru/Files/CentralBank.htm
    88 sitesputnik.ru/Files/FB_Nejd_Com.htm sitesputnik.ru/Files/FB_Nejd_Com.htm
    89 sitesputnik.ru/Files/FB_Nejd_Msg.htm sitesputnik.ru/Files/FB_Nejd_Msg.htm
    90 sitesputnik.ru/Files/FB_Nejd_Rub.htm sitesputnik.ru/Files/FB_Nejd_Rub.htm
    91 sitesputnik.ru/Files/FB_Search_Com.htm sitesputnik.ru/Files/FB_Search_Com.htm
    92 sitesputnik.ru/Files/FB_Search_Msg.htm sitesputnik.ru/Files/FB_Search_Msg.htm
    93 sitesputnik.ru/Files/FB_Search_Rub.htm sitesputnik.ru/Files/FB_Search_Rub.htm
    94 sitesputnik.ru/Files/Finance_Project.pdf ПРОЕКТ «ФИНАНСЫ»
    95 sitesputnik.ru/Files/Forum_SKPR.htm sitesputnik.ru/Files/Forum_SKPR.htm
    96 sitesputnik.ru/Files/IFax_New_003.htm sitesputnik.ru/Files/IFax_New_003.htm
    97 sitesputnik.ru/Files/IFax_New_006.htm sitesputnik.ru/Files/IFax_New_006.htm
    98 sitesputnik.ru/Files/Intresting_Href.txt sitesputnik.ru/Files/Intresting_Href.txt
    99 sitesputnik.ru/Files/Json_Example.json Пример json
    100 sitesputnik.ru/Files/Onishchenko.htm sitesputnik.ru/Files/Onishchenko.htm
    101 sitesputnik.ru/Files/Rub_Alfa.htm sitesputnik.ru/Files/Onishchenko.htm
    102 sitesputnik.ru/Files/Rub_IndexUS.htm sitesputnik.ru/Files/Onishchenko.htm
    103 sitesputnik.ru/Files/Rub_Kudrin.htm SiteSputnik News: Рубрика Алексей Кудрин
    104 sitesputnik.ru/Files/Rub_Maslenitsa.htm sitesputnik.ru/Files/Rub_Maslenitsa.htm
    105 sitesputnik.ru/Files/Rub_Skolkovo.htm SiteSputnik News: Рубрика Сколково
    106 sitesputnik.ru/Files/Rub_SNGas.htm SiteSputnik News: Рубрика СургутНефтеГаз
    107 sitesputnik.ru/Files/SSComments.htm sitesputnik.ru/Files/SSComments.htm
    108 sitesputnik.ru/Files/SSPro.pdf ИП Мыльников Алексей Борисович
    109 sitesputnik.ru/Files/SSPro.xls sitesputnik.ru/Files/SSPro.xls
    110 sitesputnik.ru/Files/Statistica_5.xlsx sitesputnik.ru/Files/Statistica_5.xlsx
    111 sitesputnik.ru/Files/Statistica_Market.pdf Проект «Финансы» . статистика . «Отчет по рынкам»
    112 sitesputnik.ru/Files/Telefon_28.htm sitesputnik.ru/Files/Telefon_28.htm
    113 sitesputnik.ru/Files/Tw_Zjlot_Com.htm SiteSputnik News+Comments: поток комментариев из Twitter
    114 sitesputnik.ru/Files/Tw_Zjlot_Msg.htm SiteSputnik News: поток сообщений из Twitter
    115 sitesputnik.ru/Files/Tw_Zjlot_Rub.htm SiteSputnik News+Comments: рубрикация сообщений...
    116 sitesputnik.ru/Files/VK_MIFI_Com.htm SiteSputnik News+Comments: поток комментариев...
    117 sitesputnik.ru/Files/VK_MIFI_Msg.htm SiteSputnik News: поток сообщений с ВКонтакте
    118 sitesputnik.ru/Files/VK_MIFI_Rub.htm SiteSputnik News+Comments: Рубрикация сообщений...
    119 sitesputnik.ru/Files/Xlsx-File.xlsx sitesputnik.ru/Files/Xlsx-File.xlsx
    120 sitesputnik.ru/Files/ZBanks.htm SiteSputnik News: Чистый поток Банки
    121 sitesputnik.ru/Files/ZPrognoz.htm SiteSputnik News: Чистый поток Прогнозы аналитиков
    122 sitesputnik.ru/Files/ZPutin.htm SiteSputnik News: Чистый поток Владимир Путин
    123 sitesputnik.ru/Files/ZTVRadio.htm SiteSputnik News: Чистый поток Радио и телевидение
    125 sitesputnik.ru/Show/PiratPO.htm Рубрика - Пиратство в сфере ПО


    (no subject)

    SiteSputnik. Независимый доступ Пользователя к результатам
    SiteSputnik. работы из браузера или других сторонних программ
    Дата выхода публикации - 30.12.2019г.     


    лог-файл для Пользователя, "Спутник Сайт" - программа для мониторинга

    история работы, SiеteSputnik (Site Sputnik) - программная система, сбор информации, мониторинг СМИ

    СМИ, "Сайт Спутник". Мониторинг, программный комплекс

    СоцСети, Спутник. Система. Проектирование и автоматизация</h3>

    Пользовательский лог-файл

    Назначение
    В программе SiteSputnik, начиная с версии 9.8.1 от 30.12.2019г.,

    можно:
    • автоматически вести историю результатов работы,
      сохраняя её в одном файле с простой древовидной структурой;
    • осуществлять доступ к этой структуре в любое время
      из сторонних программ, например, из любого браузера.

    Таким образом:
    • работа Пользователя и работа программы могут быть полностью разделены,
    • Пользователь может начинать анализировать результаты, даже не дожидаясь их полного формирования.

    Полный список результатов работы СайтСпутника приведен на ссылке.


    Подробнее о новом способе работы

    1. Как это реализовано, и как выглядит работа Пользователя

    В процессе выполнения Проектов СайтСпутник все получаемые результаты записывает в одну специальную структуру.

    Будет называть её Пользовательским Лог-файлом.

    В отличии от системного лог-файла, она содержит информацию не о событиях, а о результатах их выполнения.

    Пример структуры приведен на картинке ниже:

    Бесплатно

  • Правее кружочка следует название выполненного или выполняющегося Проекта.

  • При нажатии на кружочек открывается список имён файлов с результатами.

  • При нажатии на имя файла открывается его содержание (один из результатов работы).

  • Для выполняющегося Проекта файлы могут ещё находиться в процессе формирования.



  • 2. Зачем это нужно?

  • Доступ к результатам абсолютно не связан с СайтСпутником, который может быть вообще закрыт.

  • Как отмечалось выше, можно начинать работу с результатами, не дожидаясь их полного формирования.

  • Можно не "роясь" в иерархии Ящиков СайтСпутника, просмотреть результаты в той последовательности, в которой они были получены.

  • В большинстве случаев это удобнее, проще, быстрее.




  • 3. "Настройка"

  • Она осуществляется следующим образом (смотрите на картинке ниже по коричневой стрелочке):

  • скачать

    Можно указать:

  • максимальный размер лог-файла (если он равен 0, то файл не ведётся),
  • папку, в которой он размещается.

  • Имя лог-файла - всегда CommonLog.htm,
  • тип - html-файл, кодировка - юникод (UTF-8),
  • выбор папки - по двойному щелчку мышкой.

  • Открыть лог-файл можно не из СайтСпутника.
  • Из СайтСпутника он открывается в браузере, установленном по умолчанию.
  • Для этого на нижней панели инструментов нажмите на кнопку Лог .


  • Список литературы
    Адрес главной страницы сайта - О программе СайтСпутник.

    Полный список публикаций по программе собран на этой странице.

    Copyright © 2003-2020 ИП Мыльников Алексей Борисович. Все права защищены. E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92

    SiteSputnik. Несколько Проектов в одном или разбиение большого Проекта на части


    СайтСпутник, Спутник Сайт - программа для мониторинга, большие проекты

    SiеteSputnik (Site Sputnik) - программная система, сбор информации, мониторинг СМИ, разбиение проекта на составляющие

    Сайт Спутник. Мониторинг, программный комплекс, разбиение проектов на составляющие, упоминание, скачать бесплатно

    Спутник. Система. Проектирование и автоматизация сбора и мониторинга информации</h3>

    Спутник. Sputnik. Мониторинг соцсетей, социальные сети

    Назначение

    В программе Site Sputnik, начиная с версии 9.7.5 от 20.08.2019

    можно:

  • разбить Большой проект на более мелкие и выполнить его по частям;
  • в одном задании (на одном листе) сформировать несколько "независимых" Проектов и выполнить их.


  • Подробнее об этих возможностях


    1. Разделительная линия

    С точки зрения Пользователя - всё очень просто.

    Для разбиения Большого проекта на Составляющие нужно использовать разделительную линию,
    а именно:

    ^^Проект новый

    Её можно ввести в текст Проекта руками, но лучше выбрать из меню (смотрите по красной стрелочке):

    Проекты

    Тексты, расположенные между разделительными линиями, СайтСпутник рассматривает как самостоятельные Проекты.

    Пример структуры Проекта в текстовом виде:

    ^^Проект новый № 1:
    ...
    Текст первого проекта
    ...
    ...

    ^^Проект новый № 2:
    ...
    Текст второго проекта
    ...
    ...


    ^^Проект новый № 3: К-во=4 Период=30
    ...
    Текст третьего проекта
    ...
    ...


    В этом примере - три проекта, причём третий проект задан с дополнительными параметрами.
    Он выполнится 4 раза с интервалом между каждым выполнением в 30 минут.

    В разделительной линии можно использовать до четырёх параметров (смотрите по зелёной стрелочке).
    Они имеют следующее назначение:
  • К-во - количество выполнений Проекта;
  • Период - временной интервал в минутах между выполнениями;
  • Время - время первого выполнения;
  • Дата - дата первого выполнения.

  • При применении времени без применения даты необходимо учитывать следующее правило:
    если для следующей Составляющей момент начала выполнения раньше, чем для предыдущей, то это переход на следующие сутки.



    2. Разрешённые действия над Большими Проектами.

    Можно:
    • вызывать их из Планировщика</a>,
    • импортировать в Планировщик</a>,
    • выполнять из папки</a>,
    • выполнять многократно</a>,
    • вызывать из командной строки, из bat и из cmd-файлов</a>.

    Для каждой Составляющей можно применить свои:
    • статические или динамические Рубрики</a>,
    • статические или динамические Ящики Проектов</a>,
    • языки перевода и "родные" языки</a>,
    • файлы с параметрами</a>,
    • Bot-программы</a>.

    Сами Составляющие могут быть разного типа:
    • поиск и сбор информации,
    • мониторинг новостых потоков,
    • мониторинг обновлений на страницах и сайтах,
    • мониторинг обновлений по пакету запросов.

    • Их можно размещать и в них можно использовать файлы-вставки.

    Практически нет никаких ограничений при применении Больших проектов.


    Список литературы
    Адрес главной страницы сайта - О программе СайтСпутник.

    Полный список публикаций по программе собран на этой странице.

    Copyright © 2003-2019 ИП Мыльников Алексей Борисович. Все права защищены. E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92

    SiteSputnik-Bot: Боты в программе СайтСпутник

    Разработка и применение Бот-программ,
    Боты (Bots) как расширение программы СайтСпутник
    Автор
    Алексей Мыльников
    Дата выхода публикации - 16.05.2019г.     

    искать в интернете, bots Спутник-бот "Поиск в интернете автоматизровать" - бот-программа бот "Спутник", мониторинг, соцсети, бот

    СайтСпутник, Спутник Сайт) - программа поиска информации на нескольких языках, многоязычный сбор информации,скачать</h1>

    SiteSputnik (Site Sputnik) - бот-программная система сбора информации, мониторинг СМИ, на нескольких ботах

    Сайт Спутник. Site Sputnik. Мониторинг, программный комплекс бот, упоминание роботов</h2>

    Спутник. Система. Боты

    Спутник. Sputnik. Мониторинг, боты: СМИ, соцсети.

    Назначение ботов в программе СайтСпутник
    Технология их разработки и применения на "пальцах"


    О назначении ботов - одним предложением
    Реализация практически любых новых функкциональных возможностей программы СайтСпутник -
    самостоятельно, независимо от разработчика программы.

    Доступно в программе SiteSputnik, начиная с версии 9.7.1 от 16.05.2019.

    Выражаю благодарность Дмитрию "MOS" за конструктивный диалог, состоявшийся в процессе разработки данной функции программы.

    Пример разработки новой функции своими силами

    В СайтСпутнике, например, нет следующей функции, которая в некоторых случаях может быть весьма полезной:
    отправка новых ссылок, найденных при очередном выполнении Проекта, в заданную папку.

    В качестве демонстрационного Проекта возьмем следующий простой Проект:
    наблюдение за появлением новых ссылок на трёх первых страницах выдачи Яндекса по запросу: Дмитрий Медведев.

    Внешний вид этого Проекта представлен на картинке ниже:

    Бот

    Технология разработки новой функции СайтСпутника своими силами такова.

    Создаём текст Бота (пояснения к нему смотрите ниже) и
    помещаем его в пакетный bat-файл с именем, например: "Файлы\Medvedev&Yandex.bat":

    chcp 1251>nul
    mkdir "C:\NewsMedvedev"
    copy "{folder}\Экспорт-новые-txt.txt" "C:\NewsMedvedev"

    Пояснение:
    1-я строка - это вспомогательная команда для работы с русской кодировкой в bat-файле (это особенность синтаксиса bat-файлов; так надо).
    2-я строка - это команда Windows, создающая на диске "C:\" папку "NewsMedvedev" (если папка существует, то эту команду можно опустить).
    3-я строка - это команда Windows, копирующая файл "{folder}\Экспорт-новые-txt.txt" в папку "C:\NewsMedvedev".
    Параметр {folder} по умолчанию содержит полное имя папки с результатами работы программы СайтСпутник.
    Наглядный пример такой папки приведен на картинке ниже:

    Бот

  • В коричневую рамочку на картинке обведён файл "Экспорт-новые-txt.txt".
  • Он как раз и содержит список новых ссылок, которые ни разу не были найдены ранее при выполнении данного Проекта.
  • Именно его в третьей строке Бота прописано скопировать в папку "C:\NewsMedvedev".
  • (Все документы, создаваемые СайтСпутником, а их более 60 видов, перечислены на ссылке выдача СайтСпутника.)

    Теперь осталось только вызвать из Проекта этот Бот в тот момент, когда список с новыми ссылками сформирован.

    Для этого:
  • выбираем Бот из меню (большая красная стрелочка на картинке ниже),
  • прописываем ему фактические параметры, если они есть (синяя стрелочка),
  • прописываем ему "Стартовую площадку" - "После открытия всех Источников" (зелёная стрелочка).

  • "Стартовая площадка" определяет как раз тот момент, когда Бот следует выполнить.

    Полный текст Проекта состоит из двух строк и имеет следующий вид:

    Бот

    Не набирайте вручную с клавиатуры имена ботов, названия стартовых площадок, параметры, получающие значения по умолчанию, -
    используйте для этого меню. Руками требуется набирать только фактические значения параметров, если они есть.

    Усовершенствуем Бот.

    Если Бот будет выглядеть так:
    chcp 1251>nul
    mkdir "{AnyDir}"
    copy "{folder}\Экспорт-новые-txt.txt" "{AnyDir}"
    (мы сами ввели в него произвольный параметр, названный {AnyDir} ),

    а обращение к нему в Проекте, например, так:
    Бот

    то мы может применить разные имена папок в разных Проектах, указывая их при обращении к Боту.

    Важно
  • Это был самый простой Бот, на примере которого продемонстрирована технология реализации новой функции СайтСпутника своими силами.
  • В данном крайнем случае обошлось без программирования - достаточно было команд Windows.


  • О назначении ботов - одним абзацем
  • Расширение функциональных возможностей СайтСпутника за счет применения:
        •• уже существующего программного обеспечения широкого профиля,
        •• новых программ, разработанных специально для СайтСпутника.
  • Привлечение к разработке новых функций СайтСпутника (к разработке ботов):
        •• сторонних программистов,
        •• продвинутых пользователей.
  • Обеспечение их независимости от разработчика СайтСпутника.
  • Доступность применения ботов, поддерживающих новые функции, обычным Пользователям.


  • Пример новой функции c применением программирования

    В СайтСпутнике, например, нет следующей функции:
    - определение новостей и сообщений, попавших хотя бы в одну Рубрику,
    - оформление из них отдельного файла (полнотекстовой новостной ленты),
    - отправка этой новостной ленты в заданную локальную папку.

    Среди команд Windows и среди множества других готовых программ нет программы, которая умеет делать это.

    "Берём" любой язык программирования, пишем такую программу сами и используем её в Боте.

    В отличии от первого примера - это другой крайний случай, самый сложный, но и самый мощный - запрограммировать можно практически любую обработку информации.

    Исходный текст программы, реализующей рассматриваемую новую функцию, приведен ниже.
    При необходимости сделаю к нему пояснения персонально или на форуме.



    Программа написана на языке программирования Delphi - это "современный Pascal", который часто используется при изучении основ программирования.

    Транслируем программу и exe-модуль помещаем, например, в папку "Exe\Bots" под именем "Bot_NewsFromRubricsOnly.exe".

    Обращение к этому боту (непосредственно к написанной нами программе) из Проекта может быть, например, таким:

    Боты

    Пояснение:
  • Параметр {folder} - это папка с результами работы СайтСпутника, в ней есть файл "Чистый поток.htm" (обведен синей рамочкой на одной из картинок выше),
  • Бот принимает этот файл через первый параметр - смотрите в исходном тексте программы 10-ую строку: "fn:=ParamStr(1)+'\Чистый поток.htm';".
  • Параметр {DeskTop}\Потоки - это папка "Потоки", размещённая на Рабочем столе Вашего компьютера, которую Бот использует для отправки в неё результата своей работы.
  • Стартовая площадка "После формирования всех рубрик и потоков" означает, что вызов бота осуществится в SiteSputnik News после выполнения соответствующих действий.

  • Напоминание: используйте меню при прописке Ботов в Проектах.

    Дополнительные замечания:
  • по описанной выше технологии к СайтСпутнику можно "прикрутить" самые разнообразные программы,
  • важно, чтобы к таким программам можно было обратиться из командной строки,
  • разработка ботов доступна программистам или продвинутым Пользователям, а не только разработчику СайтСпутника,
  • применение Ботов доступно обычным Пользователям.

  • О ботах СайтСпутника - общие положения


    Основные понятия:
  • При выполнении Проектов программа Сайт Спутник может запускать бот-программы.
  • Бот-программы могут быть запущены с нескольких стартовых площадок (см. ниже) СайтСпутника.
  • Они (боты) могут быть запущены как с ожиданием окончания их работы, так и без него.
  • Ботам может быть передана информация, добытая СайтСпутником.
  • Они (Боты) могут переработать информацию и передать её "обратно" в программу.
  • Боты могут поставить "свою" информацию СайтСпутнику.


  • Бот-программа:
  • Боты могут быть созданы как:
        •• bat-файлы-с-параметрами,
        •• cmd-файлы-с-параметрами,
        •• exe-файлы-с-параметрами.
  • В качестве программ, входящих в состав Бота, может быть использован любой исполняемый код, например:
  •     •• любые команды операционной системы,
        •• любые готовые программы, запускаемые из командной строки,
        •• программы на любом языке программирования, разработанные независимыми программистами для СайтСпутника.
  • Никакие API со стороны программы СайтСпутник не используются.
  • Обмен данными между Ботами и СайтСпутником осуществляется через параметры ботов.


  • Параметры ботов по умолчанию:
  • С разных стартовых площадок СайтСпутника, ботам доступны разные параметры.
  • Перечень основных параметров следующий.
  •     •• URL - адрес Источника или целевой ссылки, выбираемой из Источника (в зависимости от стартовой площадки).
        •• IN - полное имя файла, в котором СайтСпутник сохранил контент Источника, или целевой ссылки из Источника.
        •• OUT - по умолчанию получает то же значение что и параметр IN, но используется, как правило, для удобства, для явного указания имени стороннего файла, хотя это можно сделать и через произвольный параметр (см. ниже).
        •• Folder - полное имя папки, в которую СайтСпутник складывает добытые результаты (промежуточные и конечные).
            Это очень важный параметр. Из него Бот может получить, а затем обработать и вернуть в СайтСпутник:
            •• Списки адресов или сниппетов всех целевых ссылок, полученных при выполнении Проекта.
            •• Списки адресов или сниппетов только новых целевых ссылок, только новых сайтов, только новых доменов 3-го уровня.
            •• Статистические данные по источникам, рубрикам, доменам.
            •• Содержание Рубрик, создаваемых СайтСпутником.
            •• Практически любой из 60 документов из выдачи СайтСпутника,
        •• Alias - полное имя текущего ящика (папки, в которой выполняется Проект).
        •• Box - последнее имя из полного имени текущего ящика.
        •• Number - порядковый номер Проекта, выполняемого в текущем ящике.
        •• DeskTop - полное имя папки Рабочего стола компьютера.
        •• MainDir - полное имя корневой папки программы СайтСпутник.
        •• Date - текущая дата.
        •• Time - текущее время.
        •• Wait=Yes - применяется, если нужно дождаться завершения работы бота, иначе явно примените Wait=No.
        •• Quote=Yes - обеспечивает автоматическую расстановку двойных кавычек для фактических значений параметров.
    Если Вы собираетесь расставить кавычки сами, то явно примените Quote=No.

        •• Произвольный параметр - одно произвольное слово, взятое в фигурные скобки, - по умолчанию получает пустое значение.

  • Один и тот же параметр в тексте Бота может быть применен несколько раз.
  • Параметры по умолчанию могут быть применены при назначении фактических значений параметров,
         (смотрите, например, ниже в демонстрационном примере Проекта: Folder={IN} ).
  • Как уже сообщалось выше: Боты могут изменить полученную через параметры информацию и вернуть её "обратно" в СайтСпутник.


  • Фактические значения параметров:
  • Параметрам ботов можно явно присвоить необходимые фактические (конкретные) значения, например:
  •     •• Folder="D:\Рабочая папка\Shop",
        •• out="D:\Рабочая папка\Shop\FilName.html"
        •• Слово1=2019


    Стартовые площадки для ботов

    Стартовые площадки служат для запуска размещенных на них Ботов.
    В настоящей реализации СайтСпутника их девять.
    Боты могут быть выполнены:
    1. В самом начале работы Проекта,
    2. Перед открытием страницы Источника,
    3. После открытия страницы Источника,
    4. После открытия всех Источников, (эти четыре площадки доступны в SiteSputnik Pro)
    5. Перед рубрикацией и анализом конкретной ссылки,
    6. Во время рубрикации и анализа конкретной ссылки-GoBot:</i>,
      а именно, в моменты выполнения операции:
      GoBOT:<имя и параметры Бот-программы>,
    7. После рубрикации и анализа конкретной ссылки,
    8. После формирования конкретной рубрики,
    9. После формирования всех рубрик и потоков (в самом конце работы Проекта в SiteSputnik News).

    10. Десятая площадка находится за рамками выполнения Проекта (смотрите на картинке ниже по красной стрелочке):

      Бот

      Эта площадка служит для ручного запуска Ботов.

      Важно:
      Выполняя Проект, СайтСпутник последовательно проходит через все страртовые площадки и проверяет их содержание.

    Ещё раз, сделав небольшие добавления, повторим материал, приведённый выше в данной публикации.

    Создание Проектов, использующих Боты

  • Боты, стартующие из выполняющегося Проекта, выбираются и прописываются в нём из меню
        (смотрите по красной стрелочке на картинке ниже).
  • Далее указываются фактические значения параметров Бота: те, которые отличаются от принимаемых по умолчанию
        (смотрите по синей стрелочке).
  • Затем указывается стартовая площадка, с которой начинает работу Бот
        (смотрите по зелёной стрелочке).

  • Бот

    Для ботов, задействованных в операторе GoBOT:, стартовая площадка не указывается.
    Эти боты прописываются в Правилах попадания в Рубрики и могут быть многократно выполнены в процессе Рубрикации (в процессе анализа конкретных целевых ссылок) и повлиять на её результат, в частности, можно полностью запрограммировать свои практически любые условия попадания новости в Рубрику.

  • Боты могут быть прописаны сразу на нескольких площадках.
  • На одной площадке можно прописать несколько ботов - каждый на отдельной строке.
  • В Боте можно вызвать другой Бот.
  • Боты, размещенные на конкретной стартовой площадке, запускаются в момент её достижения СайтСпутником.
  • Боты, запущенные с параметром Wait=Yes, выполняются последовательно.
  • По умолчанию тексты Ботов помещаются в папку Файлы, в приведенном ниже примере они выбраны именно из неё, но размещены Боты могут быть в любой папке.


  • Пример Проекта с несколькими запусками одного и того же Бота

    Берём следующий текст демонстрационного Бота:
    chcp 1251>nul
    mkdir {desktop}\{out}
    copy "{folder}{БэкСлэш}{ИмяФайла}" {desktop}\{out}
    Программы, задействованные в нём, принадлежат к командам Windows. Их две:
    mkdir - создает папку на диске, если она не существует,
    copy  - копирует файл в указанное место (в папку),
    • chcp 1251>nul - вспомогательная команда для работы с русской кодировкой.

    Формальных параметров у Бота пять: {desktop}, {out}, {folder}, {БэкСлэш} и {ИмяФайла}, два из которых используются дважды.
    Параметры {БэкСлэш} и {ИмяФайла} относятся к произвольному виду - "придуманы" нами.
    Текст Бота размещаем в СайтСпутнике в папке Файлы в файле Скопировать на Рабочий стол.bat.

    Используя три разные стартовые площадки и три разных набора фактических параметров, трижды задействуем этот бот в Проекте:
    Медведев и Единая Россия || News=2

    [Скопировать на Рабочий стол.bat] out=Для ссылок ИмяФайла=Экспорт-новые-txt.txt БэкСлэш=\ ^^После открытия всех Источников

    [Скопировать на Рабочий стол.bat] out=Для Рубрик ИмяФайла="Единая Россия.htm" БэкСлэш=\ ^^После формирования всех рубрик и потоков

    Рубрика://Партии/Единая Россия
    (Единая /1 Pоссия | 'ЕР' | 'ЕДРО') (Дмитрий /2 Медведев) GoBOT:Скопировать на Рабочий стол.Bat out=Для GOBOT Folder={IN}
    Цвет используется исключительно для более наглядного восприятия текста Проекта.

    Пояснения к тексту Проекта:

  • В первой строке Проекта</b></u> задан поиск в новостях по запросу: Медведев и Единая Россия.
  • Вo второй его строке прописан старт Бота с площадки "После открытия всех Источников", то есть, в тот момент, когда СайтСпутник сформирует всю выдачу, создаваемую на этапе поиска и сбора ссылок и сниппетов.
  •      • Явно заданы фактические значения трех параметров:
            • out=Для ссылок
            • ИмяФайла=Экспорт-новые-txt.txt (откуда взялось это "коричневое" имя поясняется ниже)
            • БэкСлэш=\
         • Два параметра получают фактические значения по умолчанию:
            • DeskTop=<имя папки Рабочего стола Компьютера> (допустим это "C:\Users\AB\Desktop")
            • Folder=<имя папки с результатами работы СайтСпутника>(допустим это "D:\AB\FileForFiles\Internet Files\Боты")

    Скрин содержания папки с результатами работы СайтСпутника повторно приведен на картинке ниже (обратите внимание на коричневую стрелочку, показывающую на файл Экспорт-новые-txt.txt, содержащий список адресов только новых ссылок, найденных при текущем выполнении Проекта относительно всех предыдущих его выполнений). Это демонстрация того, как Боту передаётся добываемая СайтСпутником информация:

    Бот

    Заменив формальные параметры на их фактические значения (это сделает СайтСпутник, достигнув данной стартовой площадки), получим Бот:
    chcp 1251>nul
    mkdir "C:\Users\AB\Desktop\Для ссылок"
    copy "D:\AB\FileForFiles\Internet Files\Боты\Экспорт-новые-txt.txt" "C:\Users\AB\Desktop\Для ссылок"
    Этот бот создаст папку "C:\Users\AB\Desktop\Для ссылок" при помощи команды mkdir и скопирует в неё файл "D:\AB\FileForFiles\Internet Files\Боты\Экспорт-новые-txt.txt" при помощи команды copy.
  • В принципе, "Отправка в папку списка адресов только новых ссылок", - это простое программное расширение функциональных возможностей СайтСпутника, которое может быть сделано без участия разработчика и независимо от него.
  • На месте mkdir и copy могут стоять другие готовые программы или программы, написанные независимыми программистами.

  • Бот Из третьей строки Проекта сделает аналогичную работу, но с другими файлами и папками и в другой момент времени. Он отправит содержание Рубрики "Единая Россия" в папку "Для Рубрик", размещённую на Рабочем столе, и сделает это "После формирования всех рубрик и потоков". Отличие этого применения бота от первого применения: в значениях фактических параметров и в стартовой площадке.


  • В пятой строке Проекта прописан многократный вызов этого же бота "Во время рубрикации и анализа ссылок (GoBOT:)".
  • С этой стартовой площадки Бот может быть вызван несколько раз.
  • Он вызывается для тех ссылок, содержание которых удовлетворяет "логическому правилу", в котором участвует Бот.
  • В нашем случае это содержание тех ссылок, в которых одновременно упомянута и "Единая Россия", и "Дмитрий Медведев".
  • Бот скопирует файлы с этим содержанием ссылок в папку "Для GOBOT", размещённую на Рабочем столе.
  • Этот Бот размещён в правиле динамической Рубрики, имя которой набрано в четвертой строке Проекта.


  • Практический совет:

    Открыть папку, содержащую основные результаты работы программы СайтСпутник, можно так:
      - Встаньте на какую-нибудь строку нижней таблички в окне СайтСпутника,
      - нажмите на правую кнопку мышки,
      - выберите пункт "Открыть папку файла".
    Скрин такой папки приведен выше.

    В принципе,
    с информацией, попадающей в выдачу СайтСпутника, Вы можете сделать всё, что сумеете сами, или что умеет сделать с ней стороннее программное обеспечение.


    Список литературы
    Адрес главной страницы сайта - О программе СайтСпутник.

    Полный список публикаций по программе собран на этой странице.

    Copyright © 2003-2019 ИП Мыльников Алексей Борисович. Все права защищены.
    E-mail: 1a@sitesputnik.ru, +7(8442) 73 71 23, +7(905) 3 92 97 92

    SiteSputnik: Автозамены до и после Рубрикации или Перевода

    В программе SiteSputnik, начиная с версии 9.6.9 от 26.03.2019, автоматически налету можно:

    • Исправлять синтаксические и другие ошибки, допущенные в контенте создаваемых новостных лент.
    • Удалять или заменять незначащую информацию, размещённую как вначале или окончании контента, так и в его середине.
    • Удалять, заменять или вставлять в контент "нужные" слова, фразы, целые фрагменты текста.
    • Зачищать тексты от "нежелательной" информации.
    • Размещать в тексте "нужную" информацию.
    • В принципе, можно изменить контент до "неузнаваемости", например, сделать из "мухи" "слона" в прямом и переносном смысле.
    • Прятать от Переводчика или Рубриктора необходимые слова, фразы, целые фрагменты текста.
    • Самому переводить некоторые фразы, названия, аббревиатуры или другие части контента, которые Переводчик переводит не правильно.
    • Направлять в нужные новостные ленты нужную информацию, которой в них быть не должно, соотвественно, прописывать "обратную" операцию.
    • Описанное выше выполняется не только над контентом отдельной ссылки, а "массово", а именно: над динамически создаваемыми потоками информации на заданные темы.
    • Такие "отредактированные" потоки могут быть созданы на самых разных языках.
    • Возможны другие варианты применения редактора, - работы в данном направлении будут продолжены.

    Основой данного инструмента служат Правила замены, которые применяются над контентом новостей и сообщений, точнее целых тематических новостных лент:
    • до выполнения Рубрикации или Перевода
    • после Рубрикации или Перевода

    Подробнее на ссылках:
    - http://forum.razved.info/index.php?t=6130
    - http://sitesputnik.ru/Help/SSRubriki.htm#pp50000

    Взгляд на весь интернет с позиции другого языка

    Взгляд на весь интернет с позиции другого языка

    Для того, чтобы сделать всё о чем написано в предыдущем сообщении, но с позиции любого другого языка, поддерживаемого переводчикои Google, достаточно просто выбрать другой язык в качестве "родного языка" Проекта (русский язык принимается в качестве "родного" по умолчанию). Как это делается - смотрите на картинке ниже:



    Если Вы, например, выберите в качестве "родного" венгерский язык, то:

    • сформированное Вами задание (проект) на венгерском языке,

    • автоматически переведётся на группу интересующих Вас иностранных языков и выполнится,

    • полученные на разных языках результаты автоматически переведутся "обратно" на венгерский язык.


    Другими словами, практически весь интернет Вы увидите на венгерском языке.

    На всякий случай для большей ясности сделаю утверджение: Рубрики (правила попадания в рубрики) в данном случае нужно составлять, конечно же, на венгерском языке, потому что "обратный" перевод на венгерский язык с языков, на которых Вы спрашивали Интернет, производится до Рубрикации.

    Доступно, начиная с SiteSputnik 9.6.8 от 18.03.2019 г.

    Практически весь интернет становится русскоязычным, применение переводчика в программе СайтСпутник

    Дата выхода публикации - 29.01.2019г.   
    Суть новой функции программы

    Одним предложением о том, что написано в заголовке:
    • сформированное Пользователем задание (проект) на русском языке,
    • автоматически переводится на группу иностранных языков и выполняется,
    • полученные результаты автоматически переводятся "обратно" на русский язык.

    Другими словами, практически весь интернет Пользователь видит на русском языке.

    Подробнее, в двух предложениях:
      1) используя SiteSputnik Pro (самую простую комплектацию программы SiteSputnik), можно:
    • составить несколько запросов на русском языке к нескольким источникам информации,
    • автоматически перевести каждый из них на несколько языков, выбранных Вами,
    • при желании ознакомиться и подправить машинный перевод руками,
    • выполнить поиск и сбор информации на всех выбранных языках,
    • получить объединеный результат, переведенный "обратно" на русский язык.

      2) Используя SiteSputnik Pro+News или более продвинутую комплектацию программы, можно выполнить мониторинг и анализ информации, а именно:
    • найденные ссылки автоматически скачать и перевести с исходного языка на русский язык,
    • определить на русском языке дополнительные критерии, которым должны удовлетворять ссылки,
    • по каждому критерию получить полнотекстовые русскоязычные ленты из содержания ссылок.

    • Дополнительный сведения:
    • для перевода на иностранные языки и "обратно" применяется Переводчик Google,
    • разработано по заявке Дмитрия Борисовича "MOS",
    • доступно в программе Site Sputnik, начиная с версии 9.6.6 от 29.01.2019,
    • при разработке данной функции использовались методы естественного интеллекта.


    Каким способом это достигается
    1. Допустим, что нужно собрать информацию: на заданную тему:
    1. по четырем запросам:
      • Новости нефтегазового сектора в мире
      • мировой рынок нефти и газа
      • сжиженный углеводородный газ анализ и прогнозирование
      • перспективы сланцевой нефти и газа
    2. на 12 языках:
      • Русский язык • Испанский • Норвежский
      • Азербайджанский   • Итальянский   • Турецкий
      • Английский • Китайский • Французский
      • Арабский • Немецкий • Японский
    3. используя 4 источника информации: • Google
      • Yahoo
      • Yandex
      • Google.Новости
    2. Открываем новый Проект в программе СайтСпутник и формируем задание:
    1. Выбираем нужные языки:
        много языков
        Как обратиться к этой картинке показано ниже в разделе "Детали работы в рамках SiteSputnik Pro". Сейчас не отвлекаемся на детали.

      • Вводим запросы и указываем Источники, в которых они будут выполняться: много языков
      • Нажимает на кнопку "Совместно" и получаем следующее готовое задание (готовый Проект), сгенеригованный программой СайтСпутник: много языков Выше приведено табличное представление задания - это "живое" окно из программы SiteSputnik. Его можно перевести к тестовому виду, который будет выглядеть так:
        ^^+++Файл с языками\Файлы\12 языков.lng ^^Здесь список выбранных 12 языков
        Новости нефтегазового сектора в мире || Google=3 ^^Язык Русский
        Dünyadakı neft və qaz sektorunun xəbərləri || Google=3 ^^Язык Азербайджанский
        News of the oil and gas sector in the world || Google=3 ^^Язык Английский
        أخبار قطاع النفط والغاز في العالم || Google=3 ^^Язык Арабский
        Noticias del sector del petróleo y gas en el mundo. || Google=3 ^^Язык Испанский
        Notizie del settore petrolifero e del gas nel mondo || Google=3 ^^Язык Итальянский
        世界石油和天然氣部門的消息 || Google=3 ^^Язык Китайский (традиционный)
        Nachrichten aus dem Öl- und Gassektor der Welt || Google=3 ^^Язык Немецкий
        Nyheter om olje- og gassektoren i verden || Google=3 ^^Язык Норвежский
        Dünyadaki petrol ve gaz sektörünün haberleri || Google=3 ^^Язык Турецкий
        Nouvelles du secteur du pétrole et du gaz dans le monde || Google=3 ^^Язык Французский
        世界の石油とガスセクターのニュース || Google=3 ^^Язык Японский
        мировой рынок нефти и газа || Yahoo=2 ^^Язык Русский
        Qlobal neft və qaz bazarları || Yahoo=2 ^^Язык Азербайджанский
        global oil and gas market || Yahoo=2 ^^Язык Английский
        سوق النفط والغاز العالمي || Yahoo=2 ^^Язык Арабский
        mercado global de petróleo y gas || Yahoo=2 ^^Язык Испанский
        mercato globale del petrolio e del gas || Yahoo=2 ^^Язык Итальянский
        全球石油和天然氣市場 || Yahoo=2 ^^Язык Китайский (традиционный)
        Weltmarkt für Öl und Gas || Yahoo=2 ^^Язык Немецкий
        globalt olje- og gassmarked || Yahoo=2 ^^Язык Норвежский
        küresel petrol ve gaz pazarı || Yahoo=2 ^^Язык Турецкий
        marché mondial du pétrole et du gaz || Yahoo=2 ^^Язык Французский
        世界の石油とガスの市場 || Yahoo=2 ^^Язык Японский
        сжиженный углеводородный газ анализ и прогнозирование || Yandex=1 ^^Язык Русский
        maye neft analizi və proqnozlaşdırılması || Yandex=1 ^^Язык Азербайджанский
        liquefied petroleum gas analysis and forecasting || Yandex=1 ^^Язык Английский
        تحليل غاز البترول المسال والتنبؤ || Yandex=1 ^^Язык Арабский
        Análisis y pronóstico de gas licuado de petróleo. || Yandex=1 ^^Язык Испанский
        analisi e previsione di gas di petrolio liquefatto || Yandex=1 ^^Язык Итальянский
        液化石油氣分析與預測 || Yandex=1 ^^Язык Китайский (традиционный)
        Analyse und Prognose von Flüssiggas || Yandex=1 ^^Язык Немецкий
        flytende petroleumsgassanalyse og prognoser || Yandex=1 ^^Язык Норвежский
        sıvılaştırılmış petrol gazı analizi ve tahmini || Yandex=1 ^^Язык Турецкий
        analyse et prévision des gaz de pétrole liquéfiés || Yandex=1 ^^Язык Французский
        液化石油ガス分析と予測 || Yandex=1 ^^Язык Японский
        перспективы сланцевой нефти и газа || News->GoogleNew=4 ^^Язык Русский
        şəffaf neft və qaz perspektivləri || News->GoogleNew=4 ^^Язык Азербайджанский
        prospects for shale oil and gas || News->GoogleNew=4 ^^Язык Английский
        آفاق النفط الصخري والغاز || News->GoogleNew=4 ^^Язык Арабский
        perspectivas para el gas de esquisto y el gas || News->GoogleNew=4 ^^Язык Испанский
        prospettive per lo shale oil e gas || News->GoogleNew=4 ^^Язык Итальянский
        頁岩油氣的前景 || News->GoogleNew=4 ^^Язык Китайский (традиционный)
        Aussichten für Schieferöl und -gas || News->GoogleNew=4 ^^Язык Немецкий
        utsiktene for skifer olje og gass || News->GoogleNew=4 ^^Язык Норвежский
        şeyl yağı ve gaz için umutları || News->GoogleNew=4 ^^Язык Турецкий
        perspectives pour le pétrole et le gaz de schiste || News->GoogleNew=4 ^^Язык Французский
        シェールオイルとガスの見通し || News->GoogleNew=4 ^^Язык Японский
        Перед выполнением любое задание можно отредактировать произвольным образом, например: • можно подправить машинный перевод, • можно добавить свои произвольные запросы на конкретном языке, • можно применить другие Источники.
      Коротко о наблюдении за появлением новых ссылок на заданную тему
      Выполнив очередной запуск сформированного выше задания, получим, в частности, следующие результаты:
      1. В списке "Ссылки новые":
          • те и только те ссылки, которые ни разу не были найдены ни в одном из предыдущих запусков.    К слову будет сказано: без средств атоматизации такое "вычислить" практически невозможно.
      2. В списке "Сайты новые":
          • те и только те сайты (домены 2-го уровня), которые ни разу не встретились ранее в адресах ссылок.
      3. В списке "Домены 3-го уровня новые":
          • те и только те домены 3-го уровня, которые ни разу не встретились ранее в адресах ссылок.
      4. В списке "Объединение":
          • все уникальные ссылки, найденные при выполнении данного конкретного запуска задания.
      Детали работы в рамках SiteSputnik Pro
      • Можно заблаговременно создавать группы языков, на которые требуется сделать перевод: много языков
      • Можно это сделать непосредственно при формировании Проекта (смотрите по зелёной стрелочке на картинке ниже): много языков
      • На картинке выше (смотрите по красной стрелочке) показано как можно прописать в Проекте группу языков, подготовленную заранее.
      • Параметр "Не переводить сниппеты" (коричневая стрелочка) бывает востребован, например, при мониторинге информации, когда интересен перевод не сниппета, а содержания ссылки, размещенной в сниппете.
      • Если в Проекте Вы пропишите несколько групп языков, например, следующие пять:
          • Романская группа, • Языки бывшей Югославии, • Скандинавская подгруппа, • Языки стран ОПЕК, • Идиш и Иврит, -
        то запросы будут переведены на объединении множеств языков из этих групп и выполнены.
      • Сформированные Вами группы могут иметь любые наименования и любой состав (придерживаться науке языковедение не обязательно).
      • Если Вам не нужны в Проекте запросы на русском языке, то уберите галочку, стоящую перед ним (см. первую картинку в данной публикации, на которой галочка установлена).
      • Допускается применение переводчика в Проектах, вызываемых и из Планировщика, и из bat-файлов, и в Проектах, созданных динамически.
      • Если Вы хотите в выдаче программы СайтСпутник видеть название языка, при применении которого была найдена каждая конкретная ссылка, то в "Настройках" на вкладке "Pro" установите галочку для параметра:     "Приписать Источник, Запрос и Комментарии к сниппету (ссылке)". Применение данного параметра рекомендуется.
      Работа в рамках SiteSputnik Pro+News и выше:
      • С точки зрения Пользователя всё как в обычном SiteSputnik Pro+News, а именно:
        Рубрика://Люди/Путин
        !Путин* /1 (Владимир | Президент)

        Рубрика://Гибридные войны/Санкции
        Санкции
          • Вы прописываете в Проекте Рубрики на Русском языке, например, динамические рубрики,    например, такие:
          • СайтСпутник в автоматическом режиме переведёт содержание (контенты) найденных ссылок из списка "Объединение" или "Ссылки новые" с исходного языка на русский язык и разложит их по Рубрикам, согласно правилам попадания в Рубрики (согласно критериям как было написано выше в первой части настоящей публикации).
          • то есть, Вы будете просматривать полнотекстовую русскоязычную выдачу и при необходимости перейдёте по ссылке к оригиналу на исходном языке, а не наоборот.
      • Если в качестве Источников Вы используете не запросы на русском языке, а "безъязычные" Источники, например, RSS-потоки или другие страницы, то СайтСпутник автоматически распознает исходный язык содержания ссылок, скачанных с таких Источников, и выполнит перевод текстов на русский язык. Применимо при мониторинге новостных потоков, созданных на самых разных языках.
      • Если в качестве Источников Вы обращаетесь к основным поисковикам или встроенным в сайты поискам, то рекомендую в Настройках (в настоящей "свежей" реализации) на вкладке +News установить галочку у параметра:     "Не выделять значимый контент ссылки (оставить его как есть)".
      • Развитие и совершенствование переводчика Google положительно скажется на качестве результатов.
      • В будущем предполагается реализация в программе СайтСпутник взаимодействия с другими переводчиками.
      Список литературы
      Адрес главной страницы сайта - О программе СайтСпутник. Полный список публикаций по программе собран на этой .