> Вон кто то архив old.pc спас

Я его не спас - я его восстановил :)

Сохранил HTML из веб-архива (пока он ещё живой был) сайта p2.51t.ru и оттуда вбил все тексты в текстовые файлы с изначальными msgid и примерными временами (с точностью до минут - ну может таймзоной ошибся)...

А в 2022 году я не знал о существовании этого самого p2.51t.ru хоть и читаю idec.talks с августа 2021 года (видимо оно тут не пролетало)

ну я :)

ну дык если фетч уже и так бегает чего бы туда экспериментально не добавить ещё одну эху то? ;)

> кстати, можешь тянуть с меня idec.talks

ага - ок
готово :)

А фетчить обратно кто будет? ;)
Хотя бы с ping-a, а лучше и оттуда, и от меня,
а то там люди уже ответы пишут :)

т.е. всё наоборот конечно же :)
927 Mbps down
353 Mbps up
это для внешнего мира мой up будет down ;)

Маршрутизатор поменян, порты зафорвардены по старому - вроде всё работает :)

Теперешние характеристики гигабитного кабеля:
927 Mbps up
353 Mbps down

Таверна через веб вот так теперь открывается:

http://idec.spline-online.ru/echolist

А если идти напрямую, то там Gitea, где например есть описание IDEC в одну страницу :)

https://idec.spline-online.ru/spline/idec-doc/src/branch/master/main.org

ура :)

Планирую сегодня-завтра поменять домашний маршрутизатор со старого на новый и в процессе сего моя нода sprinternet.io может на какое-то время приуныть :)

Вобчем не теряйте меня - я обязательно вернусь ;)

> Я просто сделал такой формат, который проще преобразовать в граф. Но делать это частью стандарта не вижу смысла. А делать расширение стандарта и подавно. Превратимся в XMPP на минималках :)

А что в этом плохого? ;)

Если тебе нравится раз в 5 лет бегать за каждым сисопом и вручную собирать с них JSON-ы, то пусть, а я пока включил node.json в свой /x/features как фичу :)

> Инконсистетные эхи мне не нравятся, у всех она разная, а потом выяснится что полной нет вообще ни у кого :)

Ну любая большая эха будет разная на разных нодах ибо сисопы блеклистят разные сообщения :)

> Я с вашего позволения ваеду флаг inc, показывающий что эха инконсистннтная

И что это значит?

Ну если не по крону, а вручную фетчишь как попало то например оставляй пустым “” :)

Есть темы, которые триггерят много людей в 100% случаев - это секс, религия, политика и национальные вопросы. Если речь идёт просто о предпочтениях в выборе языка программирования или ОС, то тут выбор больше и накала меньше - например никто не поедет тебя искать с целью переломать ноги, если ты всё ещё кодишь на перле…

Тайминги в виде “30m” это значит с какой периодичностью идут запросы - в данном случае один раз в 30 минут (что равно 2 раза в час)

Новейшая статистика по тем, кто фетчит с меня, за последние сутки построенная по логам апача (на веб-страничке может обновляться не сразу):

tavern 16.6MB (2/hr), Google 12.4MB, tgi 5.0MB (3/hr), ping 3.4MB (6/hr), blcat 3.0MB (2/hr)

Ну изначально формат описателя ноды в JSON предложил Лобанов ( см. ii://WxnDvQ31oreCIUc6p0K7 ) - я подумал, что идея здравая и решил туда же добавить инфу по конкретике фетча (урлы и список забираемых эх для каждой ноды) - просто там данные разношёрстные (и древовидные) и в plaintext будет как-то некрасиво (я пробовал) и потом в работе самой станции оно как бы не участвует (ну разве что если фетчи будут настраиваться по этому описателю) и по сути оно нужно лишь для выкачивания внешней программой, которая периодически будет строить актуальную топологию сети...

Ну за себя я сказал - см. мой node.json :)

bot.habr.rss изначально идёт с tgistation.ru а lor.opennet с idec.spline-online.ru - так что логичнее их из источников брать, а с меня можешь иногда обратно фетчить retro.talks если вдруг кто с моей ноды туда чо напишет ;)

P.S. У меня в веб интерфейсе в строке статуса есть инфа кто с меня фетчил (точнее дёргал апи поинта) за последние сутки и сколько раз в час - см. https://sprinternet.io/iii-web.php или http://sprinternet.io:8085/iii-web.php

Понятно - спасибо за развёрнутый ответ! :)

В официальных доках нету ничего ни про кольца, ни про zlib, но я встречал обрывки обсуждений в архивных эхах - надо будет всё перечитать.

Для автоматического построения схемы роутинга я предлагал расширение стандарта при котором каждая станция имеет у себя файл node.json с описанием станции и что откуда фетчится - если каждый узел будет иметь такой файл (мой имеет), то автоматическое построение топологии сети становится тривиальной задачей:

https://sprinternet.io/iii/node.json

Надо туда добавить ii.blcat.ru и ещё в обозримом будущем я хочу и свои фетчеры сделать работающими по установкам из этого файла...

> на tgi я могу писать только сюда и вроде бы в эху по zx spectrum

ну idec.talks не совсем болталка, а очень тематическая эха про обсуждение деталей функционирования ii/IDEC сети :)

> кроме того у меня есть идея собирать все msgid со всех станций, и если там есть такое сообщение, то перенаправлять на них (а если будет архив, то сразу на него)

А небыло мыслей про распределённое хранилище объектов, чтобы небыло замыкания на один узел - держатель архива? Я это озвучивал как идею развития ii/IDEC в декабре 2021:

ii://xDT61Ukip7E064VjCjt4

> Сделал мерж всех старых эх в retro.talks. Shaos, можешь забирать :)

Забрал :)

https://sprinternet.io/iii-web.php?echo=retro.talks

Только переставил 4 верхних сообщения ниже перед 4 последними, чтобы было в хронологическом порядке, а то ii-php их криво показывает

olldpc.51t.ru удаляю и снимаю с фетча у hugeping

ну последние годы это не так - если посмотреть внутрь pipe.2032, то можно обнаружить, что в 2024 году там ничего небыло, а в 2023 было 4 чтоли темы - и всё...

ИМХО болталка это зло ибо болталка ни о чём очень быстро превращается в болталку о чём-нибудь конкретном, на что у людей есть разные взгляды, что может триггернуть кого-нибудь и затем начинается взаимные метания какашками, обзывания, мат, а также обещание найти и покалечить собеседника (я знаю о чём говорю т.к. админю phpBB форум более двух десятков лет)...

> я там потом чёнить причешу, чёнить поудаляю и скорее всего просто в лоб переименую в retro.talks и смержу с текущей

а что будешь делать с ii://oldpc.51t.ru которая продолжает жить своей жизнью на hugeping.tk и соответственно у меня?

> Правда в одном сообщении в тексте осталась ссылка на несуществуюзщий msgid ( см. http://ii.blcat.ru/AVLUW1VuKb0T81PYx9rM )

Всё понятно - этот несуществующий msgid существует на hugeping в эхе std.hugeping https://hugeping.tk/TF9RuFRon9u7ps9Owka3 и текст был перепостчен в oldpc.51t.ru как ii://FlAbPqmSDcpzpdVqdIha

P.S. Я гляжу беседа там в oldpc.51t.ru продолжается и я её продолжаю себе затягивать ;)
https://sprinternet.io/iii-web.php?echo=oldpc.51t.ru

я себе пишу всякие такие проверялки на сях

лежат на гитлабе

https://gitlab.com/shaos/iii-php/-/tree/master/native-utils?ref_type=heads

например с помощью iii-check я проверял корректность эх ii://python.15 и ii://ii.stat прежде чем себе перетащить (там в итоге надо было переставить кое-какие сообщения, чтобы всё было в хронологическом порядке) - корректность тэга оно тоже проверяет...

> shaos, проверь с меня эху retro.talks.test

Вроде ок выглядит - Re сообщения ссылаются куда надо

Правда в одном сообщении в тексте осталась ссылка на несуществуюзщий msgid ( см. http://ii.blcat.ru/AVLUW1VuKb0T81PYx9rM )

И вот тут http://ii.blcat.ru/Iis8J50kYDLEJN0LMyRf наверное надо заменить линк на несуществующий club.syscall.ru (сейчас это club.hugeping.ru) - но это наверное мелочи, если гнаться за исторической аутентичностью, то наверное пусть остаётся как есть...

> А ну тогда вообще ничего не страшно, это валидная эха old.pc

ну просто эти сообщения для old.pc пришли на запрос эхи oldpc.51t.ru и я уже понял, что это было нехорошо...

> но непонятно, почему станция Петра поместила их в old.pc, если ты проставил там новую эху внутри

на тот момент когда он фечнул в этих сообщениях в качестве эхи стояла именно old.pc - я потом пробовал ставить oldpc.51t.ru, а потом обратно всё откатил, но это всё уже никуда не попало...

> а ещё есть какие-нибудь архивы?

я в декабре 2021 года качнул database.tar.xz с alicorn и сейчас поднял на локальном узле потихоньку вытаскивая оттуда полезное (например python.15 уже вытащил)

ii.stat почему то был только на spline-online.ru, а в архиве alicorn его небыло - тоже стянул...

> короче я так понимаю, repto проще всего будет менять постфактум, чтобы не городить огороды, поэтому хэши в результате всё равно не сойдутся. ну да ладно.

ну почему? если перекодировать сообщения в хронологическом порядке, то можно и repto подменить т.к. repto будут ссылаться на msgid который заведомо уже был и уже сконверчен - т.е. просто подменяем и всё

> нет, не надо, иногда сообщение на станции нужно подправить в последний момент, это бывает нужно.
> сверять хэши не нужно. просто у каждого нового сообщения всегда должен быть уникальный хэш, не повторяющий старый.

ну на самом деле одно другому не противоречит - надо просто ввести понятие draft для сообщений которые только что приняты сервером - их надо просто попридержать какое-то время (5 минут?) прежде чем флаг draft снимется и сообщение станет доступно для фетчинга с других узлов и если юзер вдруг решил исправить draft, то надо УБИТЬ старое сообщение и СОЗДАТЬ новое с ДРУГИМ msgid !!! т.к. старое сообщение ещё не ушло, то о такой подмене никто не узнает, а если сообщение уже ушло (т.е. флаг draft снялся), то всё - исправлять это сообщение уже больше нельзя иначе в системе будут циркулировать сообщения с одним и тем же msgid, но разным содержимым - поэтому и надо сверять хэши при фетче (хотя бы чтобы защититься от коррапнутых при хранении или передаче сообщений)

P.S. тот же механизм можно использовать для модерирования сообщений от новых поинтов - они будут в сосотянии draft пока модератор узла их не одобрит...

> интересно, каким образом он её создал, по какому принципу?

видимо по принципу, что имя эхи другое он и начал кидать сообщения в эту другую эху, а так как её ещё небыло, он её создал - по сути это дыра т.к. таким образом можно через ограниченный фетч заслать сообщения в другие эхи, которые не фетчатся, даже локальные...

https://hugeping.tk/u/e/oldpc.51t.ru

oldpc.51t.ru
73zlBKu8621aATH5SkH4
y7DFYDMApBrme9nhehVX
2XvYZ97i4I4mh1CQAU3G
6xlVJD05JIWxAc9DFdGa
O0nLmhAwM7ue2cUhUWMG
J9L2ZQFWRn9EO1PBopYK
oDqUfLHkbgx4nGE6cp4y
qD3xqOMALnhxXKiFkhi6
oW3z5qndxnIvySKBNCBs
OVPnZYUf9PYuFI2QESvT
fA0gfNf3o2IlHeLDg5Gt
vKLfirFV6cHKKcJH32rM
JwrRKyFrGau1TUj6dVI2
6z8ZvS6BiSD55Ik0uK6W
INM8dh0b9QWYolnOfFQx
YK72VF2WFxjbEuAbtDA0
c9sgQ8wLlmG6T1uK2kA8
VuQd1IXcVIVqb3ITifXZ
oEzDIsA5hy8Enxc0ZI3f
bkawVubpvKvz6debphFg
c74ii0Y4GynI6ZKmX9tE
fTlZz38CgMzhTp3er0or
Oiu4QOAAGuyF07nZOLc3
AbCUUHla1UlxpsP3oQAg
FlAbPqmSDcpzpdVqdIha
dp9LwyLJWBjnWQLN0lL2
pIegZwE3tUMlzP1YNe9x
VFDBu0HLrcREUWm9qfq7
AXCXyAwUTLec0PqhdmKU
AibFl1PPdBh2GJW9WDSi
64Sv1pXU8iZey6xKvPJG
2YxOzvz1QGJZFwDMTNk6

всё как было - ничего нового
так что ненадо разводить панику...

> И сообщение, принадлежащее двум эхам, может сорвать им крышу, в любом случае не будет ничего хорошего.

> Вторая: эха в самом сообщении должна совпадать с фактической

если всё настолько серьёзно, то незамедлительно нужно сделать 2 вещи:
1) чётко прописать алогритм хеша (конверсия небуквенных символов в A и z без всяких "например" и "лишь бы было уникально");
2) запретить редактирование сообщений если они уже приняты сервером (ибо это сломает сходимость хеша);
из вышесказанного вытекает ещё одно требование к узлам - проверять все входящие сообщения на совпадение хеша (по чётко прописанному в стандарте алгоритму) для отбрасывания всего, что не сходится (а оно не сойдётся если имя эхи не то или получателя/отправителя исправили или текст покоцался)

На huheping всё чисто - он из новых мессаг создал новую эху old.pc, а старая oldpc.51t.ru как содержала 32 сообщения так и содержит

Для разрешения проблемы надо просто убить old.pc на hugeping и всего делов: https://hugeping.tk/old.pc/

old.pc взялась с веб-архива странички http://p2.51t.ru и её нигде больше нет - только у меня...

виноват - исправлюсь

переношу новые сообщения обратно в свою локальную эху old.pc

Заменил в этих новых сообщениях old.pc на oldpc.51t.ru, чтобы было единообразно, а то я смотрю на hugeping.tk создалась отдельная тема old.pc куда все эти 20 сообщений залетели...

> Короче я себе всё это безобразие почищу и склнвертну в retro.talks
Ну забери ещё до кучи последние 20 сообщений из https://sprinternet.io/iii-web.php?echo=oldpc.51t.ru что я сегодня докидал - оно тоже твоё :)
Там все msgid как были в мае 2022 и все repto корректно ссылаются куда надо ;)
Хеши уже не сходятся так что можно тексты сообщений дальше править (например заменить название эхи old.pc в сообщениях на что-то другое)

> Оппа. А про repto то я забыл

Поди проще было оставить старые msgid - пусть бы хэш перестал сходится после редактирования да и ладно...

> хочу докидать туда 20 сообщений из старой эхи old.pc которая жила по адресу http://p2.51t.ru/ii/ в мае 2022 года...

докидал пока в https://sprinternet.io/iii-web.php?echo=oldpc.51t.ru

(хэши неправильные т.к. подбирать точно таймстемп и получателя чтобы название совпадало с хэшом слишком трудоёмко)

Не - криво заменилось ибо repto в новых сообщениях из old.pc всё также ссылается на старые msgid из oldpc.51t.ru т.е. у Re: сообщений можно родителя открыть только если обе эхи old.pc и oldpc.51t.ru присутствуют на узле...

> я пока не решил, что с ней делать - слить с ретро.талкс, или ретроталкс с ней, или ещё что-то

да пусть будут обе - я забрал себе old.pc вместо oldpc.51t.ru ;)

ii://old.pc

хочу докидать туда 20 сообщений из старой эхи old.pc которая жила по адресу http://p2.51t.ru/ii/ в мае 2022 года...

> кстати, я не нашёл что-то таких сообществ? где они обитают?

ну в своём ретро-форуме я ii/IDEC уже 3 года пиарю ;)

http://www.nedopc.org/forum/viewtopic.php?f=46&t=21414

> меня не фечьте, у меня тока для экспериментов станция

и даже old.pc не фечичь? ;)

в архиве ii старины написано так:

hc.51 3493 [2015.02.15 - 2015.03.10] Болталка с девочками

Вебархив пока лежит - как поднимут покажу

Интерфейс вроде похож на старый чат с девочками 2015 года, который uliss - я его через вебархив недавно обнаружил :)

> надо наверное сделать так, чтобы обращение к /iii/ без GET-параметров отправляло бы на веб-интерфейс...

Вроде сделал - теперь если в браузере вбить https://sprinternet.io/iii/ то оно должно само перескочить в https://sprinternet.io/iii-web.php

Да - пожалуй http://idec.spline-online.ru (бывший http://idec.spline-online.ml) сейчас самая старая станция

При мне уже умерли:

http://gears.headake.win/idec/ui2/
https://dynamic.lessmore.pw
https://ii-net.tk/ii/ii-web.php
https://alicorn.tk/ii-old/

В последней был архив старых ii-сообщений и я его успел стянуть...

> Это, по идее, старейшая станция сети, с 2014 года?
Не - моя станция - новейшая :)
Я её поднял в декабре 2021 года по адресу http://shaos.net:8085 (всё ещё доступно и так) взяв ii-php сервер с гитхаба и вот недавно переставил на https://sprinternet.io/iii/
До декабря 2021 года я знать не знал про этот ваш ii/IDEC пока меня Лобанов не убедил в телеге, что это круть крутейшая :)

> А сам веб интерфейс есть?

Ну в изначальном списке перечислялся именно веб-интерфейс:

https://sprinternet.io/iii-web.php

> По ссылке spline там гит хостинг

паламалась

так то я туда по http:// хожу...

> Caesium офсайт какой?

наверное такой: https://github.com/idec-net/caesium

> https://sprinternet.io/iii-web.php

моя нода похоже единственная, у которой веб-интерфейс и поинт-интерфейс имеют разные урлы (такое разделение изначально пришло из ii-php) - поинтовый будет такой: https://sprinternet.io/iii/

надо наверное сделать так, чтобы обращение к /iii/ без GET-параметров отправляло бы на веб-интерфейс...

Кстати я хочу в какой-то разумной степени поддержать Markdown в своём развитии iii-php - как минимум чтобы линки с текстом из RSS- фидов поддержать :)

Например генерить HTML-файл и сохранять рядом с raw message ;)

AJAX я уже приделал - можно лепить вместе разные HTML без перезагрузки страницы…

shaos> Это к Andrew Lobanov
Andrew Lobanov>Чего это?
Ну как к держателю стандарта IDEC по видимому ;)

Это к Andrew Lobanov

А так там доке в маркдауне ведь - для веба их преобразовывать надо

Маркдаун проще прям на гитхабе и смотреть...

Я ещё в декабре 2021 года предлагал доку поправить на A и z :)

ii://02tzzmoYvnkIfFNR8KNL

Был сайт, да помер:

https://ii-net.tk/idec-doc/?p=main

(вебархив тоже похоже помер после недавнего хака)

> Видимо, "стандарт" писался не очень аккуратно! Давайте зафиксируем всё-таки. Z или z? :)

В английском варианте протокола написано более обтекаемо:

> msgID is a unique 20-symbol piece of base64-encoded sha256 hash. Special base64 symbols like + and / must be replaced by readable letters (like A and Z for example).

https://github.com/idec-net/new-docs/blob/master/protocol-en.md

Я вот тут описывал свои изыскания: ii://oZon0mICyntTZHaFJO0o

A и Z:
- ii-go
- lessmore
- tgi

A и z:
- оригинальный ii (судя по архивным мессагам)
- ii-php
- iing

Вроде все доки тут:

https://github.com/idec-net/new-docs

Если исправить Z на z, то будет как в оригинальном ii

Это да - экстремальная эзотерика

> Настоящая эзотерика может быть на любом языке программирования. Хотья на паскале.

Не - на паскале как ни пиши, всё равно получится валенок :)

Там есть вот такое
ii.talk.2014 4 Ссылки
ii.test.2014 73 Тексты
а вот ii.tech.2014 нет...

аха :)

api/sx.py: return base64.urlsafe_b64encode( hashlib.sha256(s).digest() ).replace('-','A').replace('_','z')[:20]

о - сенькс :)

Таки не сохранилось?...

Кстати в таверне чото точно сглючило - если кликнуть во второй фетч линк, то там будет вот такое:

...
pOlv1zvAI8G0xaf2fQmt
xIy7luAQzK1ClWMjlAGx
B1mM6Q6NWQ5MuY96FeL3
koYbiZY3ibMe3N87eqTD
D5EpnqqclAcoLamAaUHd
vduRDOaNtRCrndkMs5S4
pxNaNgXcsZJvD8t2fLQX
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
v2gj6Qx0JJmoNlcjcJlg
...

т.е. это проблемное сообщение начинает размножаться...

> На перле писать быстрее и проще, чем на пайтоне в разрезе различных анализаторов и мелких утилит.

Ну это кому как - мне например анализаторы и мелкие утилиты на голых сях проще писать :)

Покажи какой-нибудт перл в несколько строк, чтобы понять о чём речь

> А ещё он лучше подходит для эзотерического программирования.

Настоящая эзотерика это когда чистая Функциональщина :)

Значится так - первое упоминание этого msgid (v2gj6Qx0JJmoNlcjcJlg) у меня в логах появилось Sun Dec 19 12:16:49 PST 2021 когда я впервые стянул некоторые эхи с таверны на свою ноду (на тот момент это был неизменённый ii-php):

lor-opennet.17
fetch http://idec.spline-online.ml/u/m/UTCMFH1UP4bIqmAsfKpI/W5MAAlryHwKN8JULaVRp/XcXgSAAM5Lmvh2xOCEvq/z7iYfI4atYDtGthgTCFA/z9D05BUbcAzIQflFYnzG/z9Yff5M5XNJGXAbMlikb/VV5LZpf7U9HbZqD7EloC/FREYgvbDp8JUs0mDfQPj/UcXyqV4Wr9MwC7N6UbzC/v2gj6Qx0JJmoNlcjcJlg/9zrVs589o3goy25DHkxY/DeKrvjOA4Enw1iA8Gn0q/eTdc6GplkNMTuJSJk6HS/NNrA0wTBk38XVYZzh2Sh/TFJuhrx2vnh526yhRWxP/xcUP2HgvHuWS7CZb3yl5/034KH4ajtBdWpI8GPaf4/HasPCfoV1NQLfDLUeAdy/wGz7KQv3AwrZMSR4i5pk/XczrIJymRAM0BHA5l6B9

Тогда всё было ок - уникальный msgid обозначала некое старое сообщение в эхе lor-opennet.17

Второй раз этот хэш у меня в логах проскочил в январе этого года:

Sun Jan 7 17:27:01 PST 2024
fetch http://idec.spline-online.ru/u/e/idec.talks/idec.test/linux.14/lor-opennet.17/develop.16/plan.9/zx.spectrum/silicon.valley.local
idec.talks
fetch http://idec.spline-online.ru/u/m/v2gj6Qx0JJmoNlcjcJlg
message saved: ok
lor-opennet.17
fetch http://idec.spline-online.ru/u/m/e3FfHqImRAIj20s4qnzO
invalid message: e3FfHqImRAIj20s4qnzO
error saving e3FfHqImRAIj20s4qnzO

Тут уже этот хэш как бы пришёл из idec.talks (с таверны) и следом за ним пришло какое-то невалидное сообщение для lor-opennet.17 (интересно, что с таким кодом сообщения нет нигде) - могло ли что-то сломаться в тот момент в таверне? Возможно...

У меня в дебияне всё ещё есть :)

>python --version
Python 2.7.16

Исправил - выкатываю iii-php v0.5 https://gitlab.com/shaos/iii-php

Теперь через веб-интерфейс невозможно будет попасть в ii-point.php (голое сообщение можно всё также поглядеть через веб-интерфейс сисопа если очень надо) и кликанье в сабж когда показано только одно сообщение будет перескакивать на предыдущее сообщение в треде (repto)

Так то теоретически возможно, но вероятность сего должна быть пренебрежима мала (но тем не менее она не нулевая)

не страшно - восстановим ;)

> В данном случае показываться будут только те, кто использовал поинтовый апи - список будет также меняться раз в сутки...

Кстати в ii-php через веб-интерфейс оказывается можно выйти на голое сообщение показываемое через ii-point.php (т.е. то самое поинтовое апи) - если в списке сообщений нажать на решётку у сабжа, то откроется одно сообщение через ii-web.php, а если в этом одном сообщении ещё раз нажать на решётку у сабжа, то откроется голое сообщение через ii-point.php - это как бы не совсем логично и смешивает 2 разных доступа - наверное я это дело отменю, чтобы статистику поинтов мне не портило притягивая за уши гугл и яндекс...

> Про zx с выходом в сеть я не очень в курсе, насколько это вообще живо и у кого это есть.

Ну как минимум у меня есть :)
Российский клон сетевушки Spectranet и настоящий ZX Spectrum+ (48K)
И в спектрум-эмуляторе Fuse оно поддержано - можно прям сразу кодить и проверять ;)
Я про Spectranet тут пару лет назад справшивал в эхе zx.spectrum ii://itlwlJxSI5IuWlf9VOze

Поглядел в старые ботоэхи:

lor-opennet.2014 - почти все сообщения GOOD
lor-opennet.15 - порядка 60% GOOD и 40% BAD (после 1456319240 включительно)
habra.14 и habra.15 от difrex - все GOOD

P.S. Момент времени 1456319240 это "Wed Feb 24 2016 13:07:20 GMT+0000" начиная с которого в lor-opennet.* всё стало плохо...

> не хватает Manuel - Gas Gas Gas на фоне и анимации как гугл вырывается в топ

А сегодня внезапно вперёд вырвался Фейсбук :)

Правда хлопал он по вебу, а не по интерфейсу поинта:

TOP10 VISITORS:

[1] Facebook point=0 web=72 up=39.9MB (38%)
[2] Google point=214 web=1193 up=38.3MB (36%) <--- Google (9/hr)
[3] 62.109.31.x point=48 web=0 up=16.4MB (15%) <--- tavern (2/hr)
[4] 92.63.98.x point=72 web=0 up=4.8MB (4%) <--- tgi (3/hr)
[5] 95.165.9.x point=146 web=0 up=3.8MB (3%) <--- ping (6/hr)
[6] 24.6.124.x point=0 web=12 up=0.1MB (<1%)
[7] 172.59.161.x point=0 web=9 up=49KB
[8] 172.59.160.x point=0 web=5 up=48KB
[9] 51.75.35.x point=0 web=2 up=36KB
[10] 191.107.164.x point=0 web=2 up=27KB

TOTAL TRAFFIC: 103MB

> Нужна эха по перлу. Я для скриптоты перловку использую, а не пайтон :)

В году эдак 1999 я бы тебя неистово поддержал :)
Я сам писал все свои бекенды именно на перле (т.к. ничего другого на публичных хостингах в те времена небыло) - я крутил перлы в CGI наверное года до 2005-го (хотя с 2003 у меня уже был форум phpBB, но сам я на PHP тогда ещё не писал ибо сомневался). Потом я перелез на сервлеты (java где-то до 2009 года пока полностью в ней не разочаровался), потом на функциональщину (язык hope через CGI примерно с 2010 по 2018 годы), а потом всё-таки осознал, что лучше и проще PHP ничего нет и всё своё последние лет 5 делаю на PHP+MySQL :)
Приведи хоть один аргумент почему Perl (Raku?) лучше чем Python для локального использования (хотя я все свои скрипты-анализаторы пишу на голых сях - мне так проще) или PHP для веб-бекендов?

> Реальные хеши это придуманное что-то. Они могут быть какие угодно, лишь бы не было коллизий.

Ну ваш "стандарт" описывает вполне конкретно как msgid должен формироваться :)

Разве что чётко не прописано, что заменять надо на A (большую) и z (маленькую) ;)

Ну как же - у меня bot.slashdot уже третью неделю бегает :)
Правда он стандартный из ii-php - там вроде всё как надо (я проверил)
Проверил также lor.opennet и bot.habr.rss (вроде как относительно новый бот) - там вроде тоже всё ок
Расширил свою питоновскую проверялку чтобы печатала первые строчки мессаги в ряд (чтобы грепать можно было с результатом сверки хеша):

#!/usr/bin/python3
import base64,hashlib,sys;
for s in sys.argv:
    if '.py' in s:
        continue
    filename = s
    f = open(filename, "rb")
    msg = f.read()
    hash = base64.urlsafe_b64encode(hashlib.sha256(msg).digest()).decode("utf-8").replace('-', 'A').replace('_', 'z')[:20]
    res = 'BAD'
    if filename==hash :
        res = 'GOOD'
    elif filename.casefold()==hash.casefold():
        res = 'KINDA'
    print(filename,"-->",hash,res,msg.decode("utf-8")[:80].replace('\n','|'));

(запускать в директории msg с аргументом *)

И что же мы теперь видим? Все оригинальные (от бота) сообщения в lor-opennet.17 (14225 штук) имеют несовпадающий хэш - это 2/3 от всех "новых" сообщений!

00b33VZpAzycmjYgAYE2 --> 6cH9LED7U3mmWYkmqjGe BAD ii/ok|lor-opennet.17|1626642001|Новостной_робот|mira, 1|All|Релиз систем сборки 
00gY2d9Z3RhS7Ce7AJ7y --> phhYJRbKiehrg9sSfaU1 BAD ii/ok|lor-opennet.17|1542643204|Новостной_робот|mira, 1|All|Выпуск видеоредактор
00n38C6X6Hj7wVLDGXl2 --> VQMe0BdXWP2ghg3rBDjJ BAD ii/ok|lor-opennet.17|1603209602|Новостной_робот|mira, 1|All|Kaitai Struct 0.9|| 
...

Для примера вот как показываются сообщения из моей эхи bot.slashdot (которая по идее должна на том же движке работать?):

00mqjZAp22bXQxsTUMnl --> 00mqjZAp22bXQxsTUMnl GOOD ii/ok|bot.slashdot|1727583781|robot|shaos, 1|All|Can AI Developers Be Held Liabl
039DRyKs6KYiZFnBrIXW --> 039DRyKs6KYiZFnBrIXW GOOD ii/ok|bot.slashdot|1727389381|Новостной_робот|shaos, 1|All|US Justice Department
0oaUYvbZZCQvqBYV6Gjf --> 0oaUYvbZZCQvqBYV6Gjf GOOD ii/ok|bot.slashdot|1727472181|robot|shaos, 1|All|If 23andMe Is Up for Sale, So I
...

(я впоследствии заменил Новостной_робот на посто robot, но старые сообщения трогать не стал)

> Насколько это плохо?

Ну пока хэши уникальны и коллизий нет, то наверное норм

> И точно ли там новый код?

Надо смотреть…

Мне пока непонятно почему в 70% новых сообщений не сходится хэш - возможно новые генерилки RSS-новостей идут «мимо» стандартного пути посылки мессаг через апи поинта…

> Я писал не для ретрокомпов, а для микропроцессоров. И не idec, а gemini клиента. :)

«И не в лотерею, а в карты. И не выиграл, а проиграл» :)

> В итоге есть прошивки для cardputer и еще одного неизвестного никому устройства...

А как проблема наличия TLS там была решена?

> Gemini без TLS это Spartan по идее

а не Gopher? ;)

> Хотел сказать передавать по TLS и шифровать прям на хосте, но тут в гробу видали этот TLS (и есть за что)

TLS сильно неретрокомпьютерно - именно поэтому gemini никогда не будет на ретрокомпах ибо тяжко....

P.S. Тем временем я вытащил из небытия эху python.15 и добавил в список эх на моём узле:

https://sprinternet.io/iii-web.php?echo=python.15

Совместил вместа архивы старых и новых мессаг (получилось более 67 тысяч сообщений) и прогнал новый возможный алгоритм хеширования с отбрасыванием 2 нецифробуквенных символов вместо замены (и с добиванием хвоста нулями, если вдруг надо будет):

base64.urlsafe_b64encode(hashlib.sha256(msg).digest()).decode("utf-8").replace('-', '').replace('_', '')[:20].ljust(20,'0')

В итоге распределение букв в сформированном таким образом msgid стало плюс-минус равномерным:

0 1072
1 1110
2 1064
3 1026
4 1117
5 1139
6 1049
7 1084
8 1055
9 1075
a 1108
b 1081
c 1093
d 1108
e 1089
f 1052
g 1104
h 1111
i 1076
j 1124
k 1094
l 1090
m 1151
n 1083
o 1047
p 1116
q 1132
r 1029
s 1117
t 1090
u 1073
v 1061
w 1061
x 1129
y 1096
z 1103
A 1002
B 1024
C 1016
D 1089
E 1144
F 1061
G 1045
H 1081
I 1090
J 1107
K 1113
L 1065
M 1122
N 1141
O 1050
P 1019
Q 1125
R 1063
S 1031
T 1115
U 1122
V 1076
W 1121
X 1020
Y 1113
Z 1077

Коллизий не обнаружилось (зато нашлись несколько одинаковых сообщений у которых были разные msgid) и по итогу около трети сообщений сохранили свой старый msgid (т.е. там небыло этих двух символов на замену, которые в этом алгоритме просто отбрасываются)

Это я думаю а не поменять ли алгоритм хеширования на своей ноде, раз уж и так кто как делает...

Ради интереса посчитал статистику по соответствию хешей названиям мессагов

Встаром ii архиве (46481 штук):

81.6% названий соответствуют хэшам
18.4% не соответствуют

В новых ii/IDEC мессагах (20760 штук):

28.0% названий соответствует хэшам
0.4% соответствуют после приведения к нижнему регистру (значит была подмена на Z вместо z)
71.6% не соответствует

асбтаргироваться = абстрагироваться :)

что было написано тогда - читалка list.txt из ноды с распечаткой результата на экране с перекодировкой UTF-8 в альтернативную кодировку ДОС плюс начала создаваться некая макробиблиотека для универсальной сборки сетевых программ для разных целевых платформ (т.е. уже тогда планировался уход от замыкания на Спринтер)...

Я правильно понимаю, что только я взялся писать клиента для ретрокомпов в 2021 году и до этого никто даже не пытался? Если кто забыл, то я начал писать клиента IDEC на ассемблере Z80 для продвинутого спектрум-клона Sprinter Sp2000 в конце декабря 2021 года, транслируя процесс на ютюб "вживую":

https://youtube.com/live/p20rd0bqZTs
https://youtube.com/live/uwEiQIeD5cw

(причём вотрое видео было ещё и встречей 2022 года)

С тех пор я несколько охладел к Спринтеру, однако написанное терять не хотелось бы, поэтому я могу переиначить написанное и продолжить присать IDEC клиента скажем для ZX-спектрума с сетевой карточкой Spectranet (где используется тот же WizNet чип, что и в моей сетевой карточке для Спринтера - W5100) ну либо вообще асбтаргироваться до уровня системы команд i8080A (КР580ВМ80А) и сделать возможным чтобы этот код ещё и на старых советских компьютерах работал типа Радио-86РК, Апогей, ПК-01 Львов и т.д.

> У меня тоже судя по коду стоит проверка на 20. Это точно не в стандарте?

интересно, что как минимум 7 из проблемных 8 сообщений (у которых длина хэша 19 вместо 20) были созданы с помощью idec.el/0.1 пользователем Difrex (dynamic,1):

+++ idec.el/0.1
+++ idec.el/0.1
+++ At work. idec.el/0.1
+++ idec.el/0.1
+++ idec.el/0.1
+++ idec.el/0.1
+++ Картошки хватит на всех

и хэши там совсем неправильно посчитаны были т.к. реальные хеши ничего общего с названиями этих сообщений не имеют:

SZ7KQTwMhch9gSIJ1Q3
--> vY11CNkWXWstRfHyD8EQ
APcbWI1obBZ3nr5uZgt
--> BDZIZkGNsacszWnRTEDA
8BqXV3KGYEqIwnPaKsB
--> 9Fz0f71LTxinLyAA26jc
MmBCteS6yMnC2LZLbRC
--> aDDfVncYTkdhSITwY2VB
JDKVlOwszVbKpMvjwN8
--> aagoTsW9vjv61Hsb0UBO
3rkSne5R2FI1QXrlJkF
--> R7mIPIRysuoKAchosrZX
bi36U9W4Zu86wagsE8X
--> H3E9knwnOOTSwBmwaLF7
Hi7AzJtfBZKKb96awMP
--> GPIigM4r30CcSK8tjRzd

По идее можно вернуть эти сообщения в оборот просто добавив 0 в конце ихних хэшей и поправив несколько других сообщений, которые на них ссылаются:

vHtkzHXiAYL0a7zSFS0P:> Так и не понял чем тебе мой вариант не подошёл, который я тут показывал ii://APcbWI1obBZ3nr5uZgt :)
vu94FtaImMH7E9AlDg8d:Так и не понял чем тебе мой вариант не подошёл, который я тут показывал ii://APcbWI1obBZ3nr5uZgt :)
TKcKYfkzLXg3YU3iMQrS:ii/ok/repto/8BqXV3KGYEqIwnPaKsB
sBF0YZDFAAJY9ZXGeTvw:Вот https://dynamic.lessmore.pw/msg/MmBCteS6yMnC2LZLbRC
nXdcHnk0Y4UunGNNUIwi:ii/ok/repto/3rkSne5R2FI1QXrlJkF
z8W283Fkra8J96OrKQCC:ii/ok/repto/bi36U9W4Zu86wagsE8X

> Ещё стянул себе эху oldpc.51t.ru c club.hugeping.ru

Нашёл тут продолжение в ввиде эхи old.pc жившей недолго на ii-ноде p2.51t.ru в мае 2022 года и доступной теперь только через веб-архив:

https://web.archive.org/web/20220524025232/http://p2.51t.ru/ii/old.pc

Ни у кого не сохранилось в виде msg-файлов?...

Так то наверное можно докидать эти сообщения вручную в эху oldpc.51t.ru - как разные сервера-клиенты отнесутся к тому, что в сообщениях эхи oldpc.51t.ru будет стоять имя несуществующей эхи old.pc? Ну или при ручном копировании заменить эху c old.pc на oldpc.51t.ru в каждом сообщении...

Это цезий? Он у меня на всё так пишет...

Да - результат на лицо :)

[1] Google point=108 web=899 26.6MB <--- Google (4/hr)
[2] 62.109.31.x point=48 web=0 16.4MB <--- tavern (2/hr)
[3] DataForSeoBot point=0 web=26 8.3MB
[4] 92.63.98.x point=72 web=0 4.7MB <--- tgi (3/hr)
[5] 95.165.9.x point=144 web=0 3.7MB <--- ping (6/hr)
[6] 95.217.57.x point=0 web=1 1.1MB
[7] 24.6.124.x point=3 web=46 0.4MB
[8] 92.246.138.x point=0 web=1 0.1MB
[9] YandexBot point=0 web=17 0.1MB
[10] 172.56.46.x point=0 web=4 0.0MB

А вот гугл чего-то аж на первое место вышел 8)

Создал у себя на ноде новую эху, куда раз в сутки буду засылать статистику по 10 самым активным визитёрам ноды (отдельно считаются активные минуты поинтовых запросов и активные минуты веб запросов):

https://sprinternet.io/iii-web.php?echo=spnet.stats

Иногда буду сюда перепосылать, если что интересное вылезет ;)

Кроме того сделал выписывание активных аплинков внизу вебстраницы вот в таком виде:

Last day top uplinks: tavern 41.7MB (5/hr), tgi 4.1MB (2/hr), ping 3.2MB (5/hr), Google 0.8MB (1/hr), Facebook 0.1MB

В данном случае показываться будут только те, кто использовал поинтовый апи - список будет также меняться раз в сутки...

Решил объединить идею декларации аплинков/фетчей и описатель ноды из ii://N9RNo0fkT9a9aolTxpaa

https://sprinternet.io/iii/node.json

Если каждый положит себе на ноду такой node.json ( у меня этот файл доступен и по апи поинтов и напрямую по https://sprinternet.io/node.json ), то в любой момент можно будет автоматически строить топологию IDEC-сети, начиная с одного (любого) узла! Кроме того я планирую автоматически настраивать фетчи именно по этому JSON-описателю.

Заодно официально переименовываю свою ноду из shaos в spnet как сокращение от Sprinternet (сеть для ретрокомпов) с доступным по https:// линком для поинтов:

https://sprinternet.io/iii/

и веб-интерфейсом:

https://sprinternet.io/iii-web.php

старый адрес http://shaos.net:8085/ii-web.php и поинтовый апи http://shaos.net:8085/ii-point.php?q=/ пока также продолжат работать...