The Log Line That Tells You Nothing

The alert fires at 2am. You ssh in, open the logs, and find this:

  ERROR myapp: connection pool exhausted

  One line. The error itself, and nothing else.

  You know what broke. You have no idea why. Was it a sudden traffic spike? A query that held a connection too long? A retry loop that ran away? The answer was in the DEBUG logs — but you turned those off six months ago because the noise was unbearable.

  

  Then there's the other version of this problem. A teammate pings you: "hey, can you send me the error log for that failure yesterday?" You zip it up and send it over. They come back ten minutes later: "this just has the error line, there's no context here." You know they're right. You don't have anything better to send them. The conversation stalls because the information was never captured in the first place.

  The logging level trap

  Every Python developer eventually ends up in the same place. You start with DEBUG because you want visibility. The files balloon. Grepping through megabytes of chatter to find anything useful makes you want to quit your job. So you raise the level to WARNING, the logs go quiet, and life is good — until the next incident, when you realize you've traded noise for blindness.

  The standard advice is to log more context in your error messages. So you start stuffing state into every  logger.error() call. It helps, a little. But you're essentially rebuilding, by hand, the context that the preceding DEBUG logs already had — and you still can't reconstruct the sequence of events that led there.

  

  The real problem is that log levels are a blunt instrument. You don't want DEBUG logs. You want DEBUG logs when something goes wrong.

  What you actually want

  Silent during normal operation. Full context the moment an error fires.

  I built incident-logging (https://pypi.org/project/incident-logging/) because I kept wanting exactly this and kept hacking around the absence of it. It's a single-file Python logging handler — no dependencies — that buffers your DEBUG and INFO records silently. The moment a WARNING, ERROR, or CRITICAL is emitted, it flushes the recent buffer followed by the triggering message, then clears and starts over.

  The buffer is a ring buffer. It holds the most recent N records. Old ones fall off. So you always get the context  window just before the incident — not hours of irrelevant history, not nothing. And when a teammate asks for the error log, you actually have something useful to give them.

  How to use it

import logging
from logging.handlers import RotatingFileHandler
from incident_logging import IncidentHandler

logger = logging.getLogger("myapp")
logger.setLevel(logging.DEBUG)

# Incident log — only emits when WARNING or above fires, with recent context
incident = RotatingFileHandler("incidents.log", maxBytes=1_000_000, backupCount=3)
incident.setFormatter(logging.Formatter("%(asctime)s %(levelname)-8s %(message)s"))
logger.addHandler(IncidentHandler(target_handler=incident, buffer_size=30))

  Source and install instructions: https://github.com/BenLin0/EmergencyLogging

D.r Hawking's computer program, and Hector's bell

 霍金教授在70年代已经在科学界获得“科学泰斗”的地位，获得包括爱因斯坦奖在内的多个顶级大奖，提出了黑洞的“霍金辐射”。但是由于他的渐动症，他的身体越来越差。1985年，他来到了中国，登上长城，然后到日内瓦，在这里得了严重的肺炎，医生甚至向他妻子提出拔管。最后，他被抢救回来了，可是由于进行了气管切除术，他本来很虚弱的发声，现在也无法实现。

在遥远的加州，一个火箭学家的岳母有跟霍金相同的渐动症，所以火箭学家做了一个Equalizer程序来帮助与岳母的交流，然后开设了一个Word+公司来推广这个软件，为有相同障碍的病友造福。这是4年前的事情。现在，霍金的同事联系到这位火箭学家，他就把软件免费送去，安装在霍金的轮椅是，成了初代的便携式沟通系统。

有了这个系统，霍金可以用一个指头来选择字母，进行交流、写书，达到一分钟15个单词的速度。1988年，《时间简史》出版，全球销量超过 1000 万册，连续 237 周登上畅销书榜，霍金成了家喻户晓的名字。在书里他很感谢这个程序，让他有了交流的自由。

后来Intel接手帮助霍金的程序开发工作，到2008年，霍金连手指头都不能移动，程序进化到使用红外摄像头来检测面部肌肉的方式来运作。现在这个程序是开源的，在github上能够自由下载。

我下载了这个软件，花费了一些调试精力把它跑起来，然后觉得它的使用摄像头的方式华而不实，对一般人用不上，所以就自己重起炉灶，做了一个网页程序： http://fadshop.net/assist ，完成同样的功能：用一个键实现输入功能。

在 Breaking Bad里，有一个身残志坚的老头。他曾经有波澜壮阔的往事，但现在他只能在轮椅上度过余生。他亲爱的侄子，给他准备了丰盛的午饭，转身却被敌人害死。前来探亲的两个远方亲戚，一个横死街头，另一个双腿被截断，送到医院抢救，还被坏人追到医院里下毒，真惨啊。他不能言语，只有一个指头可以动，所以在老人院，护士找到了跟他交流的方式：

护士拿字母表来，指着每1行，他看到了，就按键，护士就在那1行里，指着每一个字母；到了他想要的字母，他就按键，这样就能把他的意思表达出来了。

后来他跟智慧的男主角合作，与终极坏人斗智斗勇，用舍身堵碉堡的方式与坏人同归于尽。

他和护士交流的方式，大概就是跟霍金博士学的，跟 ACAT程序一致，也跟我的网页程序一样：

右边：光标会在每行里移动，假如你要输入"water", 你先等光标来到第4行，点一个按键，光标就会在第4行的 UVWXYZ之间移动；当它走到W的时候，你就再按一次键，W就被选中，输入到左上角的文字框中，然后光标重新复位，重新在每行里移动。

Learning Javascript: Class 1

 Tools:

Notepad, Chrome

Step 1,

Open Notepad or any editor, create a file "class1_1.html" with the content:

Step 2,

Use Chrome to open this file (Usually, by double clicking this file in File Explorer)

Open "More Tools"->"Developer Tools" to see the information.

Now you learn the development environment of Javascript.

Step 3,

Open Notepad to create second file "Class1_2.html" with the content:

Now you learn how to output value to the web page (UI)

Step 4,

Next file, more complicate:

Fun, you are interacting with the page!

The result is not quite right, can you correct it?

Step 5, 

In the previous program, the operator is always plus ("+"). Can you change it to a drop box with 4 choices ("+", "-", "*", "/"), and change the program to reflect the change?

Cantonese 粤语

 "Cantonese" 的中文翻译并不是”广东话“。

这个词源是”Canton"，其实不是“广东”，而是“广东省城”，也就算是现在的“广州”，其实在以前（100年多 前是现在番禺的那边）。
在《新牛津英语词典》里，对“Canton”的解释是： The name of the city in southern China。


总之，"Cantonese" 不是广东话，而是“广东省城的话”。 广东其实没有一个叫做“广东话”的方言。中国八大方言，有两个在广东：粤语和客家话。除了这两个之外，还有不那么“大”的方言，例如潮汕话、黎话等。黎话现在分布在雷州半岛那边，包括湛江，主要是从海南岛那边传过来的。如果大家还记得的话，海南岛其实在80年代以前是广东的一部分，后来才单独建省。


总之，粤语、客家话、潮汕话、黎话、台山话，都是广东话。而 Cantonese,作为 “广东省城的话”，其实是指粤语。

美国修改法定退休年龄的历史

 9月13日，全国人大常委会通过实施渐进式延迟法定退休年龄的决定：

用十五年时间，逐步将男职工的法定退休年龄从原六十周岁延迟至六十三周岁，将女职工的法定退休年龄从原五十周岁、五十五周岁分别延迟至五十五周岁、五十八周岁。

具体步骤，以男职工为例：

从2025年1月1日起，男职工法定退休年龄每四个月延迟一个月，分别逐步延迟至六十三周岁

(参看国务院链接 https://www.gov.cn/yaowen/liebiao/202409/content_6974294.htm ）

我介绍一下美国修改法定退休年龄的历史吧。

美国第一次设定“法定退休年龄”，是在二战之前的1935年。当时直接就设置了65岁，可以领取养老金。后来规定可以提前两三年领取，但是若提前领取，拿到的钱就少了。

到1983年，美国立法修改退休年龄：

1. 当年40岁以上的（1943年前出生的），维持不变，还是65岁退休；
2. 当年39岁到28岁的（1943年到1954年出生的），本来应该是在2008年到2019年到达65岁退休的，推迟一年，到66岁退休；
3. 当年27岁到23岁的（1955年到1960年出生的），每年加多两个月。所以1960年后出生的都是67岁退休。

具体地说，这个1983年的立法，到2008年才第一次起作用：本来当年退休的人，到2009年才退休。这个改革仅对立法当年39岁以下的人造成影响，每个人都有起码25年的时间来应对退休年龄的变化。这就是我对现在北京的政策最不同意的地方：你一年后退休？你要多工作三个月：从2025年1月1日起每四个月就延迟一个月，即1月份增加1个月，5月份增加2个月，9月份增加3个月；所以到一年后即2025年9月，你要多工作三个月。

秦末南越国的成立

 朋友推荐了一篇网文，关于广东人的历史和现在，说得很有趣。

广东人：鲜为人知的真相

一路读的很快乐，到最后一段的时候感觉跟我印象中的不相符，所以查了一下资料，验证一番。

这段是这么说的：

有趣的是，秦朝有个将领名叫赵佗，他征服岭南之后，不听中央号令，在广东建立了“南越国”，再后来呢，秦朝亡了，汉朝发兵，把“南越国”给灭了

查证之后，南越国其实是在秦朝灭亡之后才建立的，大秦子弟不满中原政权换手，所以自立为王，其实是很理所当然的。

话说公元前223秦灭了楚国（当时的楚国的军队总司令是项燕，记住这个名字），前222年灭了越和燕，前221年灭了齐，彻底灭了战国六国，统一中原。同年，他派出大军南征百越，也就是那篇网文里所提到的南岭以南的地区。用了7年，到前214年，才成功在南越建立政权，将领任嚣和副手赵佗作为郡尉。

光阴似箭，情况急转直下：

4年之后，前210年，秦始皇去世，秦二世在与大哥扶苏的宫斗之中上台

前209年7月陈胜吴广起义，全国反秦斗争纷纷掀起，包括流氓（这个词在当时是表示没有户籍的人，因为刘邦当时拉了几百人落草为寇）刘邦，和前楚国大将项燕的儿子项梁，带着他的侄子项羽，也跟着反秦；当年末，陈胜、吴广两人就已经战死（其实是战败被自己的手下所杀，提着头颅去敌方投降，也算战死），但是他们点燃的反抗暴秦的烈火还继续蔓延。

前207年8月，赵高指鹿为马，确认众官唯唯诺诺，没有反对的声音，就逼死了秦二世，捧秦三世上台，秦三世隔月就杀了赵高。10月，刘邦杀到咸阳，与民众约法三章，秦三世自缚投降，秦自此灭亡。那段历史太乱，所以秦三世到底是谁，现在还没搞清楚：有人说是秦二世的侄子，有人说是秦始皇的侄子，连辈分都没有达成一致意见。

前206年1月，这时项梁已经战死，他侄子项羽带着江东子弟也杀入关中，把刘邦手上的秦三世杀了，火烧阿房宫，大失民心。与刘邦进行鸿门宴后，两军争霸正式开始。

在中原战乱频仍的时候，南越在任嚣和赵佗的管理下，与中原隔绝，既不回军救援秦王朝讨伐叛乱，也不投身反秦的起义军之中。在大概前208年或者前206年，任嚣病死，把政权移交给赵佗。Again，因为历史记载太乱（特别是后来南越国被灭，历史记载被焚毁），具体是哪年的事情，也不太肯定；广东本地的记载和越南国的记载不一致。

总之，在公元前204年，在中原楚汉相争的时候，大秦将领赵佗在南越宣布：成立南越国，保护民众不受中原叛乱的肆虐，守护一方水土。

照我说，他们对秦国没有忠诚感，是可以理解的。才平定南越4年，派他们出来的秦始皇就挂了，后面皇帝的上位很有争议； 赵佗出生于河北正定，是燕赵之地，不知道是什么时候被秦侵略了；手下为了征战酷热的南岭，用了很多楚、越的降兵，甚至有些是“谪徙民”，是在中原的犯人。这一年秦统一全国（灭6国）也只有17年，前几年陈胜吴广所说的“王侯将相，宁有种乎！”，大家也都听见了，凭什么你能当皇帝，我就不能？

到公元前202年，刘邦才战胜项羽，在中原建立汉国。这个汉国比南越国还新，所以南越国不鸟它，没有臣服，而是跟它建立了正常邦交关系。

浮沉了93年，到公元111年，汉武帝才征服南越国。

所以我说，那网文里那段是错误的：南越国是在秦朝灭亡后才自立，以保护乡民，并没有“不听中央号令”，因为那时候，已经没有了“中央”。

南越国大概包括现在的广东、广西和越南北部。

Cannery Row 蒙特雷的罐头街

 海滨城市 Monterey 有条街名字是"Cannary Row"，用我家乡的名字来看，这就叫做罐头街 （相对于我家乡的担水街、打铁街）。

没错，这街上就是一个罐头厂，沙丁鱼罐头厂，楼上有过道连接。

我特地走到靠海的这边建筑的后面去，能够看到这建筑确实很古老：









有没有看到水泥柱子都被海浪侵蚀了？再放一个特写近照：






路东边的建筑现在还作为写字楼、商铺运作，而路西边，靠着海的这边，大多是铁将军把守，只有一个门开着，能撇见里面的停车场地，和空荡荡的墙壁：


在网上，能看到这个罐头厂的旧照：

多少风流，总被雨打风吹去！

三个男人的纠缠: 刘永福、冯子才和唐景崧

 刚才在群里介绍家乡的名人刘永福，看到了三个男人的纠缠。

所以第一个男人当然是刘永福。刘永福先是在我那家乡出生，这是整个故事的开 始。清末，民不聊生，刘永福进了天地会，反对清朝暴政。清朝派出冯子才讨伐，他带兵逃到越南。

冯子才，也是钦州人（我这个家乡解放前属于广东廉州府钦州地区，解放后才划为广西钦州地区，所以在历史上称为广西或者广东都正常），比刘永福大了19岁，早年跑镖被劫入天地会后征战多年，投降清军把屠刀转向太平天国，驻防扬州，平定太平天国，后提任广西提督，讨伐刘永福，把他赶到越南。

多年后，法国入侵中国藩国越南，清廷无所适从，这时候，我们故事的第三个男人出现了。

这个男人也是广西人，桂林府的唐景崧。他比刘永福年轻4岁，但已经成进士、点翰林，候补吏部主事，候补了16年了。他看到如果法国轻易占领越南，就会冲入清国境内，而此时刘永福已经在越南经营了16年，站稳了脚跟，并跟越南朝廷合作抗击法国，就向清廷提出孤身前往招降，以清兵联合越军、刘永福军（黑旗军）一起在中国境外抵抗法国。

1882年，冯子才已经任广西提督20年，乞病家居。唐景崧出发前往越南，在两广、云贵花了不少时间，确认得到当地总督的支持。
1883年，唐景崧前往越南成功招降刘永福。法国侵占越南国都，迫使越南以法国为保护国，废除中国藩国地位，清廷大怒，发兵。唐景崧和刘永福在越南北境和法国进行了激烈的战斗，被慢慢逼退到边境。
1884年，法国逼近中国边境，清廷重新启用冯子才，联合唐景崧、刘永福在镇南关、谅山抵抗法军。三个男人的纠缠，在这年达到了高峰。

1885年3月，唐景崧和刘永福在谅山宣光围困法军长达4个月。150公里外，冯子才在镇南关大捷，法军阵亡74人（包括7名军官）、受伤213人，全线崩溃。
这时，清廷在4月与法国签署合约，中法战争正式结束，中国承认法国对越南的保护国地位。

三个男人正在胜利之时，却被清廷束缚手脚，不能乘胜追击，出师未捷身先死，长使英雄泪满襟啊！

这一年，冯子才已经67岁；他再为清廷在海南、云、贵操劳了19年，以86岁高龄在贵州任上逝世。

而另外两个男人，命中还有一段纠缠。


唐景崧被调往台湾，逐渐升至巡怃；刘永福的黑旗军驻扎在广州，休养生息。1894年，日本侵略朝鲜，中日宣战。刘永福调任到台湾与唐景崧会合，两人再次合作抵抗日本入侵。可惜，大家已经知道了：甲午海战中国惨败，中日签订马关条约，把台湾割让给了日本。

1895年4月17日，《马关条约》签订。台湾巡抚唐景崧多次上文请求清廷收回成命而不可得。民众要求自卫，而列强的意见是：你要是为了归属清廷，我们就不插手；如果你是为了民众的安宁，我们还可以提供帮助。5月25日，以唐景崧为大总统，刘永福为大将军的“台湾民主国”正式成立，公昭曰：

Quote

全台士民，不胜悲愤。当此无天可吁，无主可依，台民公议自立为民主之国...
惟是台湾疆土，荷郑大清经营缔造二百馀年，今须自立为国，感念列圣旧恩，仍应恭奉正朔，遥作屏籓，气脉相通，无异中土，照常严备，不可稍涉疏虞。

后代有人认为这是临时过渡的抗日政府，若抗日成功即归返中国；也有人认为这是台湾独立的宣言。暂不论，我们还回到这两个男人的纠缠来。

唐景崧在发这个独立宣言的同一天，还给清廷发电，称：“嗣后台湾总统均由民举，遵奉正朔，遥作屏藩。俟事稍定，臣能脱身即奔赴宫门，席藁请罪。”于此同时，将妻子、行囊送回内地，又提库银四十万两汇往上海。


6月2日，清廷割台特使，李鸿章之子李经芳在台湾基隆外海的日本军舰上，正式与日本海军办理台湾交割事宜。日本即正式攻打台北。4日，唐景崧得到美国驻台税务司帮助，逃离台湾。以辜家为首的富豪恭迎日本入台北城，避免了生灵涂炭，也造就了辜家后来的百年财富。
刘永福继任大总统在台南带领民众继续抵抗日本军队，支持到11月。不敌归国。至今在高雄市还有一条路名为“永福路”，纪念他为当地民众的奋斗，我还特地请一个台湾的朋友搞了一个路牌的照片。

在台湾民主国任职的內務大臣俞明震，原来是台湾布政使，与唐景崧有多年的合作；30多年后他们的后人：俞的外甥陈寅恪和唐德孙女唐筼，认识后半年就结婚，成就了后来几十年德美满婚姻。

胡适的父亲任台东直隶州知州，也和刘永福一起抗日，7月才因病内渡，8月就在厦门病逝。多年以后， 1931年，胡适给唐景崧的孙女婿陈寅恪题了一首诗：

Quote

《题唐景崧先生遗墨》：
南天民主国，回首一伤神。
黑虎今何在，黄龙亦已陈。
几枝无用笔，半打有心人，
毕竟天难补，滔滔四十春。

其中的“黑虎”就是刘永福的黑旗军，黄龙是指清朝的黄龙旗吧。刘唐两人虽然希望能够保境安民，护得一方水土，可惜历史大潮汹涌，谁能阻挡？

后记：

如上所说，1895年，唐、刘在抵抗日本不敌后退回大陆。清廷并未责怪，因为这是朝廷的退让。
唐退休在桂林，发展当地教育文化，创办了“桂剧”。1903年死。
冯子才比他年长 23岁，也死于同一年。
刘永福任广东碣石镇总兵，在辛亥革命后，在中华民国任广东民团总长，并聘请黄飞鸿任广东民团总教练。这是历史真实，不是电影的捏造。早在黑旗军驻扎广州的时候，黄飞鸿就已经任军中的军医和教练，也一同进驻台湾，作为“殿前大将军”为台湾民主国奋斗，直到11月才与刘永福一起退出台湾。
1915年，日本向袁世凯提出二十一条，这是又一个耻辱的马关条约。刘永福向北洋政权的中华民国要求重上战场遭拒。愤恨不己，卧床不起，在次年1月以80岁高龄死于家中。

这就是三个广西男人的纠缠。

他们三人的一生，是反抗西方列强侵略中华国土的一生，保境安民，护一方水土。

三年困难时期的数学讨论 math

 

前面有一个图：



然后我有了主意，能够给具体的数字。

第一步，我先到国家统计局拿到每年人口的数字，放到 excel里，得到和前面图一致的曲线 （单位是万人）：


Download

然后用每一年新增的人口除以前一年的人口，得到每年的自然增长率（千分之）: 这个曲线也是和前面的图一致。




Download

戏肉来了：
在增长率上，从1956年的22到1967年的24之间，我简单划了条线



Download

我们认为，自然增长率是比较稳定、比较平滑的变化，所以这条线会是正常年景的（原来的）增长率。
根据这个变化后的增长率，我得到数字：

1963年人口数应该是 73812.59721， 比现实多了 4640.597213 （万人） （也就是说，那几年少了四千六百万人）

========
1957年增长率特别高，如果我保留这一年，到1958年才用22~24来修改的话，得到：



Download

1963年人口数应该是 81757.06338 比现实多了 5389.063382（万人）.




我把1963年前都设置成22，免得说我作弊。这样得到的数字是最低的：

Download

得到1963年 少了3994万人。 这个是调试几种可接受的设定后得到的最低的数字。所以说，这三年困难时期少了四千万人，是最低的估算。

找到了2000年普查的按年龄数据：
36岁： 24144848
37岁： 27866189
38岁： 20923112
39岁： 11414017
40岁： 14684726 （1960年出生）
41岁： 13059787
42岁： 17135981
43岁： 18998424
44岁： 17364027

从17xxxxxx一下子减少到 13xxxxxx, 14xxxxxx,11xxxxxxx。 当然这17xxxxx比我刚才估算的 每年1320万多了一些，大概跟各年龄的分布有关。 抛弃刚才的数据，用 17xxxx, 18xxxx来算，就是少了700+400+500=1600万人。

这1600万人包括少出生的，也包括早死的：在2000年人口普查前就比其它年度的人（1956/1957年出生的等）*多*死的人。


此外的2400万人是纯饿死的。

Python calling shell commands

First of all, for this topic, we should always reference the official site of subprocess: https://docs.python.org/3.10/library/subprocess.html

Because when you do random google search, you will find some answers for this topic using os.system, Popen. You should know these answers are obsolete. The answers might be correct 10 years ago, but now, whenever possible, use the subprocess class to solve this problem. Of course if you are reading/using a 10-year-old program and trying to make sense of it ( you have my sympathy), then you can know the answer is still valid (but deprecated).

Second, I limit my scope in Linux shell only. Running python command in Windows is another topic that I don't have the capability to cover.

In one of my project, the code evolves itself into calling a lot of shell commands. At first it is calling ffmpeg to decode a video, then it is calling another python program to process , and it even calls "echo" to write timestamp and some information into a log file:

To keep the code simple, I was using `os.system()`.