2023年8月12日 星期六

用Databricks Container Services加速Cluster啟動速度

前言

最近有同事在Databricks的Cluster,每次啟動都很慢,之後他找了一些資料,發現可以執行自訂的Docker container來加快啟動速度,就跑來問我這個東西如何。Blog主從來不知道可以這樣做,看了一下微軟的官方文件,感覺方法也沒特別難,就照著說明試了一下,最後也成功裝上了自訂的Docker image。

先說結論,Blog主試的時候,在沒快取的狀態下,Cluster啟動時間從10分鐘降到5分鐘,大約省了一半時間,還蠻驚人的。在有快取的狀態下,啟動時間甚至來到2分鐘,不過除非很頻繁的啟動Cluster,而且都用同一個Docker image,基本上我們只看沒快取的時間就好。

為什麼我同事的Cluster啟動會特別慢?

我同事有一個Cluster專門跑自然語言處理(NLP),裡面裝了各式各樣的Python以及R的Library,數量很多,這就是最直接的原因。每次Cluster啟動的時候,Databricks都要從網路下載以及安裝,因此拖慢了啟動速度。上述說的啟動時間10分鐘只是狀況好的情況,有時甚至會拖到15~20分鐘。

Databricks的Cluster灌Library的方式有幾種?什麼情況用什麼方式?

  1. 在Cluster的設定頁面指定Library的名稱與版本
  2. 在Notebook內用%pip或%sh指令安裝
  3. 如果使用Azure Data Factory的話,可以在pipeline裡面的Databricks專用activity裡指定Library
  4. 自己建Docker image,並在Cluster設定啟動時使用(本文的主題,後述)

上面簡單整理目前Blog主所知的安裝方法,我們先暫時忽略方法4。取決於你的use case,如果是有不同功能的處理,共用同一個Cluster的情況(通常大公司,或多人開發環境,應該都屬於這個Case),Blog主推薦使用方法2或3,而這裡面又屬方法2最佳。

2023年7月26日 星期三

「その手のなかにあるものを、ちゃんと覚えておけよ」

Hulotte新作

Blog主在2021年末(沒破完)的「アインシュタインより愛を込めて APOLLOCRISIS」之後,2022年只有斷斷續續的破エロゲー,當時有玩了一下「AMBITIOUS MISSION」,但也只有碰了一下開頭,直到今年(2023年),看到要出FD,才又花了四個月100%通關,也是這次要講的主題。

不過在講主題之前,Blog主想先講一下Hulotte社的新作,剛好也是這個月(2023/07)要上市。早在四月的時候,體驗版一出來Blog主就迫不及待的試玩,畢竟Hulotte社是Blog主近年來的唯一本命,而且從2020年後就一直沒有新作。可是玩到體驗版的Blog主馬上就開始失望...在以前起碼Blog主對Hulotte社失望的點是「啊...這次真女主角的妹妹屬性變弱了」,「啊...好像沒有真妹妹了?」,但其他地方品質仍算有維持住。但這次是光開頭就覺得故事,對話都頗尷尬,埋伏筆也埋得非常硬,角色別說沒有真妹角了,甚至Blog主完全沒有一位喜歡的角色。

總之,雖然都是很主觀的意見,也許Hulotte社真的搞砸了,也許只是這次剛好劇情及角色完全錯開Blog主的喜好,又或著是最根本的,Blog主對エロゲー追求的體驗變了,考慮到這幾年Blog主對純糖,高甜度的エロゲー接受度越來越低。

摸索今後的エロゲー文

大概在2015年~2019年上半左右,此Blog的エロゲー文大概都是開箱到介紹劇情,最後講心得,而在2019年下半~2021年末,從原本的介紹劇情,轉向為介紹遊戲的特色為主,劇情為輔,Blog主當時認為,要特意用我的文字表達遊戲的劇情似乎有點沒意思,也無法完整傳達故事,不如花時間來講述遊戲的特點,而實際的故事則讓大家自己進遊戲體驗。

而在空了一段時間沒認真破エロゲー,現在再破完了「AMBITIOUS MISSION」之後,覺得比起介紹遊戲的特色,Blog主更想介紹遊戲給我帶來的想法跟啟發,又或著是紀錄感動的瞬間,而同時,Blog主也想不限制於エロゲー上,把其他Blog主聯想到的作品帶進來一起講。未來Blog主應該也會不定期上來,用新的方式記錄Blog主玩エロゲー的紀錄。

AMBITIOUS MISSION

世界は数字に支配されている。

「なにやってんだろうな。画面の中で増えてくだけの数字に踊らされて、金も、土地も、人生すら捨てようとするなんて」
「世界は数字に支配されている。すでに多くの人類にとって、数字は人の命より重いものになってやがる」

「人が人である限り、投資は理想ではいられないのさ」
「結局人は、他人の夢も、努力も、数字でしか理解できない、評価できない」
「数字を生まれなければ努力は無意味。夢に価値はない」
「すなわち金にならなければ夢も、努力も無価値であり、それを応援する意味がない。そう考える人間が多すぎる」
「幻に魅せられて、数字に支配された世界が俺の言うとおりに無害な企業を潰して行くんだ」

AMBITIOUS MISSION描述了不少人對追逐金錢的諷刺,部分題材是來自前陣子虛擬貨幣的熱潮,確實現實生活也很多人梭哈所有的錢投資虛擬貨幣,最後選擇結束人生的。讓我想起有人說,錢只要夠維持生活水準,在這之外的都看開就好,畢竟對生活沒影響,賠再多都只是數字而已。這段話Blog主印象蠻深的,道理很簡單,但實際要做到很困難,畢竟這個違反人類的心理。人很難理智的面對損失,人類對於損失的厭惡遠遠大於同等值的獲利帶來的喜悅,這也是心理學名著《快思慢想》在告訴我們的。「世界は数字に支配されている」,這句話是真也是假,答案取決於我們怎麼看待所謂的「數字」。

2023年6月29日 星期四

2023 D1GP RD.3 TSUKUBA

前言

2023年初在幕張メッセ的D1GP Kick off,以表演性質為主

這個月,Blog主來日本工作正式滿5年啦,還記得2018年6月剛來的時候,也是現在這種梅雨季節,現在再回去看當初的相片也很懷念。雖然今天要講的主題跟Blog主來這邊滿五年沒直接關係,不過確實Blog主來日本之後一直沒正式去看過D1GP,而今年(2023年)年初,Blog主去了Tokyo Auto Salon,前幾次都只在室內看,這次第一次看戶外的表演,剛好就是D1GP的Kick off,場外擠滿了人,幾乎無法用肉眼看到表演,但強烈的聲音讓Blog主非常震撼,當時就打算實際買票去看正式的D1GP。

後來Blog主看了一下2023年的場地,除了年底的台場離家很近之外,其他比較近的就是つくば跟エビス了,而つくば又近了一些,剛好時間也合,Blog主就一行人去了一趟啦。

2023年5月28日 星期日

Meebook P10 Pro

前言

自從2020年底Blog主買了兩台Kindle之後,時不時就會來看看開放式Android的E-ink裝置有沒有比較實惠的產品,因為Blog主手上的兩台Kindle都是6~7吋的,自然下一台會想上10吋的,而這個價位的E-ink裝置也一下子貴很多。直到今年(2023年)年初看到了本次介紹的Meebook P10 Pro,少了自帶手寫筆,CPU/RAM的性能還OK,價錢來到四萬日幣左右。猶豫了一陣子,Blog主就購入了一台啦。

Meebook的前身是Likebook,也算是E-ink市場的老面孔,Blog主沒很詳細的了解中間發生了什麼,應該是經過了公司組織變動,用Meebook再重打入市場,所以也不算是完全的新廠商。

簡易開箱

本體盒(左),保護殼(右)

2023年4月25日 星期二

MINISFORUM Elitemini B550

前言

由上而下:
iPhone 8
MINISFORUM Elitemini B550(本篇介紹)
ThinkCentre M75q-1 Tiny

自從2020年,Blog主入手了小電腦M75q之後,使用小電腦的機會就越來越頻繁。Blog主習慣把小電腦灌上幾個分別有不同用途的作業系統,寫程式的,玩ギャルゲー的,專門玩一些奇奇怪怪不信任的軟體的...然後在主要的PC只放一個系統,專門玩吃效能的遊戲。M75q的3400GE性能其實完全能應付日常作業,甚至是一些輕度遊戲,但偶爾當Blog主想要一些更多性能時,仍會遇到一些瓶頸,而因此Blog主看上了今天的主角,MINISFORUM的Elitemini B550。

Minisforum

說到Minisforum這家專門做小電腦的香港公司,Blog主第一次見到它家的產品是Gamers Nexus的頻道,介紹他們的HX90:「Utter Incompetence: Liquid Metal Disaster in Minisforum HX90 Small AMD Gaming PC」,從標題也可以大致看出來,其實當時整體評價非常低,還有拆解困難跟QC等等的問題。過了一陣子,在日本這家公司的產品曝光率漸漸變高,我想可能跟日本地狹人稠(起碼在首都圈)有關,小電腦的需要也不少,但同時也跟這間公司積極的找Youtuber合作也有關。雖說在歐美圈出師不利,但在日本應該評價還算好。

2023年3月29日 星期三

在日本穿外套的543

前言

Blog主2022年末在北海道的照片

Blog主來日本工作已經來到第四年,再過三個月就要滿五年了。不過老實說,前面三年的冬天,Blog主一直沒有找到合適的衣服,在台灣冬天就算太厚,穿起來會熱的衣服,在日本的冬天(尤其是晚上)仍然超級冷。剛好最近日本天氣轉溫,櫻花正開始綻放,同時花粉症的人也開始炸裂(Blog主到目前還沒花粉症...但總覺得快了),Blog主也趁這幾天收起冬天衣物,突然想到可以來寫一篇文來介紹外套。

進正文前先提醒一下,下面介紹的外套有一半在執筆的當下(2023年3月)應該都沒在販售了,不過基本上新款的產品仍然有相似的地方,特別是同一系列的產品。

Timberland

Timberland是本文裡面,唯一Blog主在台灣就有使用的品牌,當初在台灣只有穿一件式的卡其色防水外套(上圖最右),在台灣這件也很足夠了。而在Blog主2019年底回台時,還有買了一件迷彩的三合一外套(上圖最左),當時買大約8千多台幣,這件雖然在台灣超暖,但在東京仍然敵不過冬天晚上。剛好當初Blog主的是買大一號的L size,回東京的Blog主又在這邊多買了一件M size的羽絨外套配裡面,這下才勉強能撐過冬天(雖然夾了好多件)

2023年2月16日 星期四

Need for Speed Unbound PC版

前言

在經過Heat上市三年後,終於等到NFS的新作上市啦,Blog主這次因為PC買不到實體版的,也沒有PS4版的,所以等到數位版特價才入手,EA也不負期望沒三個月就給我打折了。這代剛出來的時候Steam上是好評的,跟BF2042不同,所以Blog主原本還在想應該要好段時間才打折,不過看來EA不是這麼想的。而有趣的是,自從遊戲打折後,Steam的評價就變成褒貶不一了...這個是在Blog主破完後才發現的,接下來Blog主打算講講自己覺得如何。