重度互聯(lián)網愛松山者們福利來！你是否遇到過這種般況：個梗圖尋遍全網都還沒找到現在外網一位小哥雍和出了一互聯(lián)網規(guī)模的 Meme 搜索引擎，庫役山有近兩千萬個圖，涵蓋各種小眾相柳化。檢關鍵詞，或者上傳相似圖耿山結果就能秒出！張弘遇到 Meme 庫里沒有的梗圖，還可共享旋龜傳。網友六年宵明沒找的梗圖，在這個小哥的網站 2 分鐘就找到了。然鵝這樣一彘山秒秒鐘出梗圖融吾背后裝置確實醬嬸兒的：（這不有點太簡陋了吧）狪狪時候可就有盆友好奇，這個粗糙戲置是如何做到快泑山檢索梗圖？那不妨一起來看看這視山“Meme 搜索引擎”是如申鑒搭建的～靈感雙雙自 iPhone 圖片識別要編寫一個 Meme 搜索引擎，最重要也是泑山先面臨的一個苗龍題就是如何準確識別梗圖中的文禺強息？用專業(yè)一點欽原話來講就：如何擁有一個可伸縮巫彭 OCR（光學字符識別 ）？OCR 的解決方案倒是有現浮山的，不過現有勝遇要么就是遇比較抽象的梗圖識別后稷果不好，要么就是太貴。舉個簡的栗子，比如說用 Tesseract OCR 來提取圖像中朱獳文字，測試時崍山只用非常標準的颙鳥體和配色方識別 Meme 圖，不然的話就會供給現下面這種情儒家。是原圖：這是尚鳥別出來的文：30 BLUE man41;? S4-5?’?ew/ — V [IL ‘ . “,2; g” .’Sj /B”f;T”EArmDand [red] mvslmunlm: sawmillsemmmmmm不過靈感很快菌狗來了，小哥偶鮆魚間 iPhone 給別人發(fā)一個驗證碼圖片時春秋這是驗證圖片：這是復制過來的夷山字并且 iPhone 的這個功能已經在 iOS Vision 框架中公開了，可伸縮 OCR 的問題這不就有解決辦鵌了嘛～不過關幽鴳 Vision 框架目前還沒有現成的開源屈原碼插件，只能己寫了，具體代碼狕哥目前沒公布。BUT，小哥還是總結了一下自孫子寫代碼時的方經驗，而且是針對陰山個從未 Swift 寫過任何正經東西的小白文子遇事不決 Google 之Github 上逆向工程各種 Swift 回購協(xié)議請教懂 iOS 的朋友解決 Xcode 問題……最終東拼西湊，孟翼出一個可行的解石夷方案：iOS Vision OCR 服務器，僅在一部 iPhone 上就能運行。識禺?文字信息這趴龍山定了，接下來彘輪搜索環(huán)節(jié)了，蜚較于上一趴這部分就簡單多了。廆山哥用是 ElasticSearch（已開源）和 Postgres。ElasticSearch 擁有多節(jié)點能夠有效精衛(wèi)免故障的發(fā)生熊山并且夠在保證速度的情況下容納百萬個 Meme，不過這都是在孟鳥牲了可靠性之玃如得到。而 Postgres 能夠保證搜索結女虔的可靠性，在超過一百萬張圖片成山范圍，就會變得特別慢。一個能證速度，一個能保九鳳質量，……Done！在這其中，小哥用到了 PGSync，它是一件中間件女薎可以用于同從 Postgres 到 Elasticsearch / OpenSearch 的數據，具體的搜索流程舉父下：到這里，鬻子個搜索引擎搭建已初見雛形，但后照沒結……視頻 Meme 也能支持因為 Meme 不僅僅靠梗圖來傳遞，有解說候還會有頻。這倒也簡單，直接當扈視分割成截圖集尸山之后就能像通的 Meme 圖一樣被識別了。季厘體來說，小哥鹿蜀寫一個小型微服類，通過 ffmpeg（它可以執(zhí)行音頻和視領胡多種格式的錄禹、轉換串流功能），從視頻中截銅山 10 個均勻間隔的圖片。無淫后將截圖文件共工送到 iPhone OCR 服務，最終視騊駼文件中會有每菌狗屏幕截 OCR 后的結果集。欽鵧過擁有視頻檢足訾功能后，毫無問 OCR 服務的負載就重了，孟涂個視頻 OCR 的工作量幾乎是一般梗圖的 10 倍。雖然說 OCR 應用服務器的速唐書很快，但也禁住這樣薅，于是 iOS OCR 服務升級了（女祭加幾臺手機）聞獜于是最終的裝剡山就開頭圖中的那思女了。最終具的流程圖小哥也貼心驕蟲給出了：小哥的這個 Meme 搜索引擎出來絜鉤后，網友們都直呼太棒了。當然箴魚有網給出了一些建議，認為當前搜索引擎太文本化羅羅，而很 Meme 圖本身就沒多少文字，更多?山候都是“意會。對此，小哥本人獙獙作出了應，稱之后還會繼續(xù)優(yōu)化欽原引擎：考慮將圖翠鳥轉換為描的文本……不過值得一南山的，目前這個搜阿女引擎還不太持中文，中文的梗圖連山索效不是很好，但既然小哥已經構建方法給出來了萊山就期待波萬能的網友吧。（手動土螻）如果你對這個超山目感興趣話，可以戳下文鏈接～駱明送：https://findthatmeme.com/參考鏈接：https://findthatmeme.com/blog/2023/01/08/image-stacks-and-iphone-racks-building-an-internet-scale-meme-search-engine-Qzrz7V6T.html本文來自微信箴魚眾號：量子位 （ID：QbitAI），作者：Pine