<button id="yg2zl"><tr id="yg2zl"><kbd id="yg2zl"></kbd></tr></button>
  1. <nav id="yg2zl"><big id="yg2zl"></big></nav>

      1. <button id="yg2zl"><acronym id="yg2zl"><menuitem id="yg2zl"></menuitem></acronym></button>
        傳感器
        M2M 云計算
        智慧城市
        電子標簽
        二維碼
        IPV6

        未來
        物聯網
        讓一切想象變成現實!

        未來物聯網為您提供物聯網資訊,物聯網新聞,物聯網技術,物聯網會議,

        物聯網企業,物聯網行業資訊網站,全球物聯網技術及物聯網應用最新動態。

        打印 上一主題 下一主題

        從宇宙大尺度結構到胎心監測,從手機消息推送到物聯網大數據處理

        [復制鏈接]
        潤洲物聯   發表于 2021-10-26 13:11:56   查看: 256 帖子

        關注風云之聲


        提升思維層次



        導讀

        對于天體物理專業出身的我而言,非常樂意協助中國天文學界,盡自己最大的努力來給全球天文研究機構提供一個開源的、高效的天文大數據處理平臺。如果實現,這將是我個人最大的榮耀。



        早幾天,應邀在亞信做了一場“技術創新之路“的分享,面對200多位亞信的產品和研發同學,我介紹了自己從和信、快樂媽咪到現在的濤思數據的創業歷程,對三個貌似完全不同的公司的技術創新做了剖析。從來都沒有無源之水,跨界是創新的主要源泉,這是我的核心觀點。今天周末,我將自己的創新經歷寫出來,與眾多的研發同學和創業者分享,希望能給大家一點啟發。

        從宇宙大尺度結構到胎心監測


        熟悉我的人都知道,我在中國科大學的是天體物理,后去美國印第安納大學,前后念了近5年的天體物理,方向是宇宙大尺度結構,試圖用類星體的觀測數據來回答宇宙學的一個基本問題,宇宙是否具有各向同性,是否是有中心的。但當年為了早日過上美國夢的生活,我沒有念完PhD,而是在1997年初就加入了芝加哥的Motorola,放棄做科學家的夢想,做軟件工程師了。從此以后,與相對論、量子場論、黑洞、宇宙大爆炸這些話題告別,自己再也沒有想到所學的天體物理方面的知識能在工作中直接派上用場。


        然而人生處處都是意想不到 。


        2013年我創辦快樂媽咪,專注母嬰智能硬件。我們的第一款產品是胎心監測,通過超聲波的多普勒效應,用智能手機來測算胎兒的心跳。


        從記錄的胎兒心跳數據來看,可以很清晰地看到心跳是一個周期性的信號。最初,我認為這是一簡單的事情,寫個程序就很容易計算心跳周期。但沒想到,我們研發同學花了一個多月時間,計算出的心率就是不準。而且深圳的廠商告訴我,全中國只有5個人知道如何計算胎心的算法,很有技術挑戰。于是小伙伴們建議我,趕快找清華的老師來解決。


        我聽了之后哈哈大笑說:“如果這個問題要靠清華老師解決,這公司就不要開了!


        網上搜了幾篇胎心監測的技術文章,看完后,我心里很清楚,認為可以用我學天體物理時所學的相關函數方法來解決這個問題。相關函數是一種通用的數字信號的處理方法,被天體物理學界用來分析宇宙大尺度結構,包括類星體空間分布,只是分析的是空間域的周期,是三維的。胎心是一個時間域的分析,而且是一維的,簡單很多。


        意識到可以用相關函數處理后,我馬上動手寫程序,先用快速傅里葉變換對胎心信號做濾波,然后通過滑動窗口計算相關函數,從相關函數計算出的最大值對應的滑動窗口大小定出周期,600多行程序,就這樣簡單。一周后,我給小伙伴們展示可以準確而且快速地在iPhone上計算出胎心的時候,大家都很興奮。而且與市場上其他產品做對比測試顯示,我的程序計算的數字更快、更準,并與賣20多萬RMB的惠普專業胎心儀計算出的結果完全一致。


        快樂媽咪胎語儀


        后來,我回到科大天體物理中心,給我的導師褚耀泉老師及其他同學談起這個算法,大家既震驚又開心,多普勒效應、相關函數的方法居然用來測胎兒胎心。我自己也感慨,五年的天體物理的專業學習,居然沒有白費。


        可見,天體物理的研究方法貌似不近人間煙火,但其實與我們日常生活又是密切相關的。世界上很多問題,看似復雜,但在抽象之后,本質上都是一樣的。不僅宇宙大尺度結構空間周期的計算、胎心的計算,而且手環記錄的步數、跑步機上心率的計算,都是可以用相關函數算法來解決的。


        從手機消息推送到物聯網大數據處理


        2016年初,快樂媽咪被收購。之后,我先是休息了幾個月,但閑不住,就開始看各種項目,想嘗試做天使投資,但看的最多的是與智能硬件、物聯網相關的項目?赐旰,我發現大家對物聯網大數據處理的方法是極其的復雜,把Kafka, Redis, HBase, Spark, MongoDB等眾多的開源軟件堆砌在一起來處理數據,不僅研發成本高,而且部署復雜、維護成本很高。從一個受過多年物理專業訓練的人看來,萬事復雜的時候,一定要分析問題的本質,分析出本質后,解決方法往往很簡單。經典力學的牛頓三大定律、電動力學的麥克斯韋方程、量子力學的波動方程,無一不是如此。


        于是,我嘗試分析物聯網大數據,進而發現,這些傳感器、機器、設備采集的數據很有特點,仔細分析各種場景,總結出十大特點。1: 數據是時序的,一定帶有時間戳;2:數據是結構化的;3:數據源是唯一的;4:數據極少有更新或刪除操作;5:數據是有保留期限的;6:相對互聯網應用,寫多讀少;7:流量平穩,可以預測;8:數據的查詢分析一定是基于時間段和地理區域的;9:除存儲查詢外,還往往需要各種統計和實時計算操作;10:數據量巨大。


        那么基于這些特點如何更加高效的處理呢?我自己沒有大數據處理或數據庫的研發背景,一下想不到好方法。但2016年10月的一天,我突然意識到,任何一個傳感器或設備產生的數據實際上是一個數據流,這個流送到云端服務器的時候,實際上對數據的處理是類似一個消息隊列的處理。我一下就興奮起來,因為這意味著可以照搬我2008年的和信的體系架構設計,輕車熟路,只是解決的具體問題不一樣。


        2007年底,基于各種因素,我判斷移動互聯網的春天已經到來。移動互聯網起來后,一定要有一個統一的實時消息推送平臺,將各種應用的通知發到手機。因為對網絡防火墻打洞技術有深入的研究,我找到了一條高效的省電、省流量的推送方法,因此,2008年初我就辭掉芝加哥Motorola的工作,回到北京,創辦了和信。和信除提供推送服務外,還想給所有的移動用戶提供免費短信、彩信服務。


        我自己動手開發了核心的推送模塊,但除推送模塊之外,還需要一個很重要的模塊,那就是需要將所有未下發的消息進行存儲。解決辦法很簡單,為每臺手機建一個inbox, 而且用消息隊列的方式,先進先出,每下發一條消息,等收到手機回應后,再下發下一條。后來由于用戶不斷增長,我們就開發了一個全分布式的、高可靠的、有持久化存儲的消息隊列。


        當意識到傳感器、設備的數據本質上是一個流,可以用類似消息隊列的方法來處理的時候,我真是興奮不已,而且馬上就想明白了物聯網場景下的數據模型,需要對每個傳感器或設備單獨建表。


        于是,一個數據采集點一張表的創新想法就這么出來了。


        很多人曾問我,你怎么想到一個采集點一張表的模型,我說,做和信的時候,就是一臺手機一個消息隊列,這個想法對我而言是太自然的事情了。


        現在物聯網數據的處理,與我當年的消息隊列模塊相比,存儲架構上,只是一個結構化與非結構化的區別。結構化的目的是為了更高效的做各種計算和查詢。而實際應用中,還需要對多個設備之間的數據進行高效聚合,我馬上又想到可以用數據分析中的維度表、事實表的模型來解決。


        因此接下來,我很快就提出了超級表的概念。


        TDengine的GitHub頁面



        技術解決方法想明白后,真是腦洞大開,對于物聯網大數據,我們根本不需要復雜的Kafka、Redis、HBase、Spark、Flink等軟件的組合,完全可以用一套極為簡單的方法來處理。想到萬物互聯的時代正在到來,如果能提供一個極為高效而且簡單易用的物聯網大數據處理工具給全球開發者使用,那是一個很值得驕傲、而且有巨大商業價值的事情,我便在49歲的時候,下定決心進行第三次創業,因此有了現在的濤思數據,有了現在開源的TDengine。

        “不識廬山真面目,只緣身在此山中”


        很多人質疑過我,你不是一個從Oracle, DB2核心團隊出來的人,怎么能做數據庫?但細挖我的歷史,明白消息隊列與時序數據之間的相似之處后,我想就不會奇怪了。而且正是由于我是跨界過來的,更容易想到創新甚至是顛覆式的方法來處理物聯網的大數據問題。


        我見過也面試過國內很多做數據庫內核開發的,基本上就是在開源代碼的基礎上,做點修修補補、或者是包一層殼,來做自主可控的產品,這里面很難看到顛覆性的創新。我不會選擇這樣的方式來研發產品,更不會用它來做創業的方向。找不到真正的創新,我還不如退休過休閑的日子。


        “橫看成嶺側成峰,遠近高低各不同。不識廬山真面目,只緣身在此山中”,當任何一個問題從不同角度看時,會是完全不一樣的。在一個行業呆的過久的人往往難有創新,因為眼光已經固定。同樣是物聯網數據的處理,與業內人士相比,我這個曾學過流體力學、天體物理、計算機等專業,還在高分子物理實驗室泡過幾年,在美國做過手機軟件、核心網絡設備研發,更是在消息推送、智能硬件上創業過的老兵,看待的角度和發現的問題,自然不一樣,甚至是截然不同。


        因此,創新對我而言便是一件很自然的事情。


        TDengine已經開發了四年時間,而且從2019年7月開源之后,特別是去年8月集群版開源之后,獲得了開發者社區的巨大反響,每天GitHub上克隆的用戶數都是好幾百,每天上線的運行實例數都在100以上,幾乎成了物聯網行業數據處理的事實標準。每天看到這些數字時,我都是很激動,覺得自己貢獻的五萬多行代碼沒有白寫。


        但更讓我激動的是,TDengine有可能在我曾熱愛的天體物理領域發揮作用。


        現在全世界,包括中國,甚至中國科大,都在建巡天望遠鏡。這些望遠鏡每天記錄數百億顆星星的亮度、光譜等信息,根據長時間的觀測,來找到有異常變化的星星,然后對其做專門的觀測。這樣產生的數據量極其巨大,而且誕生了天文學新的分支,時域天文學。其實,這些觀測的數據,就是標準的時序數據,完全可以用TDengine來高效處理。對于天體物理專業出身的我而言,非常樂意協助中國天文學界,盡自己最大的努力來給全球天文研究機構提供一個開源的、高效的天文大數據處理平臺。


        如果實現,這將是我個人最大的榮耀。


        1993年天體物理碩士論文目錄


        仔細研究,你會發現,無論是巡天望遠鏡產生的數據、地震波的數據,還是發電機組的數據、智能電表的數據、車聯網的數據,亦或是新零售的數據、IT運維的數據,甚至是股票交易的數據,一定的抽象之后,本質上都是一樣的。大家都是希望基于這些數據做預測,做實時預警,連分析算法都沒有什么區別。


        世界本來就是簡單的,沒有那么復雜。



        擴展閱讀

        開源 –——“這是最好的時代,這是最壞的時代”|陶建輝

        “做自己擅長又有興趣的事情,是最幸福最快樂的” – 記我的大學老師 | 陶建輝

        核心功能全部開源,雖霸榜GitHub,但怎么賺錢?| 陶建輝

        被歐美公司壟斷的工業軟件,中國還有機會嗎?| 陶建輝

        背景簡介:本文2021年3月14日發表于微信公眾號 愛倒騰的程序員(從宇宙大尺度結構到胎心監測,從手機消息推送到物聯網大數據處理 – 跨界是創新的主要源泉),風云之聲獲授權轉載。責任編輯:孫遠
         鄭重聲明:本文僅代表作者個人觀點,與未來物聯網(wlit.cn)無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
        回復

        使用道具 舉報

        QQ|Archiver|手機版|未來物聯網 ( 魯ICP備17019744號-2 ) 百度統計

        GMT+8, 2021-11-5 17:43 , Processed in 0.095392 second(s), 22 queries .

        Powered by Discuz! X3.4

        © 2001-2013 Comsenz Inc.

        快速回復 返回頂部 返回列表
        中文字字幕人妻中文
          <button id="yg2zl"><tr id="yg2zl"><kbd id="yg2zl"></kbd></tr></button>
        1. <nav id="yg2zl"><big id="yg2zl"></big></nav>

            1. <button id="yg2zl"><acronym id="yg2zl"><menuitem id="yg2zl"></menuitem></acronym></button>