第十二章 把自己當驢使喚(2 / 2)

絕對掌控 泡泡妹妹 1687 字 9個月前






而股神通過爬蟲搜集來的數據肯定是海量的,至少是t級別的,就是跑到p級別也不算是什麼大事。比如1p的數據,它大概相當於25o萬部電影。人的一生也不過3萬天,每天看十部電影,也足夠看十輩子的了。

在如此大量的數據麵前,莫回必然麵臨一個帶寬問題,很容易想象,出租屋裡的小區寬帶肯定是不好使的。

現在級本的運算能力已經獲得驗證了,應該是比較常的,但是它的存儲能力還未測試,如果存儲能力不成的話,莫回還必須為這海量數據尋找一個存儲空間。

諸如此類的問題還有很多,如果莫回想要把股神完成,並且上線運行,那麼他必須像是老黃牛一樣,勤勤懇懇的往前走,把這些擋路石一個個的全部處理掉。

本來這些事就是交給一個公司處理,一個成熟的團隊來處理,都未必能夠處理得很好,現在莫回需要一個人搞定,並且很可能必須不顯山不漏水的一個人搞定,這裡麵的難度就可想而知了。

想想未來的前路,莫回感覺好像是登珠峰一樣,好高啊~~~

好在莫回多少算是業內人士,這些事基本算得上是本職工作,無非就是項目經理、產品經理、主程、架構一肩挑了。難是難了點,工作量大是大了點,但是好歹還算有解決辦法,隻要沿著道路一步步走,總會有完成的那一天。

工作量不小,不過也不是沒有捷徑可走,莫回點開網頁,開始搜集他需要的開源軟件。他去開源之家搜了一下,開源的爬蟲就有有一百多個,裡麵估計會有合用的。

五大模塊他都簡單的搜了一下,大多數都還有類似的可替代軟件,現在他需要做的就是在裡麵找到最合適的哪一款,然後修改後進行組裝。

先需要選擇開語言,各種語言都有自己的適用範圍和優缺點,一旦選定了,那麼五大模塊都需要是同一個語言開出來的才行,這樣也方便組裝和拓展開。

莫回想了想,他最終選定了c++,因為這種語言更加靠近底層和匯編,整體執行效率和度比較好。

莫回開始在網上尋找和篩選合用的開源軟件,將那些基本符合要求的c++開的軟件全部下載下來,各自先歸類存儲起來。

等莫回將合用的三十多個各類爬蟲全部下載下來的時候夜已經深了,莫回揉揉僵硬的脖頸,伸伸懶腰,不由得為今後的日子哀嘆︰要拚老命了啊,上班拚命回家也要拚命,這是要把自己當驢使喚啊~~~





//