搜索 | 電商行業模版驅動業務增加實踐

講師：徐希傑--阿里巴巴技術專家java

視頻地址：https://developer.aliyun.com/live/246673web

電商行業模板介紹：https://www.aliyun.com/page-source//data-intelligence/activity/opensearch算法

開放搜索簡介

    開放搜索是阿里集團搜索業務中臺AIOS體系打造的智能搜索雲平臺。 目前阿里集團內500+業務接入，主要包括釘釘、盒馬、菜鳥口碑等，整個集羣在索引的文檔數量已經超過了600億 ，日均的PV已經超過了百億。在雙十一當天查詢的QPS分值超過了百萬，文檔實時更新TPS峯值15萬+ ，而且整個服務很是平穩，沒有任何降級。在2014年開放搜索正式經過阿里雲進行商業化輸出。後端

一站式智能搜索業務開發平臺

開放搜索產品優點：網絡

• 相比於開源和自建的搜索，在覈心引擎上面更穩定，更高性能；
• 達摩院多年在NLP領域相關積累，經過查詢分析和排序搜索等形式開放，使用戶在初始階段就具有了一個高質量搜索效果；
• 搜索引導功能支持千人千面；
• 強開放性，支持多種定製的手段，能夠有內置的模型，也能夠迴流用戶本身的模型。
• 免運維，無需作運維操；

AI.OS引擎系統

阿里巴巴搜索推薦事業部自研的AI.OS技術體系服務於阿里集團內部90%以上的搜索業務，AI.OS系統天生具備彈性擴縮容，故障快速恢復的能力，比自建或開源的系統更加穩定、更加高效，可以支持海量的數據處理。架構

電商/O2O場景搜索常見問題

電商行業智能搜索系統

query處理流程

   用戶在搜索框中輸入查詢詞，而後後端的系統根據對它進行分析，分析的結果發送給搜索引擎，找到用戶想要的商品作排序返回用戶最想要的商品，最後將這些商品作一些人工干預，或者是直接最終返回的搜索結果頁給用戶展現出來。框架

如何構建電商行業智能搜索系統

若是咱們從零開始去構建一個電商行業的智能搜索系統，咱們須要解決哪些問題那？運維

1. 商品如何建庫？ 如何準確的理解用戶的查詢意圖？
2. 如何爲用戶提供個性化的搜索體驗？
3. 如何根據用戶的查詢返回最匹配的結果？
4. 常見的外圍功能怎麼構建？好比下拉提示、熱詞、底紋等；
5. 相關技術人員問題；

開放搜索電商行業模板搜索架構

商品建庫

電商行業模板在應用結構和索引結構上面爲用戶提供了一個默認的模板。 好比說將商品經常使用的字段抽象成了它的應用結構，而且根據搜索積累，爲這些爲電商搜索應用建立的對應的，默認的索引結構，用戶可能不須要有相關的領域知識就能夠建立出搜索系統應用，查詢分析和用意圖理解方面，而且結合行業的特徵作針對性的分詞的優化，行業實體識別的優化，同義詞糾錯的優化和類目預測的優化。svg

查詢分析鏈路

電商行業分詞

分詞是影響搜索效果的最基礎的模塊。開放搜索集成了淘寶搜索同款的電商分詞器，訓練語料來自淘寶搜索多年積累的百萬級有標註的電商行業數據。性能

分詞效果對比：

電商語義理解

命名實體識別

電商NER問題定義

對電商Query和標題進行實體詞打標識別其中的品牌、品類、品類修飾、型號、款式等40種類別 ；

難點

• 品牌更新快歧義大；

例：播（女裝品牌）、老爸（食品品牌

• 品類存在修飾關係 ；

例：華爲手機（品類修飾）透明手機殼（品類）

解決思路

• 現有框架知識庫更新

基於老模型鏈路從新構建全量知識庫，F1 69 -> 74

• 標註訓練數據，使用神經網絡模型

標註10萬條數據，耗時4個月，BiLSTM-CRF模型，F1 74 -> 78

• 神經網絡模型結合知識庫

技術創新GraphNER框架結合監督模型與知識庫，F1 78 -> 82

查詢分析行業加強版效果

query改寫

• 文本query

針對查詢詞處理以後改寫的query

• 個性化query

在查詢詞改寫基礎之上引入個性化信息，好比u2i，i2i，u2s2等

• 向量query

在查詢詞改寫基礎之上引入向量信息，須要對查詢詞進行向量化

多路召回技術

電商排序

支持兩輪排序機制，粗排和精排

粗排參與的文檔數量比較多，多是幾萬到幾十萬量級，因此對排序的耗時要求比較嚴格，從而致使它能使用的特徵就比較少。

精排參與的排序的數量比較少，因此打分使用特徵能夠多一些。

定製排序-Cava腳本

   Cava與排序表達式相比有更高的靈活性和開放性，方便用戶自由的定製本身的排序規則，它是開放搜索本身研發的一個類java 的語言，性能和C++至關，支持面向對象的程和即時編譯；不一樣的數據類型支持類的定義，多種運算符和一些簡單的控流程控制語句。

   另一個很重要的部分是在開發語言的基礎之上，開放搜索封裝了通用的排序特徵和爲了方便用戶開發排序新的排序特徵，也封了一些框架類的相關特徵。 經過這些特徵，用戶能夠直接在腳本中引用，從而開發出本身新的排序腳本，大大簡化了開發成本。

搜索引導功能

   內置熱搜、底紋、下拉提示多樣搜索引導算法模型，無需開發系統天天自動訓練模型，對用戶搜索意圖起到重要的引導做用，大大下降後續查詢意圖理解、相關性、排序、運營幹預等環節的調優難度，對提高總體業務目標能夠起到很是好的鋪墊做用。

搜索前引導：

搜索中引導：

電商行業模板實踐案例

案例1客戶狀況：

某電商購物平臺， 與淘寶天貓等一線商家合做，每日選擇優惠券供用戶領取使用,導購電商行業排名前TOP5；

行業模板應用效果：

• • 功能和性能遠超同類競品，無結果率降低20%，CTR絕對值提高3%；
  • 工程架構類開發和系統運維人力成本下降，團隊成員專一業務開發，幫助業務發展速度更快；
  • 搜索引導成交的GMV顯著提高；

案例2客戶狀況：

某上市的電商分期購物平臺，爲年輕人提供正規化、透明化、個性化的消費金融產品與服務；

行業模板應用效果：

• • 商品交易額增加：經過搜索服務增長了商品曝光率，帶動商品下單轉化，轉化率同比增加15% 訂單轉化提高：
  • 從商品詳情頁到下單頁的轉化率同比增加20% 接口性能大幅提高；
  • 搜索接口耗時從100ms下降到20ms 使企業可以將資源精力着重投入到用戶拉新、升級現金業務等的核心業務上；
  • 彈性擴容，預估容量峯值，知足雙十一大促等特殊時段的搜索服務需求；