ThreatExchange

更新履歴

2023年8月21日時点での変更内容

マルウェア分析のエンドポイントの削除

/malware_analysesエンドポイントは削除され、すべてのバージョンで利用できなくなりました。

2023年5月23日時点での変更内容

マルウェア分析エンドポイントの廃止

  • /malware_analysesエンドポイントが廃止されました。v17以降では利用できず、2023年8月21日にすべてのバージョンで削除されます。

2023年1月9日時点での変更内容

マルウェアエンドポイントの削除

  • /malware_analysesや/malware_familiesといったthreatexchangeにおけるマルウェアのエンドポイントや、関連するマルウェアオブジェクトが削除され、間もなくすべてのバージョンで利用できなくなります。
  • これらのエンドポイントとオブジェクトはしばらく使用されていないため、削除することでAPIを簡略化することができます。
  • マルウェアについての情報交換をしたい場合は、ThreatDescriptorオブジェクトを使ってマルウェアハッシュやその他の指標をアップロードすることができます。

APIバージョン10.0での変更内容(2021年2月23日)

期限切れデータの完全削除

  • グラフAPIバージョン10.0の運用開始から90日経過後、期限切れのデータはすべて削除されます。
  • ゼロ以外のexpire_timeを指定してThreatExchangeにアップロードされたデータは、指定された期限の時点で完全に削除され、以降、表示されなくなります。
  • expired_onフィールドに現在時刻を設定すると、無効になったデータを直ちに削除できます。
  • 過去に使用されていた「ソフト」削除の手法では、期限切れコンテンツに期限切れのラベルが付けられていました。ソフト削除のサポートは終了し、期限切れコンテンツは完全に削除されるようになっています。
  • また、Facebook以外のすべてのThreatDescriptorは、作成者が設定した有効期限日になると完全に削除されます。
  • アプリに現在期限切れのThreatDescriptorがあり、それを削除したくない場合は、有効期限日を延長するか、「0」を設定してデータが期限切れにならないようにする必要があります。

2020年6月2日時点での変更内容

新世代の新しいツール

  • Facebookによるte-tag-queryのリファレンス設計に、既存のJavaバージョンに加えて、PythonおよびRubyのリファレンス実装が用意されました。(フィードバックへの対応として、curl-onlyのドキュメントがtag-queryレシピ用に分割されました。)
  • それらすべてに対して共通のコンテキストとなっているのは、ここ数年、ThreatExchangeが、単なるマルウェアやフィッシングに留まらず、企業間統合シグナルシェアへと移行してきたという点です。新しいツールは、旧ツール(pytxなど)とほぼ重なるものですが、焦点が
    • よりインタラクティブなツールに移っています。それは、より幅広いユーザーベース、
    • (マルウェア分析よりも)強力な脅威デスクリプターへの移行、
    • 企業間フィードバックメカニズムの拡張サポートに対応するものです。
  • Javaバージョンは若干やり残していることがあるものの、5月28日付けのアップデートにおけるUIの説明で示されているように、PythonとRubyのリファレンス設計には、同じ種類の一括関連付け、一括リアクション、コピーして修正、その他のワークフローが含まれています。
  • 一部のPM/DS/ポリシーの役割を担う人々にとって、UIは主要なインターフェイスです。一方、エンジニアにとって、UIは便利なツールに違いはありませんが、真にスケーラブルな処理の実装において必要なのはAPI、そして高水準言語のサポートであることが分かってきました。Python/Rubyの本日のリリースは、後者の場合のマイルストーンとなるものです。
  • こうした流れは、かつてなくエンゲージメント性が高くフィードバックに重点を置いた、企業間ユーザーベースからの需要の高まりに起因します。引き続きthreatexchange@fb.comからフィードバックをお寄せください。また、FacebookでSlackチャネルを開設されている場合は、そちらをご利用いただくことも可能です。

2020年5月28日時点での変更内容

今回のアップデートの主題は一括処理です。

  • 時間短縮となる新しいcreate-with-templates機能を使えば、ハッシュ/インジケーター値のみ異なる複数のデスクリプターを(CSVからのインポートは不要で)一括送信することができます。
  • 一括関連付けと一括リアクションを実行できるようになりました。
  • 一括アップローダーは、数百を超えるデスクリプターをアップロードする場合、動作に不具合が出やすく反応が遅くなりがちでした。しかし今では、最大8,000までのデスクリプターのファイルサイズに対応し、高性能かつインタラクティブなものになっています。
  • 同じように、検索結果は、結果サイズが1,000を超えるデスクリプターの場合に、軽量レンダリング(コピーするまでのクリック数や色数などが少ない)が使用されるようになっています。([カスタマイズ]タブで簡素化レンダリングしきい値を構成可能。)これにより、サイズの大きいデータセットをより快適にナビゲーションできるようになります。
  • デスクリプターの検索では、従来のように「or」だけでなく、複数タグの「and」を利用したパワー検索を実行できるようになりました。
  • 正式な前ページ/次ページのサポートはまだ開発中ですが、大量の検索結果セットを移動するための古いデータ検索ボタンが用意されました。

2020年4月9日時点での変更内容

ThreatExchange UIに寄せられた多くの貴重なフィードバックに基づき実現した、以下のアップデートを告知させていただきます。

  • APIだけでなくUIでさまざまなつながりを送信できるようになりました。これは、ドメインやURLなどの間のつながりをトレースするのに役立ちます。
  • 同じ客観データのより多くのデスクリプター、あるいは同じ客観データとつながりのあるより多くのデスクリプターへと拡散することにより、検索範囲を広げることができるようになりました。
  • 保存済み検索のサポートが始まり、検索にブックマークを付けたり、同僚とシェアしたりできるようになりました。

2020年1月8日時点での変更内容

ThreatExchange UIに寄せられた多くの貴重なフィードバックに基づき実現した、以下のアップデートを告知させていただきます。

  • パワー検索: ステータス、インジケータータイプ、所有者アプリ、タグ、テキストなどの関係した複雑なクエリを実行できるようになりました。(次ページのサポートはまだ開発中です。)
  • CSVファイルやJSONファイルからの一括アップロード。
  • 一括編集: ステータス、重大度、タグなど、さまざまなメタデータの一括アップデート。
  • 複製: 他の企業に送信されるIOCに自分独自の意見を追加し、自分専用のものを作成する際にキー入力を省略できます。
  • クリックして並び替え: デスクリプター、タグ、プライバシーグループ、およびTEメンバーに関する表-列ヘッダーを基準としたソート。
  • source_uri脅威デスクリプターフィールドのUIサポート。
  • ダウンロードしたCSV/JSONにreview_statusフィールドが保存されないという不具合の修正。
  • 許可リストに掲載されたタグ、プライバシーグループ、およびアプリで、CSVファイルのセミコロン区切りだけでなく、コンマ区切りも使用できるようになりました。
  • 脅威デスクリプターの属性に関するより詳細なドキュメント。

有益なフィードバックをお寄せいただき感謝します。引き続きUIの右上隅にある不具合報告機能を利用して、ThreatExchangeの改善にご協力をお願いします。

2019年10月9日時点での変更内容

  • developers.facebook.com/appsでベータ版ユーザーインターフェイスをリリースします。詳しくは、UIドキュメントをご覧ください。フィードバックがございましたら、threatexchange@fb.comまでご連絡ください。
  • アプリ承認プロセス改訂作業に関して、ご不便をおかけしております。今後公開されるアップデートにご期待ください。

2017年2月13日時点での変更内容

新機能

  • ThreatExchangeで使用するデータに対してリアクションできるようになりました。デスクリプターを表示できる人であれば、だれでもそのデスクリプターに「HELPFUL」、「NOT_HELPFUL」、「OUTDATED」、「SAW_THIS_TOO」、および「WANT MORE INFO」のマークを付けることができるようになりました。
  • 新しいエッジである/similar_malwareを使用して、関連があると思われるマルウェアのサンプルを特定できるようになりました。
  • また、FacebookではThreatIndicatorsおよびThreatTagsのための付加的なWebhooksサポートを展開しました。それにより、新しい脅威インテリジェンスが利用可能になった時点で、そのことをリアルタイムにサーバーに通知できるようになりました。

変更内容

  • Facebookのstrict_text検索パラメーターにおいて、送信した検索語に正確に一致するものに検索結果が制限されるようになりました。たとえば、この変更が加えられる前に、「google.com」に対して厳密一致テキストを有効にした脅威インジケーターを検索した場合、「http://google[.]com/fusiontables」や「http://google.com-136[.]net/DE/1/?subid=1485323323mb29920939890」などの多くの結果が表示されていました。新しい検索機能では、google.comのみの結果(つまり、ID 826838047363868の結果)が返されるようになります。脅威デスクリプターの検索時には、他のパラメーター(所有者やステータスなど)を使用して検索結果を制限することも引き続き可能です。www.google.comを見つけるには、それを別個に検索する必要があります。google.comの厳密一致テキスト検索の場合、www.google.comは返されません。

APIバージョン2.8での変更内容(2016年10月5月)

新機能

  • ThreatTagsを、MalwareAnalyses、ThreatDescriptors、およびMalwareFamiliesに追加できるようになりました。また、タグを使って検索結果にフィルターを掛けたり、ThreatExchangeにおいて/threat_tagsエンドポイントを通じて人々が使用しているタグのリストを検出したりすることもできます。

  • ThreatExchangeで、Webhooksがサポートされるようになりました。MalwareAnalyses、ThreatDescriptors、およびMalwareFamiliesへのWebhooksサポートにより、新しい脅威インテリジェンスがThreatExchangeに追加された時点で、そのことをサーバーに通知できるようになりました。プラグアンドプレイコードについて詳しくは、ThreatExchange用のWebhooksガイドをご覧ください。

  • Threatexchangeの新しいパラメーターsort_byを使うと、検索結果をRELEVANCEを基準に並び替えるか、CREATE_TIMEを基準に並び替えるかを選択できます。RELEVANCEを基準に並び替える場合、クエリから返される結果は、テキストクエリに対する類似度に応じて並び替えられます。

非推奨

  • AttackTypeおよびThreatTypeは廃止され、ThreatTagsに置き換えられます。AttackTypeおよびThreatTypeフィールドを使用して脅威データを公開したり読み取ったりしている場合、代わりにThreatTagsを使用するようコードに書き変える必要があります。2016年12月5日以降、グラフAPIのどのバージョンからも、これらのフィールドにアクセスできなくなります。スムーズに移行するため、グラフAPIの旧バージョンでは、タグと並行してこれらのタイプを使い続けられる猶予期間を設ける予定です。また、既存のthreat_typeまたはattack_typeのデータ値が、タグを通じて利用できるようになります。具体的に言うと、既存の脅威データや新しい脅威データの値がこれらのタイプである場合、オブジェクトは、それに相当する文字列値によって自動的にタグ付けされます。猶予期間の終わりまでに、threat_typeまたはattack_typeの代わりにタグを使用するよう、完全に移行する必要があります。

APIバージョン2.4での変更内容

プラットフォームバージョン2.4では、多数の変更が加えられました。これらの変更が加えられていないプラットフォームバージョン2.3は、2015年12月8日まで使用を継続できます。その日をもって、バージョン2.3のサポートは無効になります。

バージョン2.4で最も重要な変更は、デスクリプターモデルの導入です。バージョン2.3までは、すべてのデータはインジケーター上に保存されていました。バージョン2.4以降、情報は客観カテゴリと主観カテゴリに分割されます。客観情報は、だれもが表示でき、同意できるデータです。これは時間と共に変化する可能性がありますが、すべての人に同じデータが表示されます。たとえば、ドメイン名のWHOIS登録は客観情報です。主観情報は、そのデータに対する任意の人の意見を表すものです。意見は人によって異なることがあります。たとえば、同じドメインのステータスがMALICIOUSと捉えられることも、NON_MALICIOUSと捉えられることもあります。

客観情報は、そのままインジケーター上に保存されます。ほとんどの場合、客観情報をアップデートするのはFacebook側だけになります。主観情報は、デスクリプターと呼ばれる新しい構造体上に保存されるようになりました。デスクリプターの作成、編集、および検索のためのAPI呼び出しが追加されました。各AppIDごとに保持できるデスクリプターは、1つのインジケーターにつき1つです。各デスクリプターには、それを脅威インジケーターに結び付けるエッジが1つ対応しています。各インジケーターには、1つ以上のデスクリプターへのエッジが複数存在します。

現在のところ、デスクリプター間のつながりはサポートされていません。引き続き、当面の間はインジケーター間のつながりが脅威情報を関連付けるための唯一の手段となります。