お疲れ様です!IT業界で働くアライグマです!
「Twitterでブックマークした技術記事、後で読もうと思っていたのにAPIの仕様変更で消えてしまった」「気になる投稿を保存していたのに、アカウント凍結で全部見れなくなった」――こんな経験はありませんか?
プラットフォーム依存のブックマーク管理は、データの永続性という観点で大きなリスクを抱えています。smaugは、ドラゴンが宝を集めるように、あなたがブックマークした価値ある情報をMarkdown形式で自動アーカイブし、ローカルに永続保存するセルフホストツールです。
本記事では、smaugの導入から自動アーカイブの設定まで、実践的な手順を解説します。
smaugの概要とブックマーク管理の課題
smaugは、Twitter/Xのブックマークを自動的にMarkdown形式でアーカイブするオープンソースツールです。GitHub リポジトリで公開されており、JavaScriptで実装されています。
なぜブックマーク管理が重要なのか
技術者にとって、SNSで見つけた技術記事やノウハウは貴重な情報源です。しかし、以下のリスクにさらされています。
- プラットフォームの仕様変更:API制限やUI変更でアクセスできなくなる
- アカウントリスク:投稿者のアカウント削除・凍結で投稿が消失
- サービス終了リスク:プラットフォーム自体のサービス終了可能性
情報のインプットとアウトプットを効率化することは、エンジニアの成長に直結します。
smaugが解決する課題
smaugは以下の特徴を持っています。
- 自動アーカイブ:ブックマークした投稿を自動でMarkdownに変換・保存
- ローカル保存:プラットフォームに依存しない永続的なデータ保持
- 検索可能:Markdownファイルなので、お気に入りのエディタで全文検索可能
- Git管理:変更履歴をGitで追跡し、バックアップと復元が容易
| 保存方法 | 出力形式 | 自動定期実行 | 元投稿削除時の保持 | Obsidian / Git連携 |
|---|---|---|---|---|
| smaug(セルフホスト) | Markdown(フロントマター付き) | cronで自動化可能 | ローカルに永続保持 | そのまま配置・管理可能 |
| X公式ブックマーク | Xアプリ/Web内のみ | 手動確認のみ | 元投稿削除・凍結で消失 | 不可 |
| X公式データアーカイブ | HTML / JS(一括申請) | 毎回手動で申請・DL | 取得時点の履歴のみ | 別途変換スクリプトが必要 |
IT女子 アラ美前提条件と環境構築
smaugを導入するにあたって、以下の環境が必要です。
必要な環境
- Node.js:v18以上推奨
- npmまたはpnpm:パッケージ管理用
- Twitter/X アカウント:ブックマーク機能を利用しているアカウント
- Git(任意):アーカイブの変更履歴管理用
smaugはTwitter APIではなく、ブラウザのCookieを利用してブックマークを取得します。この方式は「claude-code-safety-netで安全なAIコーディング」で触れているような自動化ツールと同様に、ローカル環境で完結する設計になっています。
リポジトリのクローンと依存関係のインストール
# リポジトリをクローン
git clone https://github.com/alexknowshtml/smaug.git
cd smaug
# 依存関係をインストール
npm install
IT女子 アラ美smaugのセットアップと初期設定
ここでは、smaugの初期設定から最初のアーカイブ実行までを解説します。
認証設定
smaugはTwitter/Xへのログイン状態を維持するため、ブラウザのCookieを利用します。初回実行時に認証プロセスが走り、ブラウザが起動してログインを求められます。
# 初回セットアップ(ブラウザが起動しログインを要求)
npm run setup
設定ファイルの編集
config.jsonファイルで、アーカイブの出力先や形式を設定できます。
{
"outputDir": "./archive",
"format": "markdown",
"includeMedia": true,
"autoSync": true,
"syncInterval": 3600
}
- outputDir:Markdownファイルの出力先ディレクトリ
- format:出力形式(markdown推奨)
- includeMedia:画像・動画のダウンロード有無
- autoSync:自動同期の有効化
- syncInterval:同期間隔(秒)
情報資産の管理も、特定のプラットフォームに「依存しない」設計が重要です。smaugのようなセルフホストアーカイブ方式を使えば、投稿削除や仕様変更によるデータ消失リスクを軽減できます。
IT女子 アラ美自動アーカイブの実行と運用
smaugの設定が完了したら、実際にブックマークをアーカイブしてみましょう。
手動実行
# ブックマークを取得してアーカイブ
npm run archive
# 差分のみアーカイブ(高速)
npm run archive -- --incremental
cronによる定期実行
サーバーやNASで常時稼働させる場合は、cronで定期実行を設定します。
# crontab編集
crontab -e
# 毎日午前3時にアーカイブを実行
0 3 * * * cd /path/to/smaug && npm run archive -- --incremental
Git連携による変更履歴管理
アーカイブディレクトリをGitリポジトリとして初期化し、変更履歴を追跡することで、いつどのブックマークが追加されたかを確認できます。
cd archive
git init
git add .
git commit -m "Initial archive import"
# 以降は自動コミットスクリプトをcronで実行
ローカルファイルをAIエージェントの参照ソースにすることも可能です。アーカイブしたMarkdownをRAGのソースにするなど、応用の幅が広がります。
IT女子 アラ美smaugを使った技術情報アーカイブの進め方の例
X(旧Twitter)のブックマークが増えて後から探しにくくなったり、元投稿の削除で見返せなくなったりするのを防ぐときの、導入の進め方と確かめ方の例です。
試したい場面
- ブックマークした技術記事やOSSの解説が溜まり、X標準の検索では目当ての投稿を探しにくい
- 参考にした投稿が投稿者のアカウント削除や非公開化で消えてしまい、後から手順を追えなくなったことがある
進め方
- 環境構築:常時稼働するPCや自宅NASにNode.js環境を用意し、smaugをインストールする
- 初期アーカイブ:既存のブックマークをMarkdownファイルとして一括出力し、タイトルやリンクが正しく保存されるか確認する
- 自動化設定:cronなどで毎日決まった時刻に差分アーカイブを実行するよう設定する
- 検索環境構築:VS CodeやObsidianなどのローカルエディタでアーカイブ先フォルダを開き、全文検索できる状態にする
- バックアップ:クラウドストレージ等と同期し、ローカル端末の故障時にも復元できるようにする
確かめること
数日間運用したあと、新しくブックマークした投稿が自動でMarkdownファイルに追加されているかと、ローカルの全文検索でキーワードから該当投稿にすぐたどり着けるかを確かめます。アーカイブを手元に置いておけば、投稿が削除された場合でも自分のメモや参照リンクとして手元に残ります。また、検索しやすいようにタグや日付別のディレクトリ構成が崩れていないかもあわせて確認しておくと、後から技術ブログや社内共有の下調べに再利用しやすくなります。「月額5ドル以下でRAGシステムを構築する」で紹介した構成と組み合わせれば、アーカイブをAI検索の対象にすることも可能です。
IT女子 アラ美さらなる活用と発展的な設定
smaugを基本的に運用できるようになったら、さらに便利な活用方法を検討してみましょう。
Obsidianとの連携
アーカイブしたMarkdownファイルをObsidianのVaultに配置することで、他のノートとリンクしたり、グラフビューで関連性を可視化できます。エディタとナレッジをスムーズに往復したい場合は、CursorとObsidianの連携ガイドを参考にすると、開発作業とメモ管理を強力に統合できます。また、個人だけでなくチームで情報を集約・整理したい場合は、Microsoft Loop実践ガイドの活用もおすすめです。
RAGソースとしての活用
アーカイブをベクトルDBに登録し、AIアシスタントのRAGソースとして活用することも可能です。過去にブックマークした技術情報を自然言語で検索できるようになります。ローカル環境でMarkdown文書をまとめて検索・要約したい場合は、AnythingLLMの使い方・ローカルRAG構築ガイドも参考になります。
複数アカウントの管理
複数のTwitter/Xアカウントを運用している場合は、アカウントごとにsmaugインスタンスを分けて管理することで、情報を整理できます。
「tallyでAIエージェントに銀行取引を分類させる」で紹介したような自動分類と組み合わせれば、アーカイブした投稿を自動でカテゴリ分けすることも実現できます。
本記事で解説したようなAI技術を、基礎から体系的に身につけたい方は、以下のスクールも検討してみてください。
| 比較項目 | Winスクール | Aidemy Premium |
|---|---|---|
| 目的・ゴール | 資格取得・スキルアップ初心者〜社会人向け | エンジニア転身・E資格Python/AI開発 |
| 難易度 | 個人レッスン形式 | コード記述あり |
| 補助金・給付金 | 教育訓練給付金対象 | 教育訓練給付金対象 |
| おすすめ度 | 幅広くITスキルを学ぶなら | AIエンジニアになるなら |
| 公式サイト | 詳細を見る | − |
IT女子 アラ美よくある質問
Q. Twitter/Xの公式機能でブックマークをMarkdown形式でエクスポートできる?
公式の機能にはMarkdownでブックマークを出力する機能はありません。公式のデータアーカイブ申請ではHTMLやJS形式でダウンロードされますが、ブックマークの一括出力には制限があります。そのため、smaugなどのセルフホスト型ツールを利用して直接Markdownとして自動保存するのが最も効率的です。
Q. smaugで出力したMarkdownファイルはObsidianやNotionに取り込める?
はい、smaugは標準的なMarkdownフロントマター付きで出力されるため、Obsidianの保管庫フォルダにそのまま同期したり、Notionのインポート機能からそのまま知識ベースとして取り込むことが可能です。
Q. XのAPI有料化による影響や追加の料金は発生する?
smaugは高額な有料APIを叩く方式ではなく、Playwright等のブラウザ自動化を用いて認証セッションからブックマークを取得する設計になっているため、X APIの有料プラン契約なしで利用できます。
IT女子 アラ美まとめ
smaugを使ったTwitter/Xブックマークの自動アーカイブについて解説しました。
- プラットフォーム依存のリスク:ブックマークは投稿者の削除やアカウント停止で消失する可能性がある
- smaugでセルフホストアーカイブ:Markdown形式でローカルに永続保存し、検索・管理が容易に
- 自動化と継続運用:cronで定期実行し、Git連携で変更履歴を追跡
技術者にとって、良質な情報を効率よく収集・保存・活用することは、日々の業務効率とスキルアップに直結します。smaugを導入して、大切なブックマークをドラゴンのように守り抜きましょう。
IT女子 アラ美