税理士としての大規模言語モデル: この AI 論文では、税法の適用における LLM の機能を調査します

Feb 05, 2024

AIの進歩は進んでいます。 大規模言語モデル (LLM) は、急速な進歩が起こっている場所です。 最新の LLM は、ツールを使用し、計画を立て、標準化された評価に合格できます。 しかし、作成者にとってさえ、LLM は単なる謎の箱です。 彼らは内部でどのように考えているかについてあまり知らず、LLM が新しい状況でどのように行動するかを予測できません。 モデルを研究環境以外で使用する前に、ベンチマークの長いリストに基づいて LLM のパフォーマンスを評価することがベスト プラクティスです。 ただし、これらのベンチマークは、私たちにとって重要な、またはトレーニング中に LLM によって記憶されている可能性がある現実世界のアクティビティを反映する必要があることがよくあります。 パフォーマンス評価に必要なデータは、通常、LLM のトレーニングに使用されるデータセットに含まれており、インターネットから頻繁にダウンロードされます。

重複によってモデルのパフォーマンスが過大評価される可能性があり、単なる認識にすぎない場合でも、理解しているような印象を与える可能性があります。 彼らは 3 つの理由から、特に LLM の法的分析スキルに評価の取り組みを集中させています。 まず、LLM が法律をどの程度理解しているかを判断することは、LLM と自動化システムのより一般的な規制に役立ちます。 政策関連戦略の 1 つは、民主的な手続きと法律制定を通じて確立された社会の理想と一致する「法に基づく AI」のために、LLM で法的および規制上の推論を利用することです。 この「法は規範を知らせる」戦略は、反復的な審議と訴訟を通じて受託者義務などの柔軟な法規範を生み出す民主的プロセスの実証された能力に基づいています。 AI システムに法の精神を教えることで、不慣れな状況でも防御可能な意思決定を行えるようになるという考えです。 LLM を利用したシステムが人間の原理をサポートしている場合、受託者責任が破られたことを早期に検出できるこの能力により、より安全な AI の導入が可能になる可能性があります。 第 2 に、セルフサービスまたは資格のある弁護士を通じて、LLM は法律サービスをより迅速かつ効果的に提供するための手段として利用される可能性があります。 法則をよりよく理解すれば、モデルの信頼性と価値がさらに高まる可能性があります。 LLM は、事件の予測から契約分析まで、さまざまな活動を支援することで、法的支援へのアクセスを民主化し、法制度を理解するのが難しいと思われる個人のコストと複雑さを軽減します。

法的業務のデリケートな性質を考慮すると、これらのモデルを実装する際には、特定の保護を実装する必要があります。 これには、データのプライバシーの向上、偏見の軽減、これらのモデルの選択に対する責任の維持、特定のユースケースに対する LLM の適用性の評価が含まれます。 したがって、体系的な評価が必要です。 第三に、LLM が十分な法的知識を持っている場合、政府、国民、学者が法的矛盾を見つけるために LLM を利用する可能性があります。 LLM は、政府の全体的な有効性と公開性を向上させる可能性があります。 たとえば、LLM は複雑なルールや規制を明確かつわかりやすい方法で説明できることがよくあります。

将来的には、LLM は新しい法律や政策の予想される影響を予測できるようになります。 LLM は、他の同様のケースで、立法府や規制当局が膨大な量の法文言と付随する実装を精査することによって指導を行っている場合に、「時代遅れ」の可能性がある法律や法律が沈黙している状況を特定する可能性があります。 この研究では、スタンフォード大学、ミシガン大学、ワシントン大学、南カリフォルニア大学、ノースウェスタン・プリツカー法科大学院およびSimPPLの研究者が、米国法典（連邦法の集合体）のテキストを使用した検索拡張LLMの作成を調査しています。 ) および米国連邦規則集 (CFR)。 彼らは、LLM のグループの税法の理解の発展を評価します。 彼らは4つの要素から税法を決定した。

税法の法的権限は、主に 2 つの情報源に含まれています。CFR に基づく財務規則と米国法典第 26 編 (一般に内国歳入法として知られています) です。 これは、原則が複数の先例から抽出されたいくつかの法的領域とは対照的です。 これにより、関連する可能性のあるドキュメントの事前定義されたユニバースを使用して LLM の検索を補足できるようになります。 第二に、多くの税法では質問に対する決定的な回答が認められています。 これにより、一貫した自動検証ワークフローを構築できるようになります。 第三に、特定のケースに関する税法の問題に対処するには、通常、関連する法的権威を単に読むだけでは不十分です。 したがって、現実世界の実践に適用できる方法で LLM コンピテンシーを評価できます。