يعتبر كتاب الأغاني لأبي فرج الأصفهاني كتاب أدب وسمر وغناء ومجون وليس كتاب علم وتاريخ وفقه وله طنين ورنين في آذان أهل الأدب والتاريخ ولقد تحدث العلماء فيه قديماً فقالوا:
- قال الخطيب البغدادي: كان أبو الفرج الأصفهاني أكذب الناس كان يشتري شيئاً كثيراً من الصحف، ثم تكون كل رواياته منها.
- قال ابن الجوزي: ... ومثله لا يوثق بروايته، يصّح فيه كتبه بما يوجب عليه الفسق، ويهوّن شرب الخمر، وربما حكى ذلك عن نفسه، ومن تأمَّل كتاب الأغاني، رأى كل قبيح ومنكر (?).
- قال الذهبي: رأيت شيخنا تقيّ الدين ابن تيمية يضعّفه ويتهمه في نقله، ويستهْول ما يأتي به (?).
وقد تحدث عنه بعض المعاصرين فقالوا:
- قال الأستاذ شوقي أبو خليل مقوماً مصادر فيليب حتَّى في كتابه تاريخ العرب المطوّل ما نصه: واعتمد حتى كتاب الأغاني للأصفهاني، وهو ليس كتاب تاريخ يعتمد أيضاً، إنّه كتاب أدب، وهذا لا يعني مطلقاً أن كل كتاب أدب لا يؤخذ به، بل يعتمد إن كان صاحبه ثقة، معروفاً عنه الأمانة في النقل والرِّواية. إن كتاب الأغاني الذي جعله حتَّى مرجعاً تاريخياً معتمداً، صاحبه متَّهم في أمانته الأدبيَّة والتاريخية، جاء في ميزان الاعتدال في نقد الرّجال: أن الأصفهاني في كتابه الأغاني كان يأتي بالأعاجيب بحدثنا وأخبرنا. ومن يقرأ الأغاني يرى حياة العباسيين لهواً ومجوناً وغناء وشراباً .. وهذا يناسب المؤلِّف وخياله وحياته، ومن يرجع إلى كتب التاريخ الصحيحة يجد صورة أخرى فيها علم وجهاد وأدب، فكتاب الأغاني ليس كتاب تاريخ يحتج به (?).