]> git.tdb.fi Git - libs/datafile.git/blobdiff - source/collection.h
Add a mechanism for collections to be notified when an item is added
[libs/datafile.git] / source / collection.h
index 5dd2fe67ff2769083532605e2b33bd5fe3c9dec1..aa3c18a0fcc1a5e27f5d4ddc1278b58e65904877 100644 (file)
@@ -1,35 +1,38 @@
 #ifndef MSP_DATAFILE_COLLECTION_H_
 #define MSP_DATAFILE_COLLECTION_H_
 
+#include <msp/core/attributes.h>
 #include <msp/core/maputils.h>
-#include <msp/core/meta.h>
+#include <msp/core/noncopyable.h>
 #include <msp/core/refptr.h>
+#include "collectionsource.h"
 #include "loader.h"
+#include "meta.h"
+
+/* XXX This file is a big mess with too many things in it.  However, the
+dependencies between those things make it difficult to split up. */
 
 namespace Msp {
 namespace DataFile {
 
-/**
-Helper struct to determine whether a Loader has a Collection typedef.
-*/
+class CollectionItemTypeBase;
+
 template<typename T>
-struct NeedsCollection
-{
-       struct Yes { char c[2]; };
-       struct No { char c; };
+class CollectionItemType;
 
-       template<typename U>
-       static Yes f(typename U::Collection *);
-       template<typename U>
-       static No f(...);
+template<typename T>
+class LoadableCollectionItemType;
 
-       enum { value = (sizeof(f<T>(0))==sizeof(Yes)) };
-};
+template<typename T, bool = HasLoader<T>::value>
+struct CollectionItemTypeChooser;
 
-class CollectionItemTypeBase;
+template<typename T>
+struct CollectionItemTypeChooser<T, true>
+{ typedef LoadableCollectionItemType<T> Type; };
 
 template<typename T>
-class CollectionItemType;
+struct CollectionItemTypeChooser<T, false>
+{ typedef CollectionItemType<T> Type; };
 
 /**
 A collection of objects that can be loaded from a datafile.  Each object is
@@ -38,8 +41,16 @@ identified by a name, which must be unique across the entire collection.
 While this class can be instantiated by itself and used for storing objects,
 loading requires that a subclass defines the supported types.  See the add_type
 method for details.
+
+Collections can have sources for loading objects on demand.  Automatic loading
+only works on a non-const Collection.  See class CollectionSource for details.
+
+As a last resort, a fallback collection can be designated for loading items
+that are not present.  Items retrieted from the fallback collection are shared
+between the collections, and are only deleted when all collections in the chain
+have been destroyed.
 */
-class Collection
+class Collection: private NonCopyable
 {
 public:
        /**
@@ -48,48 +59,41 @@ public:
        */
        class Loader: public DataFile::Loader
        {
-               template<typename T> friend class CollectionItemType;
+               template<typename T> friend class LoadableCollectionItemType;
 
        private:
-               template<typename T, typename S, bool = NeedsCollection<typename T::Loader>::value>
-               struct Add;
-
                Collection &coll;
 
        public:
                Loader(Collection &);
                Collection &get_object() const { return coll; }
        private:
-               template<typename T, typename S, typename C>
-               void coll_item(const std::string &n)
-               {
-                       RefPtr<T> it = new T;
-                       load_sub(*it, dynamic_cast<C &>(coll));
-                       coll.add<S>(n, it.get());
-                       it.release();
-               }
-
                template<typename T, typename S>
                void item(const std::string &n)
                {
                        RefPtr<T> it = new T;
-                       load_sub(*it);
+                       ItemLoader<T> ldr(*it, coll);
+                       load_sub_with(ldr);
                        coll.add<S>(n, it.get());
                        it.release();
                }
        };
 
+       template<typename T, bool = NeedsCollection<typename T::Loader>::value>
+       class ItemLoader;
+
 private:
        typedef std::map<std::string, Variant> ItemMap;
-       typedef std::list<CollectionItemTypeBase *> TypeList;
+       typedef std::vector<CollectionItemTypeBase *> TypeList;
+       typedef std::vector<const CollectionSource *> SourceList;
 
        TypeList types;
        ItemMap items;
+       SourceList sources;
+       Collection *fallback;
 
-       Collection(const Collection &);
-       Collection &operator=(const Collection &);
 public:
-       Collection() { }
+       Collection();
        virtual ~Collection();
 
        /** Adds an object into the collection.  The name must not pre-exist.  The
@@ -100,10 +104,11 @@ public:
                if(!item)
                        throw std::invalid_argument("Collection::add(item)");
 
-               RefPtr<typename RemoveConst<T>::Type> ptr(item);
+               typedef typename RemoveConst<T>::Type NCT;
+               RefPtr<NCT> ptr(item);
                try
                {
-                       insert_unique(items, name, ptr);
+                       add_var(name, get_type<NCT>(name), ptr);
                }
                catch(...)
                {
@@ -116,44 +121,134 @@ public:
        /// Gets a typed object from the collection.
        template<typename T>
        T &get(const std::string &name) const
+       {
+               return extract<typename RemoveConst<T>::Type>(get_item(items, name));
+       }
+
+       /** Gets a typed object from the collection.  If the name is not found,
+       automatic creation with the type's creator function (if defined) or from
+       sources (if present) is attempted. */
+       template<typename T>
+       T &get(const std::string &name)
        {
                typedef typename RemoveConst<T>::Type NCT;
+               return extract<NCT>(get_var(name, get_type<NCT>(name)));
+       }
+
+       /** Finds a typed object in the collection.  Returns null if the name does
+       not exist.  Throws if the name exists but the object is of an incorrect
+       type. */
+       template<typename T>
+       T *find(const std::string &name) const
+       {
+               ItemMap::const_iterator i = items.find(name);
+               return (i!=items.end() ? extract<typename RemoveConst<T>::Type>(i->second) : 0);
+       }
 
-               return *get_item(items, name).value<RefPtr<NCT> >();
+       template<typename T>
+       T *find(const std::string &name)
+       {
+               typedef typename RemoveConst<T>::Type NCT;
+               const Variant *var = find_var(name, get_type<NCT>(name));
+               return (var ? &extract<NCT>(*var) : 0);
        }
 
-       /** Gets a typed object from the collection.  If the name is not found in
-       and a creator for the item type is defined, it is invoked. */
+private:
+       void add_var(const std::string &, const CollectionItemTypeBase *, const Variant &);
+       const Variant &get_var(const std::string &, const CollectionItemTypeBase *);
+       const Variant *find_var(const std::string &, const CollectionItemTypeBase *);
+
        template<typename T>
-       T &get(const std::string &);
+       T &extract(const Variant &var) const;
 
+       template<typename T>
+       std::list<T *> extract_list(const std::vector<const Variant *> &vars) const
+       {
+               std::list<T *> result;
+               for(std::vector<const Variant *>::const_iterator i=vars.begin(); i!=vars.end(); ++i)
+                       result.push_back(&extract<T>(**i));
+               return result;
+       }
+
+       void gather_items(std::vector<const Variant *> *, std::list<std::string> *, const CollectionItemTypeBase &, bool) const;
+
+       template<typename T>
+       void gather_items(std::vector<const Variant *> *vars, std::list<std::string> *names, const CollectionItemTypeBase *type, bool include_sources) const
+       {
+               if(type || (type = get_type<T>()))
+                       gather_items(vars, names, *type, include_sources);
+               else
+                       gather_items(vars, names, CollectionItemType<T>(), false);
+       }
+
+public:
        /// Returns a list of the names of objects of one type in the collection.
        template<typename T>
        std::list<std::string> get_names() const
        {
-               std::list<std::string> result;
-               for(ItemMap::const_iterator i=items.begin(); i!=items.end(); ++i)
-                       if(i->second.check_type<RefPtr<typename RemoveConst<T>::Type> >())
-                               result.push_back(i->first);
-               return result;
+               std::list<std::string> names;
+               gather_items<typename RemoveConst<T>::Type>(0, &names, 0, false);
+               return names;
+       }
+
+       /** Returns a list of the names of objects of one type in the collection or
+       available from sources. */
+       template<typename T>
+       std::list<std::string> get_names()
+       {
+               std::list<std::string> names;
+               gather_items<typename RemoveConst<T>::Type>(0, &names, 0, true);
+               return names;
        }
 
        /// Returns a list of objects of one type in the collection.
        template<typename T>
        std::list<T *> get_list() const
        {
-               typedef RefPtr<typename RemoveConst<T>::Type> RPNCT;
+               std::vector<const Variant *> vars;
+               gather_items<typename RemoveConst<T>::Type>(&vars, 0, 0, false);
+               return extract_list<T>(vars);
+       }
 
-               std::list<T *> result;
-               for(ItemMap::const_iterator i=items.begin(); i!=items.end(); ++i)
-                       if(i->second.check_type<RPNCT>())
-                               result.push_back(i->second.value<RPNCT>().get());
-               return result;
+       /** Returns a list of objects of one type, loading them from sources if
+       necessary. */
+       template<typename T>
+       std::list<T *> get_list()
+       {
+               CollectionItemTypeBase *type = get_type<typename RemoveConst<T>::Type>();
+               if(type)
+                       load_items_from_sources(*type);
+
+               std::vector<const Variant *> vars;
+               gather_items<typename RemoveConst<T>::Type>(&vars, 0, type, true);
+               return extract_list<T>(vars);
        }
 
-       /** Checks whether a name exists in the collection.  Does not care about the
-       type of the object. */
-       bool contains(const std::string &n) const;
+private:
+       unsigned get_status(const std::string &, const CollectionItemTypeBase &) const;
+
+       template<typename T>
+       unsigned get_status(const std::string &name) const
+       {
+               // XXX Should go through all applicable types
+               if(CollectionItemTypeBase *type = get_type<T>())
+                       return get_status(name, *type);
+
+               ItemMap::const_iterator i = items.find(name);
+               return (i!=items.end() && i->second.check_type<RefPtr<T> >());
+       }
+
+public:
+       /// Checks whether a typed object exists in the collection.
+       template<typename T>
+       bool contains(const std::string &name) const
+       { return get_status<typename RemoveConst<T>::Type>(name)==1; }
+
+       /** Checks whether a typed object exists in the collection or is loadable
+       from a source. */
+       template<typename T>
+       bool contains(const std::string &name)
+       { return get_status<typename RemoveConst<T>::Type>(name)>0; }
 
        /// Returns the name of an item in the collection.
        template<typename T>
@@ -174,58 +269,121 @@ protected:
        /** Adds a type to the collection.  The returned descriptor object reference
        can be used to define how objects of that type can be loaded. */
        template<typename T>
-       CollectionItemType<T> &add_type();
-};
+       typename CollectionItemTypeChooser<T>::Type &add_type();
 
+       /** Returns a mutable reference to an existing type descriptor.  This can be
+       used to e.g. override the creator function of a type added by a base class. */
+       template<typename T>
+       typename CollectionItemTypeChooser<T>::Type &modify_type();
 
-template<typename T, typename S>
-struct Collection::Loader::Add<T, S, false>
+private:
+       /** Returns the descriptor for a type, or null if one isn't defined.  An
+       optional name can be given to prioritize matching types. */
+       template<typename T>
+       CollectionItemTypeBase *get_type(const std::string & = std::string()) const;
+
+       /// Gets a descriptor with the same type as another descriptor.
+       CollectionItemTypeBase *get_type(const CollectionItemTypeBase &) const;
+
+       /// Returns the descriptor for an item, or null if it's of an unknown type.
+       CollectionItemTypeBase *get_type_for_item(const Variant &) const;
+
+protected:
+       /** Adds a source for automatically loading items.  Sources are consulted
+       in the order they are added. */
+       void add_source(const CollectionSource &);
+
+public:
+       /** Opens a raw resource, without interpreting it as object data.  Null is
+       returned if no such file is found.  The caller must dispose of the returned
+       object when done with it. */
+       IO::Seekable *open_raw(const std::string &) const;
+
+private:
+       void gather_names_from_sources(std::list<std::string> &, const CollectionItemTypeBase &) const;
+
+       void load_items_from_sources(const CollectionItemTypeBase &);
+
+protected:
+       /** Sets a fallback collection, which will be consulted if an item is not
+       found. */
+       void set_fallback(Collection *);
+
+       Collection *get_fallback() const { return fallback; }
+};
+
+template<typename T>
+class Collection::ItemLoader<T, false>: public T::Loader
 {
-       static void add(Loader &loader, const std::string &kwd)
-       { loader.add(kwd, &Loader::item<T, S>); }
+public:
+       ItemLoader(T &o, Collection &):
+               T::Loader(o)
+       { }
 };
 
-template<typename T, typename S>
-struct Collection::Loader::Add<T, S, true>
+template<typename T>
+class Collection::ItemLoader<T, true>: public T::Loader
 {
-       static void add(Loader &loader, const std::string &kwd)
-       { loader.add(kwd, &Loader::coll_item<T, S, typename T::Loader::Collection>); }
+public:
+       ItemLoader(T &o, Collection &c):
+               T::Loader(o, dynamic_cast<typename T::Loader::Collection &>(c))
+       { }
 };
 
 
 class CollectionItemTypeBase
 {
 protected:
-       class TagBase
+       struct ExtractorBase
        {
-       protected:
-               TagBase() { }
-       public:
-               virtual ~TagBase() { }
+               virtual ~ExtractorBase() { }
        };
 
        template<typename T>
-       class Tag: public TagBase
+       struct Extractor: ExtractorBase
        {
-       public:
-               virtual ~Tag() { }
+               virtual T &extract(const Variant &) const = 0;
        };
 
        std::string kwd;
-       TagBase *tag;
+       std::vector<std::string> suffixes;
+       std::vector<ExtractorBase *> extractors;
 
-       CollectionItemTypeBase(): tag(0) { }
+       CollectionItemTypeBase() { }
 public:
-       virtual ~CollectionItemTypeBase()
-       { delete tag; }
+       virtual ~CollectionItemTypeBase();
 
+protected:
+       void set_keyword(const std::string &);
+       void add_suffix(const std::string &);
+public:
+       const std::string &get_keyword() const { return kwd; }
+       bool match_name(const std::string &) const;
+       virtual bool is_same_type(const CollectionItemTypeBase &) const = 0;
+       virtual bool check_item_type(const Variant &) const = 0;
        virtual void add_to_loader(Collection::Loader &) const = 0;
        virtual bool can_create() const = 0;
        virtual void create_item(Collection &, const std::string &) const = 0;
+       virtual void load_item(Collection &, Parser &, const std::string &) const = 0;
+       virtual void notify_item(Collection &, const std::string &, const Variant &) const = 0;
+
+       template<typename T>
+       bool can_extract() const
+       {
+               for(std::vector<ExtractorBase *>::const_iterator i=extractors.begin(); i!=extractors.end(); ++i)
+                       if(dynamic_cast<Extractor<T> *>(*i))
+                               return true;
+               return false;
+       }
 
        template<typename T>
-       bool check_type() const
-       { return dynamic_cast<Tag<T> *>(tag); }
+       T *extract(const Variant &var) const
+       {
+               for(std::vector<ExtractorBase *>::const_iterator i=extractors.begin(); i!=extractors.end(); ++i)
+                       if(Extractor<T> *ex = dynamic_cast<Extractor<T> *>(*i))
+                               return &ex->extract(var);
+               return 0;
+       }
 };
 
 
@@ -237,67 +395,66 @@ template<typename T>
 class CollectionItemType: public CollectionItemTypeBase
 {
 private:
-       class CreatorBase
+       struct CreatorBase
        {
-       protected:
-               CreatorBase() { }
-       public:
                virtual ~CreatorBase() { }
 
                virtual T *create(Collection &, const std::string &) const = 0;
        };
 
        template<typename C>
-       class Creator: public CreatorBase
+       struct Creator: CreatorBase
        {
-       public:
                typedef T *(C::*FuncPtr)(const std::string &);
 
-       private:
                FuncPtr func;
 
-       public:
                Creator(FuncPtr f): func(f) { }
 
                virtual T *create(Collection &coll, const std::string &name) const
-               { return (static_cast<C &>(coll).*func)(name); }
+               { return (dynamic_cast<C &>(coll).*func)(name); }
        };
 
-       class StoreBase
+       struct NotifyeeBase
        {
-       protected:
-               StoreBase() { }
-       public:
-               virtual ~StoreBase() { }
+               virtual ~NotifyeeBase() { }
 
-               virtual void store(Collection &, const std::string &, T *) = 0;
-
-               virtual void add_to_loader(Collection::Loader &, const std::string &) = 0;
+               virtual void notify(Collection &, const std::string &, T &) const = 0;
        };
 
-       template<typename S>
-       class Store: public StoreBase
+       template<typename C>
+       struct Notifyee: NotifyeeBase
        {
-       public:
-               virtual void store(Collection &coll, const std::string &name, T *obj)
-               { coll.add(name, static_cast<S *>(obj)); }
+               typedef void (C::*FuncPtr)(const std::string &, T &);
+
+               FuncPtr func;
+
+               Notifyee(FuncPtr f): func(f) { }
 
-               virtual void add_to_loader(Collection::Loader &loader, const std::string &kwd)
-               { Collection::Loader::Add<T, S>::add(loader, kwd); }
+               virtual void notify(Collection &coll, const std::string &name, T &item) const
+               { (dynamic_cast<C &>(coll).*func)(name, item); }
+       };
+
+       template<typename B>
+       struct Extractor: CollectionItemTypeBase::Extractor<B>
+       {
+               virtual B &extract(const Variant &var) const
+               { return *var.value<RefPtr<T> >(); }
        };
 
        CreatorBase *creat;
-       StoreBase *store;
+       std::vector<NotifyeeBase *> notif;
 
 public:
        CollectionItemType():
-               creat(0), store(new Store<T>)
-       { tag = new Tag<T>; }
+               creat(0)
+       { }
 
        ~CollectionItemType()
        {
                delete creat;
-               delete store;
+               for(typename std::vector<NotifyeeBase *>::const_iterator i=notif.begin(); i!=notif.end(); ++i)
+                       delete *i;
        }
 
        /** Sets a datafile keyword for this item type.  The Collection's loader
@@ -305,7 +462,17 @@ public:
        item's name. */
        CollectionItemType &keyword(const std::string &k)
        {
-               kwd = k;
+               set_keyword(k);
+               return *this;
+       }
+
+       /** Adds a suffix that is used to match names when looking for loadable
+       objects.  There is no implied separator; a name matches if it ends with the
+       suffix.  If a keyword is defined before any suffixes, then "."+keyword is
+       added as a suffix. */
+       CollectionItemType &suffix(const std::string &s)
+       {
+               add_suffix(s);
                return *this;
        }
 
@@ -323,20 +490,29 @@ public:
                return *this;
        }
 
-       /** Specifies the storage type for items of this type.  It must be a base
-       class of the actual type.  */
-       template<typename S>
-       CollectionItemType &store_as()
+       /** Makes items of this type available through a base class. */
+       template<typename B>
+       CollectionItemType &base()
        {
-               delete tag;
-               tag = new Tag<S>;
-               delete store;
-               store = new Store<S>;
+               extractors.push_back(new Extractor<B>);
                return *this;
        }
 
-       virtual void add_to_loader(Collection::Loader &loader) const
-       { store->add_to_loader(loader, kwd); }
+       template<typename C>
+       CollectionItemType &notify(void (C::*func)(const std::string &, T &))
+       {
+               notif.push_back(new Notifyee<C>(func));
+               return *this;
+       }
+
+       virtual bool is_same_type(const CollectionItemTypeBase &other) const
+       { return dynamic_cast<const CollectionItemType<T> *>(&other); }
+
+       virtual bool check_item_type(const Variant &var) const
+       { return var.check_type<RefPtr<T> >(); }
+
+       virtual void add_to_loader(Collection::Loader &) const
+       { }
 
        virtual bool can_create() const
        { return creat!=0; }
@@ -347,34 +523,87 @@ public:
                        throw std::runtime_error("no creator");
                T *obj = creat->create(coll, name);
                if(obj)
-                       store->store(coll, name, obj);
+                       coll.add(name, obj);
+       }
+
+       virtual void load_item(Collection &, Parser &, const std::string &) const
+       {
+               throw std::runtime_error("this type cannot be loaded");
+       }
+
+       virtual void notify_item(Collection &coll, const std::string &name, const Variant &var) const
+       {
+               RefPtr<T> obj = var.value<RefPtr<T> >();
+               for(typename std::vector<NotifyeeBase *>::const_iterator i=notif.begin(); i!=notif.end(); ++i)
+                       (*i)->notify(coll, name, *obj);
        }
 };
 
 
 template<typename T>
-T &Collection::get(const std::string &name)
+class LoadableCollectionItemType: public CollectionItemType<T>
 {
-       typedef typename RemoveConst<T>::Type NCT;
+public:
+       virtual void add_to_loader(Collection::Loader &loader) const
+       { loader.add(this->kwd, &Collection::Loader::item<T, T>); }
 
-       if(!items.count(name))
+       virtual void load_item(Collection &coll, Parser &parser, const std::string &name) const
        {
-               for(TypeList::iterator i=types.begin(); i!=types.end(); ++i)
-                       if((*i)->can_create() && (*i)->check_type<NCT>())
-                               (*i)->create_item(*this, name);
+               RefPtr<T> obj = new T;
+               Collection::ItemLoader<T> ldr(*obj, coll);
+               ldr.load(parser);
+               coll.add(name, obj.get());
+               obj.release();
        }
+};
+
 
-       return *get_item(items, name).value<RefPtr<NCT> >();
+template<typename T>
+T &Collection::extract(const Variant &var) const
+{
+       if(!var.check_type<RefPtr<T> >())
+               if(CollectionItemTypeBase *type = get_type_for_item(var))
+                       if(T *item = type->extract<T>(var))
+                               return *item;
+
+       return *var.value<RefPtr<T> >();
 }
 
 template<typename T>
-CollectionItemType<T> &Collection::add_type()
+typename CollectionItemTypeChooser<T>::Type &Collection::add_type()
 {
-       CollectionItemType<T> *type = new CollectionItemType<T>;
+       typename CollectionItemTypeChooser<T>::Type *type = new typename CollectionItemTypeChooser<T>::Type;
        types.push_back(type);
        return *type;
 }
 
+template<typename T>
+typename CollectionItemTypeChooser<T>::Type &Collection::modify_type()
+{
+       for(TypeList::const_iterator j=types.begin(); j!=types.end(); ++j)
+               if(CollectionItemType<T> *t = dynamic_cast<CollectionItemType<T> *>(*j))
+                       return *t;
+
+       throw std::logic_error("type not found in collection");
+}
+
+template<typename T>
+CollectionItemTypeBase *Collection::get_type(const std::string &name) const
+{
+       for(TypeList::const_iterator j=types.begin(); j!=types.end(); ++j)
+               if(dynamic_cast<CollectionItemType<T> *>(*j))
+                       return *j;
+       CollectionItemTypeBase *type = 0;
+       for(TypeList::const_iterator j=types.begin(); j!=types.end(); ++j)
+               if((*j)->can_extract<T>())
+               {
+                       if(!name.empty() && (*j)->match_name(name))
+                               return *j;
+                       type = *j;
+               }
+       return type;
+}
+
 } // namespace DataFile
 } // namespace Msp